MongoDB工具 >MongoDB Kafka连接器 >水槽连接器指南 > 接收器配置属性
在本页面
本部分列出了用于构成MongoDB Kafka Sink连接器的属性文件的可用配置设置。连接器使用这些设置来确定从哪些主题消费数据以及将哪些数据吸收到MongoDB。有关示例配置文件,请参阅 MongoSinkConnector.properties。
名称 | 类型 | 描述 |
---|---|---|
主题 | 清单 | 接收器连接器观看的Kafka主题列表。
需要
注意:您只能定义
topics 或topics.regex 。接受的值:有效的Kafka主题的逗号分隔列表
|
topic.regex | 串 | 与接收器连接器应注意的Kafka主题匹配的正则表达式。
需要
注意:您只能定义
topics 或topics.regex 。接受的值:有效的正则表达式
|
连接 | 串 |
例 默认值:
mongodb://localhost:27017 接受的值:有效的MongoDB连接URI字符串
|
数据库 | 串 | 接收器写入的MongoDB数据库的名称。
需要
接受的值:有效的MongoDB数据库名称
|
采集 | 串 | 要写入的单接收器MongoDB集合名称。如果接收器遵循多个主题,则这是它们映射到的默认集合。
需要
接受的值:MongoDB集合名称
|
文件策略 | 串 | 生成唯一文档
_id 字段的类的类名称。默认值:
com.mongodb.kafka.connect.sink.processor.id.strategy.BsonOidStrategy 可接受的值:空字符串或标准Java类名称
|
删除空值 | 布尔值 | 当值为null时,连接器是否应删除具有匹配键值的文档。
默认值:
false 接受的值:
true 或false |
最大批量 | 整型 | 汇聚在一起处理的接收器记录的最大数量。
默认值:
0 可接受的值:一个整数
|
最大重试次数 | 整型 | 写错误应尝试多少次重试。
默认值:
3 可接受的值:一个整数
|
retries.defer.timeout | 整型 | 重试应延迟多长时间(以毫秒为单位)。
默认值:
5000 可接受的值:一个整数
|
change.data.capture.handler | 串 | 用于处理的CDC处理程序的类名称。
默认值:
"" 可接受的值:空字符串或标准Java类名称
|
field.renamer.mapping | 串 | 一个内联JSON数组,其中包含描述字段名称映射的对象。
例 默认值:
[] 接受的值:有效的JSON数组
|
field.renamer.regexp | 串 | 包含正则表达式语句对象的内联JSON数组。
例 默认值:
[] 接受的值:有效的JSON数组
|
key.projection.list | 串 | 包含在关键投影中的字段名称列表。
默认值:
"" 接受的值:以逗号分隔的字段名称列表
|
key.projection.type | 串 | 要使用的按键投影的类型。
默认值:
none 接受的值:
none ,blacklist 或whitelist |
后处理器链 | 清单 | 在将数据保存到MongoDB之前处理数据的一系列后处理程序类。
默认值:
com.mongodb.kafka.connect.sink.processor.DocumentIdAdder 接受的值:逗号分隔的标准Java类名称的列表
|
速率限制 | 整型 | 应触发速率限制的已处理批次数。值为0表示没有速率限制。
默认值:
0 可接受的值:一个整数
|
速率限制超时 | 整型 | 达到速率限制后,继续处理数据之前要等待的时间(以毫秒为单位)。
默认值:
0 可接受的值:一个整数
|
value.projection.list | 串 | 包含在值投影中的字段名称列表。
默认值:
"" 接受的值:以逗号分隔的字段名称列表
|
value.projection.type | 串 | 使用的价值预测类型。
默认值:
none 接受的值:
none ,blacklist 或whitelist |
writemodel.strategy | 串 | 指定
WriteModel 用于批量写入的类。默认值:
com.mongodb.kafka.connect.sink.writemodel.strategy.ReplaceOneDefaultStrategy 接受的值:实现的类的标准Java类名称
WriteModelStrategy |
topic.override。<topicName>。<propertyName> | 串 | 按主题的配置将覆盖相应的全局和默认属性设置。例如:
topic.override.foo.collection=bar 指示接收器连接器将foo 主题中的数据存储在bar 集合中。有关其他示例,请参阅主题特定的配置设置。注意 您可以基于主题指定除 默认值:
"" 接受值:特定于覆盖属性的接受值
|
MongoDB Kafka接收器连接器可以配置为接收来自多个主题的数据。您可以使用主题形式的特定设置覆盖全局或默认属性设置
topic.override.<topicName>.<propertyName>
。
注意
在topics
和connection.uri
性质是全局的,
不能被重写。
下面的示例演示指定主题特定的设置。
接收器连接器主题替代设置指示连接器对以下消耗的数据应用以下行为topicA
:
collectionA
最多可批量将文档写到MongoDB集合中。_id
每个新文档的字段中的UUID 。k2
并k4
使用黑名单从值投影中删除。