MongoDB工具 >MongoDB Kafka连接器 >水槽连接器指南 > 接收器数据格式
在本页面
MongoDB Kafka Sink连接器converter
设置为从主题读取的数据指定反序列化方法。转换器可以反序列化以下数据格式:
格式名称 | 描述 |
---|---|
阿沃 | 一个开源序列化系统 ,提供紧凑的二进制格式和类似JSON的API。与Confluent Schema Registry集成 以管理架构定义。 |
JSON与架构 | 具有显式架构信息的JSON记录结构,以确保数据与预期格式匹配。 |
JSON(普通) | 没有附加架构的JSON记录结构。 |
原始JSON | 序列化为字符串。JSON结构不受Kafka Connect管理。 |
注意
即使指定StringConverter 格式,RAW JSON模式字段也必须包含有效的JSON,连接器才能正确对其进行解析。
有关Kafka数据序列化的更多信息,请参阅Kafka Connect序列化说明。
以下配置提供了使用JSON和架构数据格式的示例设置
。Kafka主题数据必须为JSON格式,并且包含顶级对象schema
和payload
。
以下配置提供了使用不带模式数据格式的JSON的示例设置。Kafka主题数据必须为JSON格式。
选择适当的数据格式
当您指定不带Schema的 JSON时,将显式读取任何JSON模式对象(例如schema
或)payload
,而不是将其作为验证模式。
以下配置提供了使用RAW JSON数据格式的示例设置 。
一旦转换器反序列化来自Kafka主题的数据,Kafka Connect将创建一个SinkRecord 对象。
MongoDB Kafka连接器将转换SinkRecord
为,SinkDocument
其中包含BSON格式的键和值。转换器使用模式确定类型(如果提供)。
连接器支持Schema.Type中列出的所有核心模式类型 :
MongoDB Kafka连接器还支持以下AVRO逻辑类型:
有关使用逻辑类型的示例AVRO模式,请参阅《 AVRO逻辑类型示例》。
转换器处理具有嵌套键或值结构的架构。以下是带有嵌套字段的AVRO模式示例: