缓存表结构

一、表结构

表名	表作用
fb_actions	动作
fb_connector	连接器
fb_rules	规则引擎
fb_converter	转换配置
fb_downward	设置下行

kafka是分布式事件流处理中间件, 可以使数据在业务系统与应用程序之间进行实时传输。

Kafka可以作为边缘物联网通信的桥接，Kafka 分为生产者和消费者，建立客户端需要稳定的网络连接。在物联网领域，设备和应用程序生成的数据使用轻量级 MQTT 协议传输。kafka的集成使用户能够无缝地将 MQTT 数据流入或流出 Kafka。MQTT 数据流被引入 Kafka 主题，MQTT与kafka的主题可以做映射处理，确保实时处理、存储和分析。而Kafka 主题的数据可以被 MQTT 设备消费，实现及时处理。

简单实现MQTT与kafka数据集成流程如下图

实现流程原理

kafka数据集成到MQTT是通过配置可以实现的功能，当然我们需要先安装KAFKA服务，能够在基于 MQTT 的物联网数据和 Kafka 强大的数据处理能力之间架起桥梁。通过内置的规则引擎组件，集成简化了两个平台之间的数据流和处理过程，无需复杂编码。

下图是MQTT与KAFKA实现数据集成的最佳实践架构图