如何实现车联网的灵活数据采集

LF Edge eKuiper（简称 eKuiper）是开源的超轻量数据分析和流式计算引擎。eKuiper 兼容性强，可适配 X86 和 ARM 等多种 CPU 架构的车机终端。软件较轻量且可裁剪，核心包和初始运行内存在 10MB 级别，支持高吞吐低时延的各种数据处理和计算。在方案中，以部署于车机端的 eKuiper 为核心，可以实现近实时的灵活数据采集和处理转发等功能。

如下图所示，eKuiper 具备了数据流的接入、处理和流转能力。南向部分，eKuiper 支持接入各种协议的数据流，例如 CAN 总线、MQTT 协议、Socket（TCP 或 UDP）和 DDS 等。接入的数据可以在引擎内部根据用户定义的规则，进行数据的采集、转换、过滤和分析等数据处理工作，之后再将采集或处理的结果发送到各种北向的目的地中，例如存到本地的文件、数据库中以便后续车载应用使用；或是通过 HTTP/MQTT 等协议发送到云端或 TSP 应用端进行处理。

eKuiper 数据处理

在灵活数采的场景中，假设 eKuiper 已部署到车机中，要完成一个数采任务，一般只需要两个步骤：

在 eKuiper 中，这两个步骤无需编写代码，可使用 SQL 语句或者可视化 Flow 编辑器进行配置。

前文中我们已经创建了连接 CAN 总线的数据流，接下来我们可以建立多个数据采集规则进行灵活的数采。本节介绍一些常见的采集规则。规则内容为 JSON 文本数据，可通过 REST API 等方式进行规则的动态下发管理，具体管理方法将在下一节介绍。

eKuiper 的规则分为两个部分，其中 SQL 用于编写业务逻辑，例如需要采集哪些数据、对数据做哪些处理；Actions 部分用于描述规则命中后执行的动作，例如存储到本地文件或者发送到云端 MQTT 的某个主题中。假设上一节创建的数据流 canDemo 中，总线中的数据解析为包含发动机相关数据如发动机转速（rpm）、进气温度（inletTemperature）、进气压力（inletPressure）以及电池相关数据，如电池电压（voltage），电池电流（current）等数据的键值对数据，如 {"rpm":2000, "inletTemperature":230, "inletPressure":27, "voltage":15,"currency":2}。下列配置的规则将针对这个总线数据进行采集。

1. 采集指定的信号

本规则可实时采集发动机的信号并发送到 MQTT topic collect 中。规则通过 SQL 语句中的 SELECT 子句定义了需要采集的数据点。

{  "id": "ruleCollect",  "sql": "SELECT rpm, inletTemperature, inletPressure FROM canDemo",  "actions": [{    "mqtt": {      "server": "tcp://yourserver:1883",      "topic": "collect"    }  }]}

2. 采集有变化的信号

某些信号可能变化周期比较长，全部采集的话大部分为重复值，占据存储和带宽。eKuiper 提供了内置的变化采集函数  CHANGED_COLS，可以仅采集信号数值变化的情况。下面的示例规则中，我们采集了电池的变化信息，并保存在本地文件中。

{  "id": "ruleChangeCollect",  "sql": "SELECT CHANGED_COLS("", true, voltage, currency) FROM canDemo",  "actions": [{    "file": {      "path": "/tmp/cell"    }  }]}

3. 根据事件采集

某些信号只有在特定的情况下才需要采集，例如碰撞后采集相关的数据。eKuiper 中可以灵活设置采集的条件。以下的规则中，当电池电压异常（不在10到20之间）的情况下，采集所有数据到 MQTT 的 Topic exception 中。

{  "id": "ruleExpCollect",  "sql": "SELECT * FROM canDemo WHERE voltage NOT BETWEEN 10 AND 20 ",  "actions": [{    "mqtt": {      "server": "tcp://yourserver:1883",      "topic": "exception"    }  }]}

规则构思完成后，需要进行动态下发和管理。EMQ 提供了车云一体的规则管理控制台，用户可以在里面进行规则的编写、下发和状态管理。管理控制台可以在云端集中管理多个车机边缘节点。

规则编写

管理控制台上提供了规则编写的图形界面。如下图所示，用户可以在界面上填入规则的 ID、SQL 和动作等。提交后，规则即可下发到对应车机节点。

规则编辑界面

我们也将提供规则编写的可视化 Flow 编辑器界面。用户可采用拖拽的方式编写自己的业务规则。

规则管理

eKuiper 中的规则都是可灵活管理的。规则可以热添加、热更新和热启停。在管理控制台中，用户可以查看规则的运行状态，进行规则的修改、启停、删除等操作。

规则管理界面

云端集中管理

通过云端可集中管理在车辆边缘端上的数据分析应用。

eKuiper 作为一个通用的流式计算引擎，除了实现数据采集之外，还可以实现很多边缘计算功能，充分利用车载终端算力。例如，eKuiper 可支持下列功能：

更多功能欢迎读者们自行探索。