加快建设交通强国,构建现代化高质量国家综合立体交通网,是我国自十九大以来一直重点推行的关键发展战略。
深圳交通运输智慧一体化物联网平台项目,是深圳市城市交通规划设计研究中心响应「数字中国」、「交通强国」战略的实践探索,承担着促进粤港澳大湾区发展、支撑深圳先行示范区建设的重要使命,为广深创新走廊的智慧交通建设注入原生动力,助力广深创新走廊快速发展。
本文将分享该项目中基于 EMQ映云科技物联网基础设施框架的建设实践经验。
项目背景
根据国家「交通强国」的有关战略方针,深圳市政府提出了「世界一流、国内第一、湾区引擎、城市典范」的建设要求,以交通与城市、交通与经济、交通与民生的数字化共生关系为基础,打造交通全要素数字化新引擎,提升超大城市交通治理水平,实现以下目标:
通过一网统管、一网通办和一网协同的「三网合一」,实时感知和监测整个城市中发生的一切,快速做出响应;
围绕「绿色、便捷、高效、安全」四个主题,打造高度智能化的社会,提升市民出行的幸福感;
建设全要素数字化底座、全过程安全监管、全链条出行服务、海陆空铁枢纽联动、设施全周期监管五大先行示范建设,引领交通行业发展典范。
由深圳市城市交通规划设计研究中心(以下简称:深城交)主导建设的深圳交通运输智慧一体化物联网平台是深圳市整个交通大脑中的通用核心技术框架之一。部署在交通大数据平台和感知设备之间,主要由设备管理、数据管理、安全管理、应用管理和系统管理五大模块构成。
平台主要针对交通场景中的感知设备进行综合管理和控制,实现设备的生命周期管理。
同时基于感知技术,实时获取设备,与其他的平台和系统进行共同的计算处理和数据挖掘,实现各种感知设备的数据汇集、数据加工计算、设备状态的统计防控等。
业务挑战
深城交物联网平台部署于交通大数据平台和感知设备之间,向下接入智慧交通场景中的各种传感器、终端和基础设施运行监测节点;向上为交通大数据平台和智慧应用提供所需的数据和信息。
综合而言,即在公路网、铁路网、航空网、水运网之上,深圳市将再建设一张数据网、物联网,实现对每一条道路、每一座桥梁、每一公里轨道的数据采集,实现全域数据融合、全场景应用创新。
由于众多的设备接入和采集数据的应用分析需求,整个系统平台建设面临如下挑战:
多种接入方式:物联网平台不仅需要对接既有监测平台,还需要通过直连接入、监测节点接入和边计算节点接入等方式接入新增设备。
协议类型众多:平台需要支持 MQTT、Modbus、HTTP 等协议的接入,以实现数据收集和执行下发。
大量设备接入并发:平台本期需要支持接入 2 万路设备接入,并预留 10 万设备连接能力,未来将拓展接入全市所有交通物联网设备。
数据流转过程复杂:平台向下接入外场设备,收集到的数据需要在平台进行解析、加工、转换处理,然后将设备数据发送给交通大数据平台、交通业务支撑平台和运维平台等业务支撑平台。
数据解析任务繁重:平台需要支持标准化协议和非标准化协议解析,支持设备注册类信息解析、设备采集类消息解析、设备状态类消息解析。
解决方案
在智慧交通物联网平台建设过程中,深城交从接入的设备数量、类型,覆盖的协议数量、范围,以及平台未来的兼容扩展能力等方面进行全权考量后,最终选择采用基于 MQTT 协议的 EMQ 物联网基础设施整体解决方案进行物联平台的建设。
自上世纪 90 年代发布以来,MQTT 协议因其轻量、简单、开放易实现且支持 QoS 等优势,成为设备和服务多样化的物联网应用场景首选协议。
作为全球下载量近 2000 万的云原生分布式 MQTT 消息服务器,EMQX 提供一体化的分布式 MQTT 消息服务和强大的 IoT 规则引擎,为高可靠、高性能的物联网实时数据移动、处理和集成提供动力。
以 EMQX 为核心的物联网数据基础设施,帮助深城交通过 MQTT 协议实现了深圳城市交通中海量物联网设备的接入管理和数据采集传输。
借助 EMQX 高可用、分布式集群架构,解决物联网平台面临的高性能、高可用挑战;极强的云原生能力,支持在各类环境部署并且提供丰富 API 接口和运维工具,解决平台运维和拓展挑战;此外,内置的强大规则引擎,支持包括 MQTT-SN、 CoAP、LwM2M 在内的各类主流物联网协议,针对一些非因特网的协议(如 Modbus),也可以通过边缘产品实现无缝数据汇聚,解决异构设备数据接入的挑战。
借助 EMQ 提供的物联网数据底座,深城交物联网平台具备了如下能力:
多种方式安全接入
针对支持 MQTT 协议传输数据的直连设备、监测节点设备接入和边缘计算设备,制定标准统一的通信协议和数据格式,借助运行在 Intel X86 上的云原生分布式物联网消息服务器 EMQX 提供的开放标准物联网 MQTT 协议连接支持 ,完成新增设备的接入;针对既有系统平台,通过集成 EMQ 云边协同管理平台的开放 SDK 实现系统对接和数据传输。
同时,通过 TLS/SSL 或 QUIC 和多样化的认证机制,确保与 MQTT 服务器 EMQX 进行包括用户名/密码、LDAP、JWT、PSK 和 X.509 证书在内的安全通信,确保了数据的安全与隐私。
多协议一站轻松对接
EMQX 提供各类开放的 SDK 实现平台与设备间多协议接入。
在设备端通过使用 EMQ 旗下边缘工业协议网关软件 Neuron 将各类工业协议转换成标准的 MQTT 协议,配合 EMQX,实现 Modbus、CoAP 等多种协议的接入。
同时,Neuron 的一站平台网关配置管理、标准工业报警处理、边缘规则处理引擎、基于 Web 的人机界面,也极大简化了网关软件开发过程,提升了整个系统平台的对接效率。
海量设备并发连接
EMQX 的高可用、分布式集群架构可支持百万到亿级海量并发连接,为大规模设备连接提供了稳定可靠的平台接入层能力。
为实现 2 万路设备接入,项目物联网平台采用微服务技术架构,部署多套数据计算服务、数据存储服务扩展接入设备数量,理论上可支持 10 万路设备接入,同时针对未来设备接入提供定制化协议适配、数据解析,可满足未来可能的接入需求。
低代码数据处理与集成
通过 EMQX 基于 SQL 语句的强大规则引擎和数据桥接功能,无需编写代码即可实现一站式的 IoT 数据提取、过滤、转换、存储与处理,灵活集成物联网数据到 MySQL、ClickHouse 实现数据持久化存储到 Kafka 或其他消息队列,实现数据的共享管理。
借助规则引擎的「消息重新发布」能力,还可实现数据在物联网平台各功能板块间的流转,避免了数月的工程开发,快速实现数据应用集成。
高效数据解析
通过内置的 Schema Registry 实现对 JSON、Avro、Protobuf 格式 MQTT 消息的高性能编解码,解决了物联网平台标准化协议和非标准化协议解析,设备注册类信息解析、设备采集类消息解析、设备状态类消息解析以及多种结构类型的数据解析,实现物联网平台添加自定义解析脚本,进行数据解析处理,极大降低了数据解析的门槛,减轻了研发工作量。
交通运输智慧一体化平台物联网基础设施总体框架
方案成果
深城交平台构建了设备接入、设备管理、数据管理、数据共享、平台安全五大核心业务子系统,实现数据技术、内部应用、外部协同的「三个一体化」,大幅提升了超大城市交通治理水平和系统能力。
规范标准建立
建立交通设施信息化相关协议标准,打通既有监测平台的数据壁垒,统一各类设备监测数据的格式,为后期市物联网平台建设提供交通设备板块协议参考依据。
海量设备接入
物联网项目本期接入海量监测设备,增加设施监测系统的覆盖度,覆盖设施总计 113 座,设备 2 万多个,并预留了 10 万设备连接能力,为深圳市交通局一体化项目提供物联网设备基础数据保障和后期扩展能力保障。
海量数据存储分发
实现了 3 个月保存周期内总大小约 10.1TB 的 1466 亿条设备监测数据存储。
每秒百万级的高性能、低时延、高可靠解决方案保障了双向实时数据顺畅移动,灵活分发至其他业务系统,满足物联网业务中各类数据需求。
接入的各类信息根据数据类型通过 Backend 高速存储至 Redis、MySQL、PostgreSQL、MongoDB 、DynamoDB 等主流数据库。接入的各类信息也可以桥接到 RabbitMQ、RocketMQ 等消息队列和 Kafka 或 Pulsar 等流式处理引擎或其它支持标准 MQTT 协议的企业消息服务器。
安全可靠的物联网平台
通过智慧交通物联网平台的建设,将具备多重认证机制的安全认证能力,保证设备接入、数据存储、平台访问等方面的安全管理。
交通行业物模型体系
借助 EMQ 物联网数据基础设施软件提供的物模型能力,建立了一整套基于设备属性、服务、事件的交通行业物模型,建立了边缘设备与云端进行数据规范化交互和管理流程。
交通行业加工算法库
借助 EMQ 物联网数据基础设施提供的编解码能力和流式计算能力,实现了对各类物联设备监测的数据的处理分析,并建立了一套成熟的智慧交通的数据加工算法库,释放流数据的实时价值和历史数据价值。
“EMQ 所倡导的物联网基础设施理念和相应的产品能力,与深圳城市交通一体化智慧平台其中的物联网框架的需求非常契合。通过 EMQ 提供的云端端数据统一连接、移动、处理、存储和分析的物联网基础设施框架,我们实现了海量的物联网数据采集和应用展现,解决了系统建设面临的关键问题。”
-深圳城市交通规划设计研究中心交付总监 许华杰
未来展望
海量数据进行采集后,如何合理针对海量流式数据进行实时分析和处理成为了系统建设的关键。
EMQ 发布的 HStreamDB 是一个专为物联网流式数据设计的数据库。不同于其它数据库系统将静态的数据集(表或文档等)作为基本的存储和处理单元,HStreamDB 以动态的连续数据流作为基本对象,以实时性作为主要特征,支持高效存储和管理大规模流数据以及在动态变化的数据流上进行复杂的实时分析。
HStreamDB 的实时数据存储与分析能力,结合 EMQX 提供的海量数据采集与处理能力,将支持深城交进一步构建更加完备的城市智慧交通的物联网平台,为深圳市交通系统规划与管理提供可靠的数据支撑。
客户简介:
深圳市城市交通规划设计研究中心(简称“深城交”)创建于 1996 年,一直以来是深圳市委市政府重要的交通决策支持科研机构,行业前沿的科技创新带头单位。近年来,深城交立足深圳、引领行业、服务全国,业务范围已覆盖全国 30 多个省市,120 余座城市,改善超过 6 亿人出行。目前已在创业板挂牌上市,股票代码:301091.SZ。
深城交致力于提供先进的城市交通技术与服务,提供以大数据分析为基础、以协同规划为引领、以综合设计为支撑、以系统集成为实践、以智慧运营为反馈的城市交通整体解决方案。
经过 20 多年发展,深城交在资质等级、人员规模、专业类别上于国内城市交通专业研究机构中处于领先地位。#EMQX#EMQ#
