本文源于:長安汽車智能化研究院
業務場景介紹
1.?公司簡介:長安汽車,全稱“重慶長安汽車股份有限公司”,是中國領先的汽車制造商之一,以廣泛的産品線和創新技術而聞名。長安汽車不僅提供多種乘用車和商用車,還在智能網聯汽車技術方面處于行業前沿,特別是在車聯網平台的開發上。
車聯網平台是長安汽車智能化戰略的核心組成部分,該平台利用雲計算、大數據、物聯網和人工智能等技術,實現車輛與外部環境、其他車輛以及交通基礎設施的互聯互通。其核心平台VOT實現了萬級車輛實時在線、毫秒級通訊互聯、完整的生態接入能力,並在此基礎上提供實時數據采集、海量數據分析計算、實時預警車輛故障、保證車輛安全駕駛等功能,顯著提升了用戶的用車體驗。
2.?业务全景介绍:长安汽车智能化研究院承担了长安汽车智能化转型的重要角色,其車聯網平台是公司智能化战略的重要组成部分,该平台借助大數據、雲計算和人工智能等先进的数字技术,为消费者提供更安全、更舒适、更便捷的智能驾驶体验。主要包含的业务如下:
車聯網核心平台VOT:公司基于超大规模云原生架构下设计的车云核心服务,业务涵盖车辆远控、车况、事件通讯、服务编排、规则引擎等核心能力,通过物联网时序数据库IoTDB实现了万级的车辆稳定接入、千万点每秒的数据并发处理以及超高的终端接入兼容性,是长安汽车所有车辆的云上大脑。
数据分析平台:公司基于Apache Doris升级了車聯網数据分析平台,支持单日百亿级别数据的实时处理,并能实现十亿级别数据查询的秒级响应。该平台为长安汽车在提升用户用车体验、实时预警车辆故障、保证车辆安全驾驶等方面带来显著成果。
云器Lakehouse大數據平台:公司建设了基于云器Lakehouse的車聯網大數據平台,面对超大规模数据量和业务的飞速发展,解决了成本高、用数难、运维烦等挑战。
車聯網业务整体架构图
3.?平台时序数据管理能力建设:伴随着长安汽车旗下主要品牌(包括阿维塔、深蓝、启源等)的迅猛扩张以及智能网联汽车的数量呈指数级增长,車聯網平台迎来了比较罕见的压力。这种增长不仅给車聯網平台带来了数据并发处理的挑战,也导致了平台海量数据处理成本的上升、效率的下降以及实时和历史数据存储费用的增加。
具體來看,車況信息作爲衆多車輛數據中的核心數據,海量的連接數量導致數據上報量也呈指數級增長。在當前的日活躍用戶數下,每日實時上行的車況數據量已達到驚人的200T。
IoTDB作为长安汽车車聯網平台的核心数据存储引擎,扮演着至关重要的角色,不仅支持高并发的读写操作,还负责历史数据的长期存储。
業務需求痛點
1.?海量并发写入性能低。当前,在长安汽车闲时活跃用户量约200万的情况下,車聯網平台实时上传的车况数据并发量已经稳定在数十万级别。由于不同车型导致的车况模板信息需求差异,动态存储成为了一个迫切需要解决的问题。
同时,相比传统汽车,智能汽车领域单个智能汽车的数据交互量呈现出数十倍的增长。以长安汽车近千万的日活跃用户量计算,长安汽车車聯網平台长期承受着每秒超过50万次的数据传输压力。如此海量数据压力下,传统数据库面临着服务器资源高负载和写入性能的双重挑战。
2.?存储与查询灵活性差。在面对这些挑战时,长安汽车现有车况数据存储引擎HBase表现出明显的劣势:原数据存储引擎数据模型基于行键、列族和时间戳,所有的数据访问模式都必须围绕该模型设计。若数据访问模式与 HBase 的数据模型不匹配,可能会导致查询效率降低。
而且,HBase 不支持像传统关系型数据库般的联结操作和复杂的事务处理。因此在需要进行复杂查询的应用场景中,HBase 可能并不是理想选择。
此外,HBase 的查询通常涉及全表扫描,这在大型表中会消耗大量资源和时间。尽管这一问题可以通过使用过滤器来减少扫描的数据量,但仍然是一个需要考虑的性能瓶颈。
3.?历史数据存储成本高。HBase 作为一种基于列的存储解决方案,虽然适合存储稀疏数据,但在处理高频更新和小批量随机读写操作时效率并不理想。同时,尽管 HBase 支持 GZIP、Snappy 等多种压缩算法以有效减少存储空间占用,但这些操作可能会增加 CPU 使用率,并降低数据的读写性能,从而无法满足大數據量下数据实时处理的需求。
4.?中心计算资源紧张。长安汽车原有的车况数据架构基于纯云端的 HBase 存储,强烈依赖于 Hadoop 生态计算架构,这种计算架构并非轻量级,其所有计算成本都紧密围绕着建立的生态系统。这种依赖性,对云核心的负载造成了极大压力。
此外,HBase 基于单个主节点的集群架构,在面临故障时虽然可以继续连接其他区域(region),但主节点的恢复时间较长,从而导致计算链路性能下降,这也意味着所有计算压力都集中在云端,单就HBase而言其复杂的架构难以在边缘节点上部署。
选型 IoTDB 原因
1.?支持動態模板的海量並發處理能力。IoTDB基于時間序列的存儲結構優化與Hbase針對基于時間序列的固定模板不同,IoTDB的元數據模板支持動態的增刪改查,並在此基礎上實現了物理量元數據共享,優化了存儲及使用成本。
IoTDB也支持高並發連接,單台服務器可以處理數萬次並發連接/秒,具備高寫入吞吐的特點;單核處理寫入請求可以達到數萬次/秒,單台服務器的寫入性能可以達到數千萬點/秒;在集群環境下,寫入性能可以線性擴展,集群的寫入性能可達數億點/秒。
2.?实时读写与有效压缩兼顾。IoTDB使用更有效的时间序列数据压缩技术,如 Gorilla 编码,可以在保持较高压缩比的同时,实现快速的数据读写,既降低了历史车况的存储压力,又满足了車聯網下车况数据的实时使用场景。
3.?端雲計算架构。IoTDB 的轻量级架构适用于边缘设备,具有有效的数据管理和存储能力。在边缘节点,IoTDB支持低延迟的查询,使实时数据分析成为可能;终端层的数据通过边缘层的IoTDB进行实时采集、处理和存储,并进行一系列的分析任务后,后续数据可上传到云端IoTDB,满足車聯網领域中大规模数据存储、高速数据摄入和复杂数据分析的需求。
边缘IoTDB结合IoTDB云版本,可以支持在不同环境中管理时间序列数据,提升数据质量,降低雲計算的成本。
IoTDB時序數據管理流程簡述
长安汽车車聯網平台原有方案采取较为简单的车况上报,经由网关转发后实时车况存储在redis,历史车况存储在Hbase。
基于IoTDB的新方案采用端雲協作計算,部分車況數據在終端進行數據整合,也可根據特定需求(如國家采集標准的數據格式轉換、周期數據整合等)自行在終端進行簡單計算、短期存儲。按照配置上傳雲端,通過規則引擎進行分發後,基于IoTDB實時性高的特征,同時進行實時數據推送、實時數據redis存儲、曆史數據IoTDB落庫並提供查詢接口做數據統一。
車聯網平台VOT完整架构图
應用效果
1.?車況上報百萬並發寫入。面向長安汽車萬級在線車輛實時車況數據上報、實時存儲查詢場景,IoTDB每秒寫入能力達到800w+,並且支持水平擴展承載更高的壓力。
當前,長安汽車VOT平台實時接入車輛數量達到200萬輛,每日産生的數據量高達1500億條記錄。在這種規模下,依托IoTDB打造的新系統能夠保持寫入延遲在毫秒級別,數據實現快速可靠寫入。
平台单日产生的数据量累计约200T,在经过IoTDB有效实时存储处理后,数据量得以大幅压缩,最终存储量约为30T,实现了约10倍的数据压缩比例。在当前的数据存量(覆盖近90天的时间范围)下,IoTDB在大數據处理和存储方面的卓越性能得以体现。
2.?曆史車況有效查詢。針對目前長安汽車的萬億級車況數據,IoTDB將查詢延遲控制在50ms內,完全滿足所需性能。
此外,VOT平台的数据处理架构设计充分考虑到高并发和大數據量的挑战,并基于IoTDB及其完善的生态接入能力,通过采用先进的数据索引和查询优化技术,从而支持快速的数据检索和分析。
不僅如此,平台還集成了機器學習算法,用于智能預測和維護車輛狀態,進一步提升數據處理的效率和准確性。這些技術的應用不僅提高數據處理的速度、降低運維成本,也爲用戶提供了更加穩定和可靠的服務體驗。
3.?平台效果展示
启源App首頁
車聯網VOT服务管理
(推廣)