简介:长安汽车基于Apache Doris升级车联网数据分析平台,实现单日百亿级别数据实时处理及十亿级别数据查询秒级响应,显著提升用户用车体验、车辆故障预警及安全驾驶保障能力,助力长安汽车智能化技术创新与发展。
随着消费者对更安全、更舒适、更便捷驾驶体验需求的日益增长,汽车智能化已成为不可逆转的趋势。在这场汽车工业的革命中,长安汽车作为中国汽车行业的领军企业,正积极利用大数据、人工智能、云计算等前沿技术,推动汽车设备和系统的智能化升级。其中,长安汽车基于Apache Doris的车联网数据分析平台建设实践,为其智能化发展提供了有力支撑。
长安汽车智能化研究院是长安汽车集团旗下的核心研发机构,专注于汽车智能化技术的创新与研究。随着车辆销量的不断增长和新能源车的普及,长安汽车每天产生的数据量已达到惊人的规模。这些数据包括车辆CAN总线数据、埋点数据等,它们通过4G网络从车端传送至云端网关,进而进行后续的处理和分析。
面对如此庞大且持续膨胀的数据规模,长安汽车面临着诸多挑战。首先,如何实时写入和处理这些数据成为首要问题;其次,实时数据分析需求的准确性及时性也至关重要;最后,数据存储和计算成本的不断攀升也亟待解决。为满足各业务部门的数据分析需求,长安汽车决定对现有的数据平台进行升级改造。
在经过深入调研和技术选型后,长安汽车决定引入开源实时数据仓库Apache Doris。Doris在数据导入性能、实时查询等方面具有显著优势,能够满足长安汽车对超大规模实时数据场景下的数据处理需求。
长安汽车将原有的Lambda架构升级为一体化的Kappa架构,实现了从t+1加工到百分百全域数据实时加工的转变。新的平台架构更加简洁高效,各种组件整合为一个组件,最终形成一份资源、一个引擎、一种开发语言SQL的支持体系。
在存储方面,长安汽车采用了COS存储和Parquet存储格式,并通过自研的编码优化和map格式存储等技术手段,实现了对半结构化数据的高效存储和查询。同时,通过对数据进行行级+信号级的二级去重,进一步降低了存储成本并提升了查询效率。
在计算方面,长安汽车利用增量计算技术实现了对数据的近实时加工和处理。相较于传统的全量计算方式,增量计算能够显著降低计算成本并提升计算效率。
基于Apache Doris的数据平台升级后,长安汽车实现了对数据的实时关联计算和秒级响应。这使得业务人员能够更快速地获取业务数据和分析结果,为制定科学合理的业务决策提供有力支持。同时,通过丰富的数据分析和可视化工具,业务人员能够直观地了解业务运行状况和市场动态,进一步提升企业的数据价值和竞争力。
长安汽车基于Apache Doris的车联网数据分析平台建设实践取得了显著成效。首先,在数据处理方面,平台能够支撑单日百亿级别数据的实时处理并实现十亿级别数据查询的秒级响应;其次,在业务应用方面,平台为长安汽车在提升用户用车体验、实时预警车辆故障、保证车辆安全驾驶等方面带来了显著成果;最后,在成本控制方面,通过优化存储和计算方式,长安汽车有效降低了数据存储和计算成本。
展望未来,长安汽车将继续深化与Apache Doris等开源技术的合作与应用,推动汽车智能化技术的不断创新与发展。同时,长安汽车也将积极探索更多基于大数据和人工智能技术的创新应用场景,为消费者提供更加安全、便捷、智能的出行体验。
关联产品:千帆大模型开发与服务平台
在长安汽车的车联网数据分析平台建设中,千帆大模型开发与服务平台可以作为一个重要的技术支撑。该平台提供了丰富的算法模型和开发工具,能够帮助长安汽车更高效地处理和分析车联网数据。通过利用千帆大模型开发与服务平台,长安汽车可以进一步挖掘数据的潜在价值,为业务创新和发展提供更多可能性。
例如,长安汽车可以利用千帆大模型开发与服务平台构建基于深度学习的故障诊断模型,通过对车辆传感器数据的实时分析,提前发现潜在故障并进行预防性维护。这不仅可以提高车辆的可靠性和安全性,还可以降低维修成本并提升用户满意度。此外,长安汽车还可以利用该平台构建智能推荐系统,根据用户的驾驶行为和偏好为用户提供个性化的服务和产品推荐。这将有助于提升用户的用车体验和忠诚度。
综上所述,长安汽车基于Apache Doris的车联网数据分析平台建设实践为其智能化发展提供了有力支撑。通过不断优化数据存储、计算和实时分析能力,长安汽车将能够持续为消费者提供更加安全、便捷、智能的出行体验。