Apache Doris助力中国联通5G全连接工厂架构升级

随着5G技术的飞速发展，5G全连接工厂应运而生，成为工业制造的未来方向以及数字化转型和智能制造的典范。5G全连接工厂利用5G等新一代信息通信技术，实现工厂内部各个生产单元的广泛连接，包括设备、系统、人员、物料、环境等多元素的互联互通。通过这种全方位的连接，5G全连接工厂能够实时收集、分析和处理大量数据，从而优化生产流程，提高生产效率，降低运营成本。

中国联通作为中国最大规模的电信运营商之一，具备广泛的5G网络覆盖，拥有大量通信基站、光纤网、数据中心等物理网络基础设施，这为建设5G全连接工厂提供了坚实的基础。中国联通针对5G全连接工厂的需求，提供了一整套解决方案，旨在实现制造型企业生产要素的全面互联和数据实时采集。

一、5G全连接工厂的核心需求与挑战

5G全连接工厂涉及大量设备、传感器和系统的连接，将产生海量类型格式各异的实时数据。这些数据具备密度高、维度多的特点，对数据处理引擎提出了极高的要求，具体包括：

1. 支持大规模数据导入：包括历史存量数据的批量高效导入，以及高频率、低延迟的实时数据写入。
2. 高性能查询能力：需要支持毫秒级点查询、毫秒级聚合查询、秒级在线多维分析以及复杂多表关联查询，以满足生产报表的产出和客户的临时需求。

最初，联通5G全连接工厂采用的是典型的Lambda架构，包括离线和实时两条数据处理链路。然而，这种架构存在数据链路复杂、数据准确性问题、维度变更困难以及高维护成本等痛点。

二、Apache Doris的实时/离线一体化架构

为解决早期架构存在的痛点问题，中国联通西部创新研究院综合对比了Apache Doris、ClickHouse、Hive及数据湖方案，最终选择Apache Doris对原有数据平台的存储引擎进行升级改造。

Apache Doris作为一种高性能的OLAP分析引擎，以其独特的优势在数据处理和查询中展现出巨大的潜力，主要包括：

1. 简单易用：Doris兼容MySQL协议，业务团队可以直接使用MySQL客户端工具进行数据查询，无需学习新的查询语言。
2. 统一数据分析网关：利用Apache Doris构建完善可扩展的数据源连接框架，便于快速接入多类数据源，包括各种主流关系型数据库、数据仓库以及数据湖引擎，提供基于各种异构数据源的快速查询和写入能力，实现统一的数据分析网关。
3. 高性能查询：Doris支持高性能计算、高性能查询以及高并发点查，即使是特别复杂的多表Join，也具备出色的性能表现。
4. 高效的实时数据导入：Apache Doris能够支持海量数据的高吞吐实时写入，同时也提供了多种数据导入方式，可满足所有场景下的数据写入要求。
5. 运维成本低：Doris本身架构精简，仅含有FE+BE两个组件，借助SelectDB的Doris Manager平台，可以实现集群的自动化运维，减少人工干预，提高集群的稳定性和可靠性。

基于以上能力，Doris可以轻松实现实时/离线一体化，减少数据同步的复杂度，提高数据的一致性。

三、中国联通5G全连接工厂的实践成果

中国联通采用Apache Doris的实时/离线一体化架构后，5G全连接工厂的数据处理能力得到了显著提升，具体表现在以下几个方面：

1. 数据时效性提升：Doris支持高频率、低延迟的实时数据写入和查询，确保了数据的实时性，使工厂能够更快速地响应市场变化和客户需求。
2. 查询响应速度加快：Doris的高性能查询能力使得查询响应时间由分钟级提升至秒级，甚至毫秒级，大大提高了业务团队的决策效率。
3. 存储成本降低：Doris的列式存储和分布式计算设计使得存储成本大幅降低，同时提高了数据的查询和分析效率。
4. 开发效率提升：Doris的简单易用性和统一的数据分析网关降低了开发门槛，减少了技术栈的复杂性，使得开发团队能够更专注于业务逻辑的实现。

四、结语

中国联通采用Apache Doris的实时/离线一体化架构，成功升级了5G全连接工厂的数据处理能力，为工厂的数字化转型和智能制造提供了有力的支持。未来，随着5G技术的不断发展和应用场景的不断拓展，中国联通将继续深化与Apache Doris等先进技术的融合创新，推动制造业的数字化转型和智能化升级。