度言软件基于Apache Doris实时数仓的实践突破

杭州度言软件有限公司（度言软件）成立于2014年，是信贷不良资产处置技术服务供应商，以“智能科技赋能不良资产处置，推动贷后行业合规高效发展”为使命，客户群体涵盖银行、消费金融公司、AMC等金融机构及为这些机构提供人力资源外包服务的相关公司。随着业务的不断发展，度言软件面临数据量高速增长的挑战，传统的数仓技术架构逐渐显现瓶颈，难以满足客户日益丰富多样化的数据及分析需求。为了优化技术架构，提升服务质量，度言软件引入了Apache Doris实时数仓，并基于此进行了实践探索。

一、度言软件业务背景与挑战

度言软件围绕信贷不良资产案件高效流转管理，从机构管理、团队管理、坐席管理、外呼作业、调解法诉等环节入手，帮助客户构建数智化的业务管理体系。随着业务的扩展，数据体量极速增长，对数据分析的需求也日益增多。然而，传统的数仓技术架构在应对大数据量、高并发查询等场景时显得力不从心，导致查询响应速度慢，无法满足业务需求。

二、Apache Doris的引入与优势

在寻找解决方案的过程中，度言软件对市场上主流的即席查询数据库进行了调研，发现Apache Doris能够满足其对理想数仓的所有要求。Apache Doris具有以下显著优势：

1. 一站式实时数仓：能同时满足多种不同业务数据需求，大大简化大数据架构体系。
2. 高并发、低延迟：可同时支持OLAP、Ad-hoc和高QPS点查场景，满足高并发查询需求。
3. 数据接入友好：写入即可见，对数据增删改和聚合等都有较好的支持。
4. 架构简单：运维部署和维护简单，有较好的监控体系。

三、度言软件基于Apache Doris的实践

度言软件于2022年3月份引入Apache Doris，并逐步将其应用于数据仓库的建设中。以下是其实践过程的详细介绍：

1. 数据迁移：度言软件将客户报表及公司内部运营决策数据全部迁移至Apache Doris，以替代传统的MySQL、MongoDB等技术架构。
2. 数据建模：在业务上使用最多的Unique模型和Aggregate模型，这两种模型基本能够满足业务需求。Unique模型主要用于维度表和业务表（原始表）的接入，确保数据导入过程中的一致性；Aggregate主要用于报表数据的导入，支持多种聚合方式。
3. 数据导入：使用Flink-Doris-Connector进行实时导入，主要用于业务数据的导入；使用DataX进行离线导入，主要用于对接离线数仓已计算后的报表数据。
4. 性能提升：通过引入Apache Doris，度言软件的复杂查询响应速度得到了显著提升，部分查询性能甚至提升了10+倍。这不仅提高了业务效率，还为客户提供了更优质的服务体验。

四、实践成果与展望

度言软件基于Apache Doris的实时数仓建设实践取得了显著成果。未来，度言软件将继续深化与Apache Doris的整合，探索更多应用场景和可能性。同时，度言软件也将积极关注Apache Doris的发展动态和技术更新，以便及时将新技术应用于业务实践中。

在度言软件的实践过程中，千帆大模型开发与服务平台作为强大的技术支持，为Apache Doris的引入和部署提供了有力保障。千帆大模型开发与服务平台凭借其高效的数据处理能力和丰富的功能特性，助力度言软件实现了数据仓库的平滑升级和性能提升。通过引入Apache Doris和千帆大模型开发与服务平台，度言软件成功应对了数据量高速增长带来的挑战，优化了技术架构，提升了服务质量，为未来的业务发展奠定了坚实基础。

综上所述，度言软件基于Apache Doris的实时数仓建设实践是一次成功的尝试，不仅提升了复杂查询响应速度，还优化了技术架构，满足了客户多样化的数据及分析需求。未来，度言软件将继续探索和创新，为客户提供更优质的服务体验。