TiDB助力携程实时标签处理平台高效运行

携程，作为全球领先的一站式旅行服务平台，旗下拥有携程旅行网、去哪儿网、Skyscanner等多个知名品牌，为超过9000万会员提供全方位的旅行服务。在数据量达到十亿级别的背景下，携程对于数据处理和业务运营效率的提升有着极高的要求。为此，携程借助了TiDB的HTAP（Hybrid Transactional and Analytical Processing，混合事务与分析处理）能力，对其国际业务动态实时标签化处理平台（CDP）进行了优化实践。

一、背景与挑战

携程的国际业务面临着复杂多样的市场和产品环境，投放渠道众多，引流费用高昂。为了实现对业务和产品的精细化管理和优化，降低整体成本，提高运营效率与转化率，携程研发了CDP平台。然而，携程的数据具有来源广泛、形式多样、离线与在线数据处理并存等特点，这对数据的采集、管理、加工以及形成满足业务系统、运营、市场需求的数据和标签提出了巨大挑战。

二、TiDB的解决方案

TiDB作为一款分布式数据库产品，以其强大的HTAP能力成为了携程优化CDP平台的理想选择。TiDB的双引擎架构——行存TiKV和列存TiFlash，分别支持OLTP（在线事务处理）和OLAP（在线分析处理）场景，满足了CDP平台对于实时触发和持久化存储的双场景需求。

1. 实时触发场景：CDP平台可以根据业务需要，配置动态规则，实时订阅业务系统的变更消息，筛选出满足动态规则条件的数据，并通过消息的方式推送到下游业务方。这一过程中，TiDB的实时触发能力确保了数据的时效性和准确性。
2. 标签持久化场景：对于业务系统的实时业务变更消息，CDP平台按照业务需要加工成业务相关的特征数据，并持久化存储到TiDB中。业务方可以根据需要组装查询条件来查询引擎数据，包括OLAP和OLTP两大类查询。TiDB的持久化存储能力为CDP平台提供了稳定可靠的数据支持。

三、系统设计与实现

CDP平台在系统设计上采用了类Kappa架构来处理流式数据，以及类Lambda架构来处理标签持久化。系统借鉴了Lambda数据处理架构的思想，将新增数据根据来源不同分别发送到不同的通道中。历史全量数据通过数据批处理引擎（如Spark）转换后，批量写入到TiDB中；增量数据则以消息形式发送到Kafka或QMQ消息队列，并按照标签持久化的逻辑规则处理完成后，增量写入到TiDB中。

四、TiDB的优势与收益

1. 高性能与低延迟：TiDB通过缓存优化、内存使用提升以及减少IO和网络影响，实现了性能的飞跃。在CDP平台中，TiDB的高性能确保了数据处理的时效性和准确性，为业务决策提供了及时可靠的数据支持。
2. 高稳定性与可靠性：TiDB从v7版本开始就已经完成了产品稳定性的改善，并引入了多项稳定性提升的措施。在CDP平台中，TiDB的高稳定性确保了数据的完整性和一致性，为业务的连续运行提供了有力保障。
3. 易扩展与易维护：TiDB的分布式架构使得其能够轻松应对数据量的增长和业务的扩展。在CDP平台中，TiDB的易扩展性使得携程能够随时根据业务增长情况进行水平弹性扩展；同时，TiDB的易维护性也降低了运维成本和工作量。
4. 与MySQL的高度兼容：TiDB在v7.0-v7.5版本中实现了与MySQL v8.0的高度兼容，这不仅包括SQL语法的兼容，还涵盖了全局日志、执行优化器的缓存等高级特性。这一兼容性使得原有的MySQL DBA能够无缝迁移到TiDB平台，同时保证了应用程序的平滑过渡。

五、实际应用与成果

目前，CDP平台已经与携程各个业务系统进行深度整合打通，为国际业务增长提供业务特征标签库的数据与服务支持。通过TiDB的助力，CDP平台完美支撑了OLTP+OLAP混合负载，简化了IT系统架构，并大幅提升了业务的实时查询性能。同时，TiDB还帮助携程摆脱了MySQL分库分表的难题，实现了根据业务增长情况进行水平弹性扩展的能力。

六、未来展望

随着TiDB的不断升级和优化，相信其在携程CDP平台中的应用将会更加深入和广泛。未来，携程将继续探索TiDB的更多功能和优势，以进一步提升数据处理和业务运营效率，为旅客提供更加便捷、高效的旅行服务。

在这一优化实践中，我们选择了‘千帆大模型开发与服务平台’作为关联产品。虽然它并未直接参与CDP平台的优化过程，但作为一款强大的大数据处理与分析平台，千帆大模型开发与服务平台能够为携程提供更丰富的数据处理和分析能力。未来，携程可以考虑将千帆大模型开发与服务平台与TiDB进行深度整合，以进一步提升数据处理和业务运营效率。