TiDB助力携程实时标签处理平台升级

在全球旅游市场中，携程旅行网作为一站式旅行平台的佼佼者，向超过9000万会员提供酒店预订、机票查询、航班查询等一系列服务。随着业务的不断拓展，携程在国际市场上也面临着诸多挑战。由于市场多、产品和业务复杂多样、投放渠道多且引流费用高，因此需要对业务和产品做出更精细化的管理和优化，以满足市场投放和运营的需要，降低成本，提高运营效率与转化率。

为了应对这些挑战，携程专门研发了国际业务动态实时标签化处理平台（CDP）。该平台需要处理的数据具有来源广泛、形式多样等特点，包括结构化数据、半结构化和非结构化数据，以及离线数据处理与在线数据处理的需求。处理好的数据需要立刻运用到业务系统、EMD、PUSH等使用场景中，对数据处理系统的时效性、准确性、稳定性以及灵活性提出了更高要求。

然而，传统的数据处理方案存在诸多不足。例如，通过数仓进行T+1计算，再导入ES集群存储的方式，数据时效性差，查询响应速度慢，无法满足业务对实时标签处理的需求。为了解决这些问题，携程引入了TiDB数据库。

TiDB是一款分布式关系型数据库，具备HTAP（混合事务/分析处理）能力，能够同时处理在线事务处理（OLTP）和在线分析处理（OLAP）两类查询。TiDB的HTAP双引擎满足了实时触发、持久化存储双场景需求，使得CDP平台在数据处理过程中能够提升数据处理的时效性，同时满足业务灵活性的要求。

在CDP平台中，TiDB的应用主要体现在以下几个方面：

一、实时触发场景

根据业务需要，配置动态规则，实时订阅业务系统的变更消息。当业务系统发生变更时，CDP平台能够筛选出满足动态规则条件的数据，并通过消息的方式推送到下游业务方。这种方式极大地提高了数据的时效性，使得业务方能够及时获取到最新的数据标签。

二、标签持久化场景

将业务系统的实时业务变更消息按照业务需要加工成业务相关的特征数据，并持久化存储到TiDB中。业务方可以根据需要组装查询条件来查询引擎数据，主要包括OLAP（分析类）与OLTP（在线查询）两大类查询。TiDB同时提供了行存和列存两种持久化存储方式，分别支持OLTP和OLAP场景，满足了不同业务场景访问业务特征数据的需要。

三、系统架构设计

CDP平台采用了类Kappa架构来处理流式数据，采用类Lambda架构来处理标签持久化。系统借鉴了Lambda数据处理架构的思想，将新增数据根据来源不同分别发送到不同的通道中。历史全量数据通过数据批处理引擎（如Spark）转换完，批量写入到数据持久化存储引擎TiDB中。增量数据业务应用以消息形式发送到Kafka或QMQ消息队列，将数据按照标签持久化的逻辑规则处理完成，增量写入到持久化存储引擎TiDB。

四、性能与稳定性提升

通过引入TiDB，CDP平台的性能和稳定性得到了显著提升。TiDB的分布式架构使得平台能够轻松应对高并发场景，保证了数据的实时性和准确性。同时，TiDB的自动容错和故障恢复机制也提高了平台的稳定性和可靠性。

五、业务价值

CDP平台与携程各个业务系统进行深度整合打通，为国际业务增长提供了业务特征标签库的数据与服务支持。通过实时标签处理，携程能够更精准地把握市场需求和用户行为，为产品和服务的优化提供了有力支持。同时，TiDB的引入也简化了IT系统架构，降低了运维成本。

综上所述，TiDB在携程国际业务动态实时标签处理平台中的应用取得了显著成效。它不仅提高了数据处理的时效性和准确性，还降低了运维成本，为携程的国际业务增长提供了有力保障。随着TiDB的不断升级和优化，相信它将在未来为携程带来更多的业务价值和技术创新。