简介:美团配送通过构建实时特征平台,实现了千万订单履约过程的智能化,提升了配送效率、用户体验,并降低了配送成本。文章深入探讨了平台建设的背景、目标、系统化与规模化过程,以及稳定性建设等关键方面。
配送的业务最主要的就是一个履约的行为,将用户、商家和骑手关联起来,形成一个闭环的商业模型。在这个模型中,即时配送平台的核心职责就是调整好这三者的关系,以更低的成本为用户带来更好的体验,为商家带来更多的单量,为骑手带来更多的收入。为了实现这一目标,美团配送在2017年开始了实时特征平台的建设实践。
最初,美团配送的履约过程主要由简单的规则构建,但随着业务的发展,这种规则配置化已无法满足需求,必须向智能化过渡。这包括智能调度、ETA时间预估、配送费定价和爆单等场景,而这些场景都需要算法实时决策,且要求分钟级数据的时效性。然而,当时的实时特征开发散落在四个业务团队,进行烟囱式开发,流程长、效率低,且存在重复建设的问题。同时,实时特征开发耦合在业务系统中,稳定性风险较高。
基于这样的背景,美团配送设定了建设实时特征平台的目标:建设分钟级时效的实时特征平台,多粒度刻画履约过程,提升研发效率,降低研发成本。
实时特征平台的建设分为三个阶段:系统化、规模化、平台化。
在系统化阶段,美团配送首先与业务系统划清边界,确定实时平台架构。然后搭建系统,验证其是否可以支撑业务场景,并将新增特征进行收口管理。
整体架构设计方面,美团配送遵循流程标准化、数据分层、特征兜底的原则。从数据输入、加工计算到数据输出,都进行了流程的标准化。数据源层主要包括包裹表、运单表、骑手表以及运单扩展表。数据层通过ODS层清洗和转换数据,DWD层进行维表建模和合流,形成索引数据和明细数据的宽表。计算层通过标准化的SQL对宽表数据进行计算。存储层存储计算层输出的特征数据。服务层通过实时特征服务将存储层数据统一输出到应用层。应用层主要包括ETA时间预估策略服务、调度策略服务、保单策略服务以及定价策略服务。管理系统则负责元数据的管理,如数据源、特征口径以及存储的管理,还包括兜底策略管理和降级模块。
随着业务的发展,美团配送需要推动实时特征收口,以满足更多的业务需求。这要求系统具有更高的稳定性和性能。
在规模化阶段,美团配送建设了高可用的系统,支撑了更多的实时特征,并对旧特征进行了统一收口管理。同时,为了满足实时特征查询的高性能要求,美团配送对系统进行了优化,包括制定“135”制度(1分钟响应问题,3分钟定位问题,5分钟恢复计算),建立四层监控体系和容灾体系,以及完善的技术方案review机制、代码review机制、上线制度、巡检制度、值班制度以及报警治理等制度。
在平台化阶段,美团配送将实时计算整合,进行了完善的服务治理。同时,针对稳定性建设进行了拆分和隔离,将实时特征服务拆分为ETA、调度、定价、爆单四个服务,在物理环境上进行隔离,但使用同一套代码。
为了进一步提升系统的稳定性,美团配送还采取了以下措施:首先,通过特征兜底策略避免了Kafka集群故障,确保了系统的稳定运行。其次,建立了全链路的监控和降级机制,以及满足50ms响应时间的性能要求。最后,通过拆分和隔离服务链路,降低了系统的耦合度,提高了系统的可扩展性和稳定性。
在美团配送实时特征平台的建设过程中,千帆大模型开发与服务平台发挥了重要作用。该平台提供了强大的数据处理和计算能力,支持美团配送实现实时特征的快速开发和部署。同时,千帆大模型开发与服务平台还提供了丰富的算法模型和工具,帮助美团配送优化智能决策过程,提高配送效率和用户体验。
例如,在ETA时间预估方面,千帆大模型开发与服务平台可以支持美团配送训练更准确的预估模型,提高预估时间的准确性。在智能调度方面,该平台可以支持美团配送实现更精细化的调度策略,优化骑手的配送路径和时间安排。这些应用都进一步提升了美团配送的业务效率和竞争力。
美团配送实时特征平台的建设实践取得了显著的成效。通过构建实时感知数字化的平台,美团配送实现了千万订单履约过程的智能化管理。这不仅提升了配送效率、降低了配送成本,还为用户提供了更好的体验。未来,随着业务的不断发展和技术的不断进步,美团配送将继续优化和完善实时特征平台的功能和性能,以更好地满足用户需求并推动业务的发展。
同时,美团配送也将积极探索新技术和新模式的应用,如利用人工智能、大数据等先进技术进一步提升智能决策水平和配送效率。相信在不久的将来,美团配送将为用户带来更加便捷、高效、优质的配送服务。