美团综合业务推荐系统质量模型深度解析

美团到店综合业务（以下简称到综）作为美团到店业务的重要板块之一，涵盖了洗浴、KTV、美业、医美、亲子、结婚、运动健身、玩乐、教育培训、家居、宠物、酒吧、生活服务等数十个重点细分行业，满足数以亿计用户多样化的本地生活需求。在这其中，推荐系统是实现供给和需求高效匹配的重要环节，是传递数据价值的出口，而推荐系统的质量则决定了匹配效果的折损。

一、现状分析

推荐系统是效果类系统，其质量特点与功能类系统有所不同。功能类系统一般降级后会较为显性地影响用户体验，但推荐结果返回A或者A’，用户很难有明显感知。然而，如果匹配效果变差，就会直接影响到用户的隐性体验，这种影响同样需要被识别。

在综合业务推荐系统的业务实践中，传统的质量指标，如可用性，存在以下局限性：

1. 对部分缺陷不敏感：可用性是中断频率和持续时间的函数，体现的是系统持续提供服务的能力。只要系统的缺陷不影响对外提供服务，就不影响可用性。但有些缺陷，如模型更新延迟，虽然不影响服务的连续性，却可能严重影响用户体验，这些缺陷在传统的可用性指标中无法体现。
2. 难以覆盖数据的全链路：推荐系统的链路涵盖了数据生产、加工、应用、分析等环节。可用性并不涉及数据表的质量，且在可用性能度量的地方无法反应数据质量的全貌。数据质量需要考虑完整性、准确性、时效性、安全性等特征，这些特征超出了可用性的范畴。
3. 难以反映业务差异性：美团到综覆盖上百个行业、几十个频道页，推荐系统出于效率和成本考虑，业务间无法完全进行隔离。不同业务差异很大，访问频次、流量高峰期、业务策略各不相同，从而质量的特点和问题分布也不同。目前可用性的指标缺乏业务维度信息，不利于指导精细化的质量运营。

二、质量模型建设思路

针对上述局限性，美团考虑进行推荐系统的质量模型建设，以可用性为基础，然后调整计算方式，进而指导精细化的质量运营。

1. 业务语境下的质量：根据国际标准化组织（ISO）的定义，质量是反映实体满足明确或隐含“需要”能力的特征总和。在推荐的场景下，这个对象是产品和算法。业务产品通过理解用户场景，抽象用户需求，向推荐团队提出产品需求，体现为对外的产品迭代；同时推荐系统团队内部相互协作，学习最佳优化模型策略，体现为数据团队内部的算法迭代。
2. 缺陷的考量和选择：不满足“需要”或者“预期”则会产生缺陷，缺陷是质量折损的原因。结合推荐系统的业务特色和高频质量问题，现阶段重点考虑功能适用性、性能效率、兼容性、可靠性、安全性等质量特征作为缺陷来源。
3. 度量和计算的选型：由于到综业务线众多，推荐系统作为平台型产品，系统与业务是N:N的关系，当下系统的可用性难以去计算每个行业、项目和业务的可用性。因此，考虑用请求来聚合计算质量分，这样可以更灵活地反映不同业务、项目和流量位置的质量情况。

三、计算方式

从故障到缺陷，从推荐结果的“有”、“无”到推荐效果的“好”、“坏”，从整体到各个业务，质量模型需要描述一个好的质量分应该有的特征。在实际落地计算时，可以分成以下四个层面的缺陷：

1. 系统层面：该请求触发了系统异常，则为缺陷响应。常见的如召回超时、召回失败、召回空结果等。
2. 数据层面：该请求用到的数据出现异常，则为缺陷响应。例如，数据不完整、不准确、不及时或存在安全隐患等。
3. 算法层面：该请求虽然系统和数据均正常，但算法给出的推荐结果不符合预期，则为缺陷响应。例如，推荐结果不准确、不相关或排名不合理等。
4. 业务层面：该请求虽然系统、数据和算法均正常，但推荐结果不符合业务策略或用户需求，则为缺陷响应。例如，推荐结果与业务目标不符、不符合用户偏好或违反法律法规等。

基于上述缺陷分类，可以定义“成功的请求响应”为没有触发上述任何一层缺陷的请求响应，并据此计算质量分。同时，可以增加质量分的业务聚合维度，以便更细致地分析不同业务、项目和流量位置的质量情况。

四、实践效果

通过实施质量模型，美团综合业务推荐系统在多个方面取得了显著成效：

1. 质量提升：通过精细化运营和针对性优化，系统质量得到了显著提升，用户体验得到了有效改善。
2. 效率提高：质量模型为系统优化提供了明确的方向和依据，使得优化工作更加高效和有针对性。
3. 成本降低：通过减少不必要的投入和避免无效的优化工作，质量模型帮助系统降低了运营成本。

五、关联产品

在美团综合业务推荐系统的质量模型及实践中，曦灵数字人作为智能客服的代表产品之一，也在其中发挥了重要作用。曦灵数字人能够基于自然语言处理和深度学习技术，实现与用户的智能交互和个性化推荐。通过引入曦灵数字人，美团进一步提升了推荐系统的智能化水平和用户体验。

例如，在某些业务场景中，曦灵数字人可以根据用户的历史行为和偏好，为用户提供更加精准和个性化的推荐服务。同时，曦灵数字人还可以根据用户的反馈和互动情况，不断优化推荐算法和模型，从而进一步提升推荐系统的质量和效果。

综上所述，美团综合业务推荐系统的质量模型及实践是一项复杂而细致的工作。通过深入分析传统质量指标的局限性并采取相应的改进措施，美团成功构建了适应多业务线、效果导向的推荐系统质量模型。该模型不仅提升了系统质量和用户体验，还为类似系统的质量度量提供了新的思考角度和实践参考。