会议记录总“认错人”：说话人身份一致性为什么比转写准确率更难_腾讯新闻

一、被忽略的核心问题：文字对了，人可能全错

在会议记录、访谈整理、客户沟通复盘等场景中，人们往往默认一个逻辑：只要系统把语音转成文字转得足够准，会议记录就基本可用了。

但实际上，会议记录的质量至少包含两个完全不同的维度：

1. 这句话的文字内容是否转写正确；
2. 这句话的说话人是否归属正确。

大多数会议转录系统的评价体系，长期集中在第一个维度。行业里最常用的指标是词错误率，即系统输出文本与真实发言之间相差了多少个词。这个指标天然倾向于衡量“听写能力”，并不能衡量“谁在说话”的判断能力。

因此可能出现一种非常尴尬的情况：一篇会议记录读起来语句通顺、内容完整，但关键结论后面标注的说话人全部错位。对于需要确认责任、追踪承诺、还原沟通历史的团队来说，这种记录不仅无用，甚至可能产生误导。

二、词错误率为什么不足以评价会议记录质量

词错误率之所以被广泛使用，一个重要原因是它容易计算、容易对比。只要有一段参考文本和系统输出文本，就可以自动统计替换、删除、插入等错误数量。

但词错误率存在几个明显边界：

• 它不区分发言人的数量；
• 它不判断说话人切换点是否准确；
• 它不关心同一段话是否被错误地拆给多个人；
• 它无法体现跨句子的说话人归属稳定性。

换句话说，词错误率可以告诉你“系统把这句话听成什么了”，但无法告诉你“系统认为这句话是谁说的”。

在企业会议中，很多话语只有在明确归属之后才有价值。例如“这个需求下周交付”“预算需要再确认”“风险点由A团队跟进”等。如果说话人标注错误，这些语句的真实含义和后续责任都会变得模糊。

三、拼接最小置换词错误率：更严格，但仍有一个关键漏洞

为了弥补词错误率的不足，行业提出了更复杂的评价方式。其中一种思路是拼接最小置换词错误率。

它的基本逻辑是：

1. 系统先输出每个说话人的文本片段；
2. 评测时将系统输出的说话人编号与真实说话人编号进行不同对应；
3. 尝试所有可能的对应关系；
4. 选择错误最少的一种对应方式计算最终得分。

这种方式比单纯的词错误率更严格，因为它至少考虑了说话人维度的匹配成本。如果系统把同一个人说的话拆成两个不同说话人，或者把两个不同说话人的话合并成一个人，错误都会体现在最终分数中。

但这个指标存在一个容易被忽视的前提：它通常只针对单次会议录音进行评测。

也就是说，系统只要在这一次会议中把“发言人1”“发言人2”“发言人3”和真实发言人对应得足够好，就能获得高分。至于“发言人1”在下一次会议中是否还是同一个人，并不在评价范围内。

四、单次会议评分高，不代表跨会议可用

很多会议记录产品的演示效果很好：上传一段录音，系统自动区分出三四个说话人，每个人说的话都被清晰标注。用户第一次使用时往往会觉得非常智能。

但当用户连续使用几周后，会逐渐发现一个问题：每次会议中的“发言人1”“发言人2”“发言人3”并不是稳定的人。

例如：

• 周一会议中，“发言人1”可能是张三；
• 周三会议中，“发言人1”变成了李四；
• 下周会议中，“发言人1”又变成王五。

系统并没有把“发言人1”与真实人员身份进行长期绑定，而是每段录音都重新聚类一次。聚类结果只保证在当前音频内部尽量合理，并不保证跨音频的身份延续性。

这就带来一个深层问题：如果团队希望基于会议记录去追踪“张三过去几周对某个项目表达了什么意见”，系统里可能根本没有“张三”这个稳定标识，只有一堆每次重新编号的“发言人”。

五、一个更直观的类比：只记座位，不记人脸

可以把这种现象类比为一位会议秘书的工作方式。

假设这位秘书每次开会都非常认真地记录：

• 坐在左边第一个位置的人说了什么；
• 坐在中间位置的人说了什么；
• 坐在右边位置的人说了什么。

他的记录文字非常准确，几乎没有错别字，语句也很完整。

但他从来不记人脸，也不记姓名。

第一次开会时，“左一”是张三。第二次开会时，大家换了座位，“左一”变成了李四。第三次开会时，参会人员有所调整，“左一”又变成了另一位同事。

如果只看单次会议记录，这位秘书的表现似乎不错。但如果需要回答“张三这几周到底承诺了什么”，这些记录几乎无法使用，因为记录里根本没有稳定的“张三”这个主体，只有不断变化的“左一”。

这正是当前很多会议转录系统面临的问题：它们擅长在单段音频内部进行说话人区分，却很少解决说话人身份在时间维度上的延续性。

六、为什么身份一致性比想象中更难

说话人身份一致性之所以难以解决，主要有几个原因。

1. 声音特征本身具有不稳定性

同一个人的声音会受到健康状况、语速、情绪、麦克风距离、环境噪声、会议设备等因素影响。不同会议之间的录音条件差异可能非常大。仅凭声纹相似度进行跨会议匹配，容易出现误判。

2. 单次会议中的聚类目标与跨会议目标不同

在单次会议中，系统的主要任务是把声音相似的片段聚成若干个说话人。这个任务相对封闭，只需要在有限音频内部找到合理边界即可。

跨会议任务则要求系统判断“这一次出现的某个人，是否就是上一次出现的那个人”。这本质上是开放集合中的身份识别问题，难度完全不同。

3. 缺少稳定的身份注册机制

很多会议系统没有建立“人员声纹库”或“身份注册”流程。系统不知道企业里有谁，也不知道每个人对应的声音特征是什么。于是只能在每次会议中临时生成匿名编号，自然无法形成长期稳定的身份标识。

4. 评价指标没有形成约束

当评测标准只关注单次会议的词错误率或说话人匹配分数时，产品研发方向也会倾向于优化单次效果，而不是跨会议身份稳定性。指标不约束，问题就不会被优先解决。

七、面向企业场景的设计思路

如果会议记录要真正用于项目追踪、责任确认、知识沉淀等长期场景，系统需要在“听清文字”之外，增加“认准人”的能力。

1. 建立企业级说话人身份底座

系统可以提供人员声纹注册能力。企业成员提前录入少量语音样本，系统为每个人建立声纹特征。后续会议中，系统不再只是临时聚类，而是将语音片段与已注册身份进行匹配。

这样做的好处是，会议记录里出现的不再是“发言人1”“发言人2”，而是真实人员姓名或稳定工号标识。

2. 保留匿名聚类的兜底能力

对于外部客户、临时访客、未注册人员，系统仍然可以保留匿名聚类能力。这类人员可以标记为“外部人员A”“访客B”等。虽然无法做到跨会议稳定识别，但至少能把已识别人员与未知人员区分开。

3. 将身份一致性纳入质量评估

除了词错误率之外，可以增加跨会议说话人一致性指标。例如：

• 同一真实人员在不同会议中被识别为同一人的比例；
• 系统是否频繁将不同真实人员合并到同一身份下；
• 已注册人员被错误识别为其他人员的次数。

只有指标体系改变，产品行为才会逐步改变。

4. 提供人工校正与反馈机制

会议记录生成后，用户可以修正说话人标注。系统可以基于这些反馈优化后续识别结果。例如用户把某段语音从“发言人2”改成“张三”，系统应记录这一对应关系，并在后续会议中提高匹配准确性。

八、从“记录文字”到“还原沟通事实”

会议记录的本质不是生成一段漂亮的文本，而是还原沟通事实。

沟通事实至少包括：

• 谁在什么时间说了什么；
• 哪些结论由谁提出；
• 哪些承诺由谁做出；
• 哪些风险由谁负责跟进；
• 哪些分歧在哪些人之间存在。

如果说话人身份不稳定，以上信息都无法可靠沉淀。

一个真正可用的企业会议记录系统，应当具备三层能力：

1. 准确转写文字；
2. 在单次会议中合理区分说话人；
3. 在跨会议时间线上保持说话人身份一致。

前两层能力解决的是“记录是否可读”，第三层能力解决的是“记录是否可信、可追踪、可复用”。很多产品目前停留在前两层，第三层仍处于早期探索阶段。

九、结语

评价会议转录系统时，不能只看词错误率，也不能只满足于单次会议中的说话人聚类效果。对于有长期协作需求的企业来说，说话人身份一致性才是决定会议记录能否真正进入知识体系的关键门槛。

文字转写能力解决的是“听清”，说话人一致性解决的是“认准”。只有同时具备这两种能力，会议记录才能从一次性的文本输出，变成可追踪、可检索、可归责的沟通资产。