大模型知识问答引擎通常是客户升级大模型对话系统的第一步，能够在客户现有的业务基础上提供非结构化知识问答能力、增强知识问答多轮效果、减轻必须依赖的知识构建和维护成本。

在当前大模型对话能力，还存在可控性、安全性、并发延时等问题的情况下，在多种知识结构基础上引入大模型生成式对话引擎，与原有的专业模型判别式对话引擎，形成双引擎机制。在以下方面提供产品化能力，具备可规模化交付条件：

1. 效果优化，判别式对话引擎能力可作为生成式对话的干预模块，对于生成后不符合预期的问题、易投诉的服务流程仍可采用任务式对话、FAQ问答等能力人工配置后响应客户；
2. 性能优化，对话中控串行调度，优先进入判别式对话引擎，当无法匹配或回复用户问题时，调用生成式对话引擎获取回复，提升对话效果的同时也可以降低生成式对话引擎的并发，减少机器资源投入；
3. 服务兼容，对于已经建设智能客服的企业，可在现有的对话系统能力基础上，增强大模型生成式对话引擎能力，在升级优化期间，可保障现有服务质量不受影响。

创建方式

如果用户希望使用大模型文档问答的能力，可在新建租户时为用户创建的租户授权大模型能力中的文档问答，即可使用其能力。

大模型文档问答应用构建

在文档问答首页，创建文档问答应用，点击创建完成文档问答应用构建。

知识管理

• 在知识管理页面，用户可通过构建不同的知识目录用于对文档的分类管理

• 通过文档的上传，完成知识的导入，导入完成后可用于后续的知识问答

  • 支持单文件或者通过压缩包进行文件上传，文件格式支持pdf、 txt、 doc、 docx，单应用支持10000个文档，单文件支持50M
• 文档上传完成后并完成学习后，可查看文档的详情，可对解析完成后的分段信息和分段知识进行干预，以便提升问答过程中的检索效果
• 分段信息：即展示基于文档原文，模型根据配置的分段规则拆分出的一个个文档分段

• 支持对文档分段进行新增

  

  当出现分段不符合预期时，可点击新增分段，添加新的分段信息

  

  新增分段时需在文档原文区域通过鼠标划选分段的内容（被选中的文本内容会高亮展示），点击确定完成新增分段内容的选择（这样可以记录下分段信息在文档中的位置，在问答中可以追溯回复答案的来源，让回复有据可依）

• 支持选择文档分段是否用于问答

• 支持对文档分段进行编辑

  当出现分段内容不符合预期，需要增加、删除部分内容时，可对当前的分段内容进行修改，点击需要修改分段信息的编辑按钮，进入编辑态

分段信息进入编辑状态后，可点击定位按钮，文档原文中会自动定位到当前分段在文档中的位置，并将分段的内容进行高亮展示；修改后的内容需在文档原文区域通过鼠标划选分段的内容（被选中的文本内容会高亮展示），点击确定完成分段内容的选择（这样可以记录下分段信息在文档中的位置，在问答中可以追溯回复答案的来源，让回复有据可依）。

在分段信息内容编辑框中也可进行内容的修改。建议只在模型基于分段内容总结回复有偏差时，仅需修改少许内容即可纠正回复结果时使用，大篇幅修改会导致分段信息和原文不符，在回复内容中展示来源时，会出现回复与来源不一致，造成不好的体验。

• 支持对文档分段信息进行删除

点击删除，需要二次确认，确认后完成删除，删除后的分段信息不会用于问答。

• 分段知识：分段知识用于在用户提问时进行问题相关性匹配，当匹配相似度达到设定的阈值，即可将分段知识所关联的分段信息给到大模型进行总结回复

  • 支持对分段信息进行新增、编辑、删除
  • 点击某个分段信息，即可展示此分段信息下的所有分段知识，分段知识的内容直接关系到问答的准确性，在整个文档知识问答过程中，系统接收用户提问的内容，然后在文档知识中搜索和用户提问相关的分段知识，获取大于等于文档置信度（在Agent设置-知识库设置页面中配置）的分段知识所关联的分段信息输入给大模型，大模型基于用户提问和输入的分段信息进行总结回复。
  • 当出现大模型回复错误，可通过对分段知识的调优完成badcase的干预；例如：用户某个提问，输入给大模型的分段信息不是预期分段信息，则可在预期分段信息关联的分段知识中增加用于提问的分段知识完成快速的干预优化。

文档分段与清洗策略管理

在知识管理-上传知识文档，配置文档分段与清洗策略

• 用于配置导入文档在文档解析过程中，对文档分段的策略

  • 文本预处理：可以删除文本的特殊格式，如删除连续空格、换行、制表符、目录、页眉、页脚等。
  • 分段标识符：用于将文档拆分成多个段落，再结合语义理解及分段最大长度完成段落分片，可选择换行切分、标点切分。
  • 分段最大长度：用于设置模型分段时，拆分出分段的最大长度，分段最大字符范围为200-800。
  • 分段重叠比：通过增加文档分段的内容重叠比（当前分段开头部分与上一个分段结尾部分重叠的文本长度百分比），减少知识检索到的片段缺失重要信息的可能性，以此来得到更好更全面的回答效果。
  • 知识增强：基于大模型对文档分段进行分段知识增加，提升大模型的检索召回效果。

应用设计

应用设计用于设置模型、知识检索以及其他回复设置

• 模型设置

  • Temperature：控制模型生成文本多样性的参数。较高的温度值（例如1.0）会使生成的文本更加随机和多样化，而较低的值（例如0.2）会使生成的文本更加确定和保守。
  • 人设：用于设置回复的人设。
  • 回复风格：用于设置回复的风格，可自行创建风格。

  • 自定义文档知识prompt：当文档知识问答的内置prompt⽆法满⾜业务诉求时，可通过⾃定义prompt来更好的满足业务诉求；如需在Prompt中进⾏⼈设和回复⻛格设定，建议通过提供的⼈设和回复⻛格变量去配置。

    • 默认关闭，关闭时使用平台预置文档知识prompt，如果预置prompt无法满足业务需求，可开启自定义文档知识prompt，自行进行编排和测试
    • 开启后可对prompt进行编排和测试
    • 点击编排与测试，进入到prompt编排与测试窗进行操作
    • prompt编辑

在prompt编辑区进行prompt的编辑和修改，系统提供query、documents、persona、style 4个内置变量，其中query、documents为必填变量，persona、style可选，按实际情况将以上变量插入到prompt中（每个变量仅可添加一次，不支持用户自定义变量）。

• query：用户输入的提问
• documents：基于用户输入的提问从上传的文档知识中检索到相关性较高的文档分段内容
• persona：设定⼤模型回复时的⼈设定义
• style：设定⼤模型回复时的回复风格

• prompt测试

  • prompt编辑完成后可在变量设置与测试区域填写测试变量的内容
  • query：输入要测试的提问
  • documents：输入输入给大模型用于回答输入提问所需的文档分段内容，可手动填写或填写 - - query完成后点击自动填写，系统自动使用query从上传的文档中搜索到相关的文档分段内容用于测试
  • persona：自动填充模型设置的人设内容设定，不可修改，如需修改请在模型设置中修改
  • style：展示当前选择的风格配置，不可修改，如需修改请在模型设置中修改
  • 填写完成后，点击测试稍等片刻，将会输出测试结果
  • 测试完成符合预期后，点击应用完成prompt编排，如需生效到线上，请发布Agent

• 知识检索设置

  • 文档检索置信度：用于筛选文档知识的置信度阈值，大于等于此阈值则被召回。置信度用于干预基于文档查询到的知识段落，设定的置信度越高，则要求对用户提问与片段的相似度越高，可能导致无法生成答案，反之设定的置信度越低，查询到的片段越多，可能影响回复的准确性，请谨慎修改！
  • 文档检索分段数：用于设定与用户问题相关且置信度超过设定文档检索置信度的最大文档片段数量。

• 其他设置

  • 可控范围回复：开启时，该应用仅会利用应用中添加的范围领域知识进行回答，对于范围外问题将回答您配置的兜底话术。

    

  • 来源展示：开启时，大模型知识问答在对话测试中，会展示对应回复的来源文档以及脚注。

    • 开关关闭：将不展示下图红框的内容
    • 开关开启：开关开启后，可展示红框内的内容

    

    

对话测试

对话测试可用于模拟测试对话效果

• 对话过程中支持对大模型回复进行数据反馈，通过反馈可用于后续模型训练让大模型理解能力更强
• 支持展示回复来源，定位到文档段落原文，让回复有据可依
• 支持展示大模型回复的对话思维路径，作为运营调优的有力助手，同时支持对检索效果的快速干预和调优

• 原问法：展示用户输入的提问内容；
• 改写后问法：大模型基于用户历史对话记录和问法，生成出用户可能想要问的问题；
• 当用户可能想问生成错误会影响信息检索搜索到内容的准确性，如错误可进行反馈点踩并输入用户真实想问的问题，可帮助我们后续进行模型迭代优化

• 「信息检索」：用来展示基于用户可能想问从文档中搜索到相关性（置信度：在知识库设置中可配置检索置信度阈值）最高的TOP N知识，文档知识片段用于给到大模型结合用户可能想问进行总结回复；

  • 根据信息检索信息可判断基于用户可能想问检索召回的文档片段是否符合预期，如不符合预期可进行快速干预和调优
  • 如检索召回的文档片段错误，可通过添加预期知识，搜索到期望检索到的知识，可将其添加为预期知识，完成快速的干预和调优；
  • 如检索召回的文档片段内容缺失，可点击匹配信息，进入到文档详情，对文档分段进行调整；
  • 因匹配知识点质量问题导致的文档片段误召回，可点击匹配信息，进入到文档详情中修改知识点，进行调优；
  • 数据反馈：支持对检索信息点踩点赞，对于点踩信息的反馈可帮助我们后续对检索模型的优化
• 「回复生成」：即基于信息检索到的文档知识，大模型基于用户可能想问总结生成的回答
• 信息反馈：支持对生成回复点踩点赞，对于点踩信息的反馈可帮助我们后续对检索模型的优化

运营工具

效果评测是对大模型生成的结果和用户的答案进行比对，目的是了解该模型的准确率是否达标。

应用发布

当应用构建完成并测试通过后可发布对外提供服务，发布成功后可在应用管理中查看当前应用的状态、apikey、以及体验链接（用于对话测试）。