文心千帆应用与示例代码中心

目前，在生成式AI领域中，生成图像和生成自然语言是两个主要的研究热点。 而百度文心千帆大模型平台则提供了一个新一代知识增强大语言模型（ERNIE-Bot）。本实践将主要介绍如何使用ERNIE-Bot 进行业务场景的探索和实践。

在金融行业，大语言模型正在驱动新一代财税服务平台。 通过使用ERNIE-Bot，服务端研发人员可以探索如何通过自然语言展示基本财税信息。同时，客户端可以通过定制化的Prompt工程，让平台具备通过自然语言展示基本财税信息的能力。 在泛娱乐行业，使用ERNIE-Bot 可以提升内容生产的效率。 例如，在视频制作中，使用ERNIE-Bot 可以生成视频脚本和宣传文案；在内容创作中，使用ERNIE-Bot API可以创作更丰富多彩的内容。

在电商行业，通过ERNIE-Bot 可以丰富营销物料的生产，提升产品的创意水平。 例如，使用ERNIE-Bot 生成精美的图片和吸引人的文案，吸引更多的消费者关注和购买产品。

以上创新场景的探索中，普遍采用提示词工程、示例代码中心、文心千帆大模型、平台来实现。提示工程不仅仅是关于设计和研发提示词。它包含了与大语言模型交互和研发的各种技能和技术。提示工程在实现和大语言模型交互、对接，以及理解大语言模型能力方面都起着重要作用。客户可以赋能大语言模型，比如借助专业领域知识和外部工具来增强大语言模型能力。

示例代码中心是由百度智能云技术支持专家研发的自助服务工具，旨在帮助开发者更轻松地使用百度智能云的产品 API。 该工具提供了丰富的功能，包括基于 Web 界面的参数配置和模型选择。以 ERNIE-Bot为例，示例代码中心提供了鉴权、流式、top_p 参数、temperature 参数等配置功能，以及提示词修改、重试、保存、导出以及对应代码复制等功能。 然而，该工具的主要目的是帮助开发者理解产品接口，因此在使用过程中，还需要注意以下几点：

• 如何将示例代码部署到自己的业务环境中，并进行必要的调整以适应客户的业务需求。
• 如何结合自己业务的特点进行定制化的代码调整，例如处理特定的业务用户授权、访问控制和个性化配置等问题。
• 在使用示例代码时，需要仔细考虑如何设计提示词，以满足业务需求。这可能涉及到多个方面，例如提示词的用词、长度、语言选择等。

需要注意的是，示例代码中心提供的工具和代码只是基础的支持，实际应用中可能还需要根据具体业务需求进行进一步的开发和调整。

优选专家服务-文心千帆应用与部署

我们提供的优选专家服务，可以基于文心千帆平台中的ERNIE-Bot模型，为客户提供定制化的提示词设计、二次开发和环境部署等服务。 以下是服务的主要特点：

• 专有提示词模版：我们针对文心一言（ERNIE-Bot）提供专有提示词模版，无需自行适配。
• 提示词设计思路和完整测试结果：我们为客户提供提示词设计思路，并提供完整测试结果，以确保各种提示词结果的正确性和可靠性。
• 综合对比：我们将各种提示词结果进行综合对比，让客户有更多的选择性，以找到最适合他们业务场景的提示词。
• 方案和环境部署建议：我们结合客户的实际业务场景，提供前期方案、中期环境、以及后期接入工程开发的建议，以确保项目的顺利进行。
• 示例应用和示例代码：我们提供开箱即用的带有提示词模版配置的示例应用（Chat Demo）以及示例代码，让客户可以更轻松地开始使用我们的服务。
• 高度灵活性：我们鼓励客户根据自己的业务需求与专家进行一对一的沟通，以确保我们的服务能够最大程度地满足客户的期望和需求。

优选专家服务能力介绍

我们会根据不同行业和客户的需求，为他们量身定制专属的解决方案。 以下是我们针对不同场景的定制服务：

1. Chat Web定制服务：适合企业内部用户使用，我们提供独有的提示词模板和 UI 界面设计，以符合企业的产品运营需求。同时，我们提供用户权限隔离，确保企业内部信息的安全性。
2. 通用的 API 版本：适合那些已有自己 UI 的企业，他们希望对 LLMs 生成的内容进行一定程度的定制。这个版本的 API 可以直接与我们的专家进行交互，以满足他们的业务需求。
3. 在整个解决方案中，我们提供聘请优选专家的服务，以一对一的方式，根据客户需求进行定制化的服务。

无论是哪种类型的定制服务，我们的优选专家服务都具有以下通用特点：

• 基于百度智能云公有云平台，我们可以根据客户需求进行必要的网络优化和环境部署。
• 我们支持多种模型的选择，包括 Ernie-Bot、Ernie-Bot-turbo、微调模型、Embedding 等，以适应不同业务复杂程度的需求。
• 我们提供多种模型使用方法，包括 Embedding、Prompt 模板、Langchain 框架、模型微调/精调等，帮助客户更好地应用模型。
• 我们支持多种提示词设计技巧/技术，如零样本提示、少样本提示、链式思考提示、自我一致性提示等，以满足不同客户的需求。

此外，我们的优选专家服务还具备一些专属定制的能力：

• 我们提供多模态融合对接，例如基于百度智能云的其他 AI 类产品，帮助客户实现语音输入、语音输出、图片生成等多种模态的需求。
• 我们提供全链路赋能解决基于文心大模型创新过程中的上云、环境部署、存储、网络优化等问题，确保整个解决方案的顺利实施。

下面将系统地介绍优选专家之文心千帆应用和部署服务的典型场景及实践。

背景介绍

在以往的内容创作中，主要存在两种方式：专业生成内容（PGC）和用户生成内容（UGC）。

专业生成内容（PGC）：专业生成内容指的是由专业内容创作者如记者、作家、艺术家、影片制作人等创造的内容。 这些内容通常具有高质量、专业性强，主要运用于传统的新闻报道、电影制作、出版业和其他形式的媒体生产中。然而，这种内容创作方式通常需要付出大量的时间、努力和资源。

用户生成内容（UGC）：用户生成内容则是由普通用户或消费者创建并分享的内容。 社交媒体平台、博客、论坛、产品评价和其他在线社区是用户生成内容的主要来源。虽然用户生成内容的质量可能存在差异，但它为互联网生态系统提供了无限的多样性和创新性。用户可以根据自己的经验和观点自行创建和分享内容，从而丰富在线内容的多样性。

然而，随着人工智能生成内容（AIGC）的出现，提供了一种全新的方式，能够快速且大规模地生成高质量的文本内容。在某些情况下，如新闻报道、文本编辑和内容策划等领域，人工智能生成内容能够有效地协助专业生成内容和用户生成内容，提高生产效率。 例如，文心一言（底层Ernie-bot模型）便是一个重要的代表性例子。它能够自动生成具有连贯性和一致性的文本，而且在很多情况下，这些文本几乎无法被人类读者从真实的人类撰写的文本中区分出来。 因此，人工智能生成内容在新闻报道、社交媒体、电子书、电影剧本、游戏对话、广告创作、业务报告以及其他需要大量文本内容的领域中有着广泛的应用前景。

一、创作助手

电商行业服务的客户群体广泛，遍布全国。 因此，在推销新品时，结合客户画像以及提供合适的产品描述和营销信息，通常是获得最佳广告效果的策略。以女装电商为例，在投放女装广告时，需要考虑不同地域客户对于衣物试穿效果的直观感受。

Ernie-bot模型在此时就能派上用场。 它可以生成包含详细描述的试穿效果文本，并结合传统的服装标签信息，为消费者提供更为生动丰富的购物体验。例如，针对一款连衣裙，Ernie-bot可以生成如下描述：“这款连衣裙以粉红色为主基调，镶有繁复的花朵刺绣。 轻盈的雪纺布料在移动中流转，配以腰部精致的蝴蝶结装饰，打造出无与伦比的女性魅力。”

这种利用人工智能技术生成产品描述的方法，不仅节省了聘请文案和写作的成本，还能为客户提供更生动、更丰富的购物体验。

原始商品信息

朋友圈文案

导购文案

商品简介文案

另一种典型应用场景是商品包装设计。商品包装设计会影响商品对消费者的吸引力，因此关系到商品的关注度和销量。在设计方面，Ernie-bot模型可以提供一种创新的方式，那就是生成详细且生动的包装描述，来帮助设计师获取灵感。例如，对于一款新的巧克力品牌，Ernie-bot模型可以生成如下描述：“包装设计采用深褐色为主色调，象征着巧克力的浓郁口感。中心位置是一片金色的树叶，象征着秋季的丰收。在边缘部分，采用了流线型的白色线条，提升了设计的现代感。”这样的方式可以为设计师提供更多的设计灵感，提高工作效率。

包装设计文本

包装设计图

实现方法-UI版本

1. 通过优选专家定制开发，下载： chat-demo.tar。

（优选专家可提供docker、windows、mac、linux的一键安装版本。本文以docker为例）

2. 使用Docker加载镜像获取ak/sk:

docker load < chat-demo.tar
docker run -it --rm -p 8086:8086 demo-app-center/chat-demo

注意：如果您需要在服务器上部署，可使用如下部署命令

wget -q https://baidu-ai.bj.bcebos.com/app/chat-demo.tar
docker load < chat-demo.tar
docker run -it --rm -p 8086:8086 demo-app-center/chat-demo -ak xxxxx -sk xxxxx

以上步骤完成后，在浏览器中打开 http://127.0.0.1:8086 便可使用UI版本。

3. 通过优选专家服务设计promts模版，并直接在UI版本中使用，直接进行文案创作或包装创作等。

实现方法-API版本

1. 可通过优选专家服务定制UI版本功能对应的API，并快捷部署在云服务器中。优选专家服务将根据客户实际业务需要和客户的选择，来包装成特有的API。
2. 通过优选专家服务定制独有的Prompts或者选择自己提供Prompts。

二、私域问答/摘要

在企业内部知识库、在线课程的学习社区和特定产品或服务的在线帮助中心等场景中，问题和答案往往需要涉及具体的内部信息或专业知识，同时需要根据用户需求进行个性化调整。 因此，在许多行业中，使用私域问答是非常必要的。 私域问答目前有三种实现方法：

1. 使用Langchain框架或其他类似框架、自开发框架等，实现对文档的切分和存储。然后通过文心千帆Embedding-V1获取文档中文本的向量，并同时完成向量存储。 最后通过用户输入的问题进行向量的余弦相似度匹配，然后调用Ernie-bot API获取私域文档中的答案。
2. 使用文心千帆的有监督微调能力。有监督微调是一种在Ernie模型的基础上，再使用一份标注的数据集（含有“正确答案”的数据）对模型进行进一步训练的方法。 这份数据集通常比预训练使用的数据集小很多，但会针对特定任务或应用场景。最终实现私域问答。
3. 使用文心千帆插件功能中的域内知识搜索增强插件。

本文主要聚焦于方法一，以介绍优选专家是如何服务的。 与前文创作助手一样，优选专家在该场景中仍然可以提供UI和API两种方式，为客户提供服务。在UI版本中，我们的专家可以根据客户需求定制提供私域问答功能。例如，基于文档进行回答的场景中，我们可以提供基于JSON格式的QA文档进行私域问答。

在API版本中，我们可提供类Langchain的能力提供文档加载、文档切分等功能，如下示例：基于私域文档进行摘要总结。

最终生成的摘要结果：

  res: {
    text: '这是一份关于百度智能云BCC服务的服务可用性和赔偿方案的服务等级协议（SLA）。协议规定了服务可用性的计算方式和承诺在一个服务周期内提供不低于99.975%和99.995%的服务可用性。未达到承诺的可用性，客户可根据协议获得赔偿。赔偿范围不包括系统维护等造成的不可用。对于单BCC实例，服务可用性低于不同等级时，用户可获得不同比例的赔偿。赔偿申请限于每月的第五个工作日后提出。'
  }
}

在这个场景中，优选专家服务可以根据客户的特定需求定制支持各种类型的文档，例如：PDF、Word、Excel、TXT和JSON等。 此外，还可以提供全链路的数据库安装、配置以及基于文档存储的调用方案等服务。

三、信息提取与固定格式返回

Ernie-bot模型主要通过生成自然语言文本来响应用户的输入，这种方式可以处理大部分的聊天和问答任务。 但在一些特定的应用场景中，需要模型进行更复杂的计算或者与外部的系统进行交互。

例如在服务场景中，希望能够根据与用户的对话，模型能够准确地解析出用户具体想要提取银行流水的银行账号及时间范围（如开始月份、结束月份）。最终将完整的参数以JSON格式返回给业务系统，触发对应业务系统的API调用，将用户的期望结果反馈给用户。 在该场景中需要解决以下问题：

1. 信息提取：需要准确地提取时间参数和银行账号。
2. 适配多种场景：需要适应不同的场景，即用户可能先提供时间后选择账号，也可能先选择账号后再提供时间。

在这个案例中，优选专家为客户提供了一系列实用的提示词示例，并且针对不同场景进行了数十次以上的测试。 以下是一个仅涉及时间参数提取的示例：

Prompt场景	示例输入	示例输出
没有明确时间	帮我提取上个月的银行流水
指定月份数量	帮我提取最近4个月的银行流水信息
半年跨度	帮我提取近半年的银行流水
指定连续时间	我要提取1月到4月的银行流水
指定非连续时间	我要提取2月和6月的银行流水
时间跨度超1年	我要提取最近5年的银行流水

在本次实践中，基于不同场景进行了先后多次的Prompts设计，最终实现Ernie-bot模型与客户业务系统进行交互的能力。以下为该场景的示例：

在这个场景中，我们强调了提示词工程的运用。 专家通常会采用以下提示词技巧：

1. 明确任务要求：确保对所需的任务和问题有清晰的理解。定义任务的明确目标、约束条件和预期输出，这样可以引导模型生成更准确和有用的回答。
2. 提供简洁明了的指令：给予模型简洁明了的指令。 明确你希望模型执行的操作。使用明确的动词和特定的关键词来引导模型，以便它能够更好地理解你的意图。
3. 提供上下文信息：为模型提供必要的上下文信息，使其更好地理解问题。这些上下文可以是先前的对话、相关的背景知识或相关的数据。 确保提供的上下文与问题相关，且足够详细，以便模型可以理解问题的背景。
4. 调整温度参数：调整生成文本的温度参数可以控制模型生成的多样性。根据任务的要求，选择适当的温度值：较低的温度值会导致生成的文本更加确定性和保守；而较高的温度值会导致生成的文本更加多样和创造性。
5. 引导式生成：使用引导式生成（提示词工程）的方法，将关键信息直接注入到生成的文本中，以引导模型生成所需的答案。这可以通过在输入中插入特定的提示短语或占位符，或使用模板结构来实现。
6. 迭代优化：与模型进行交互并逐步优化生成的输出。观察模型的生成行为，调整输入和指令，直到获得满意的结果。这是一个试错的过程，通过不断的迭代，逐步提高Prompt的效果。

总结

优选专家服务可以利用百度智能云产品，尤其是文心千帆平台，来帮助客户构建产品应用和商品文案创作等。 通过这种方式，可以更快、更低成本地实现应用搭建和商品推广。对于更复杂的场景，需要与业务系统进行交互的场景，优选专家服务也提供了丰富的工具、工程包和提示词设计等服务，以快速重构业务应用，并充分发挥大语言模型和生成式AI的能力。

本篇主要介绍在创作助手、私域问答、信息提取及固定格式返回三个典型场景，选取对应三个场景案例。如果您想达到类似效果，可以参考该实践。同时我们还有很多其他场景及案例，如果您有定制需求，可以随时访问优选专家服务主页发起咨询。