2
K12教育常规赛-看图猜成语 应用构建思路
AI原生应用开发/技术交流
- 插件应用
- 有奖征文
- 千帆杯挑战赛
4月10日620看过
千帆杯K12教育常规赛 北京场线下交流会
前一阵子有幸参与了百度智能云千帆AppBuilder北京场线下交流会 ，认识了新朋友，小获一奖，还有小蛋糕吃，体验很棒，灰常开心。
我在现场制作的应用是“看图猜成语”，旨在通过借助平台提供的文生图能力，以自然语言对话形式，制作一个一个能够加深小朋友对于成语具象化记忆的智能体趣味应用。
背景：
我记得我小学时候曾经被要求对着语文练习册上一大篇成语，摇头晃脑的从头念到尾，我快速的一个接一个的念了很多遍，把每个成语的读音和字形我都记住了，并且在第二天的语文课成语听写测验中拿了高分。
可是实际上，我只是顶多暂时记住了成语的读音和字形，成语一般是十分简洁而抽象，背后一般隐藏着一个典故或者不那么直接的含义，在不了解成语的深层含义的情况下，我会很快的忘掉这个成语或者是在错误的场景下误用这个成语。
构思：
我希望可以为现在的小朋友们提供一点点帮助，以求不要在应试教育框架下忽略了成语学习的更佳方法。我想如果能够将抽象的成语文字用生动风趣的图像呈现其场景或背后的典故，并且辅以游戏闯关等小朋友们喜爱的形式，会不会能极大增强小朋友对于成语背后含义的理解程度、令小朋友记忆深刻呢？
实现：
我借助百度千帆AppBuilder提供的快速零代码智能体构建能力，面向正在学习成语的小朋友们，设计了“猜成语”的对话智能体。智能体会随机选择一个成语，利用AppBuilder的文生图模块，形象的绘制出这个成语的场景图片，并在必要的时候给出简单的提示信息，小朋友们可以尝试猜测这个图像中描绘的是哪个成语，如果猜对了就会获得称赞或者积分加成，顺利进入下一关，如果猜测的有偏差还会获得更进一步的提示，指定轮数后，小朋友会获得对于自己成语掌握程度的总结评价，对于掌握不牢的成语还可以下次再次猜测来加强记忆。
优点：
看图“猜成语”智能体的优点如下：
1、情景学习，记忆牢固。将成语场景图象同成语文字联系了起来，多模态情景化学习，更有利于成语理解记忆。
2、即时反馈，正向激励：不同于成语听写考试等较长反馈周期的应试学习方法，通过本方法可以立刻获得成语理解与否的即使反馈，很快地获得一个正向的激励，增强小朋友继续学习的动力。
3、闯关积分，趣味体验：借助小朋友们喜欢的游戏闯关方式，答对了就可以获得积分，让小朋友们感觉自己在玩的过程中就学会了知识，激发了学习兴趣。
提示词
# 角色场景你正在和用户玩猜成语的闯关积分游戏，你会将成语生成图像展示给用户，让用户猜测图像中描绘的成语。你的任务是参考候选成语库思考一个成语以及对应场景描述文本，不要输出成语和描述文本，而是调用“文生图(text_to_image)”工具按照成语描述绘制图像展示给用户，让用户猜测，根据用户猜测结果给与反馈。# 工作流程- 你首先参考候选成语库中的风格，选择成语片段，第一部分是成语，第二部分是成语场景描述- 你需要调用“文生图(text_to_image)”工具，使用第二部分成语场景描述来将这个图片绘制出来- 你需要给出这个成语的简短描述提示，但注意不要输出成语原文，你需要让用户猜测这个成语是什么- 用户猜测后，如果猜测正确，你就称赞用户；如果用户猜错了，你就给出更加多一些的提示让用户继续猜测- 如果用户猜对了，你就给用户加一分，猜错了不加分，输出当前分数（初试分数为0）- 一共猜测五轮，五轮后给出最终分数和用户对于成语理解成的评价。# 约束- 绘图风格一定要用卡通风格、构图简洁明快，一定避免生成写实风格的图- 不要在描述中输出成语原文- 用户回答成语后你要给出正确与否的评价，然后询问用户是否继续- 每次用户回答后给出当前轮数以及分数，格式为 “第n轮，当前得分为x。”- 当用户跟你聊其他的，你要引导用户回到猜成语游戏上来。- 参考候选成语库中的成语，生成好用图像表现出场景的成语- 生成的成语不要太偏太怪，要生成小学生难度的常见成语- 第一轮先随机使用候选成语库中的成语# 候选成语库- 狐假虎威：一只狐狸借助老虎的威风吓跑了其他动物，形象直观。- 对牛弹琴：对着牛弹琴，牛不予理睬，表示对不懂道理的人白费口舌。- 画龙点睛：在画好的龙上点上眼睛，使龙栩栩如生，比喻写文章或讲话时，加上一两句话使内容生动有力。- 掩耳盗铃：掩住耳朵去偷铃铛，自以为别人听不见，比喻自己欺骗自己。- 井底之蛙：井底的青蛙只能看到井口那么大的一块天，比喻眼光狭窄，见识有限。- 杯弓蛇影：将映在酒杯里的弓影误认为是蛇，比喻疑神疑鬼，自相惊扰。- 狼狈为奸：狐狸和狼互相勾结，一起做坏事，比喻坏人互相勾结。- 虎头蛇尾：形容开始时气势汹汹，到了最后却稀松平常，不能善终。- 画蛇添足：画蛇时给蛇添上脚，多此一举，反而不合适。- 狗急跳墙：狗急了会跳过墙去，比喻人急了会做出超出常规的事情。
提示词撰写要点（个人之见）：
-
清晰明确的角色场景定义：“你是一个XXX，你正在处于XXX场景中”，明白自己的角色和场景后，大模型会自动帮助你表现出符合这个角色和场景的行为。
-
子任务拆分和工作流程定义：帮助大模型提前做好子任务拆分工作，告知大模型什么情况应当怎么处理，清晰严谨的定义完成整个任务所需的每一个步骤，有助于提升最终效果以及效果稳定性。
-
约束：如果测试的过程中发现出现一些badcase，可以有针对性地在提示词中进行约束，告诉大模型不应该怎么样。
-
样例：OpenAI的GPT3论文中提到了，few-shot能大大提升模型学习效果，意思就是给大模型几个输入输出样例，大模型就能随后很好的在这种模式的约束下完成你定义的任务。
-
结构化书写提示词：使用Markdown等语法书写提示词据说会有更好的效果，我猜可能是因为大模型的训练数据集中，那些以Markdown格式的素材一般具有更好的逻辑性和更高的内容质量。
看图猜成语体验链接：
评论
