分析管理
智能标签模板管理
智能标签模板管理包括视频分析模板和图片分析模板,此处以视频分析模板为例进行介绍。
- 登录百度智能云平台官网。
- 登录成功、进入产品页面后,点击分析管理>智能标签模板管理>视频内容分析模板,进入视频内容分析模板页面。
- 点击“创建模板”,新建一个视频内容分析模板。
- 在分析模板页面中,可以配置需要使用的分析类型。
- 样例模板为可选项,支持以已有的分析模板为基础,继承其选择的分析类型。
- 模板名称可由小写字母、数字和下划线组成,必须以小写字母开头,最长40个字符。
- 视频类型可以选择通用视频或者竖版的小视频,正确的视频类型有利于提高视频内容分析的精确性。
- 分析类型可以选择对视频以哪几个维度进行分析,必须至少选择一个分析类型。
- 模板描述为对该模板的说明,不超过256个字符。
选择自定义logo识别、自定义人脸识别或者提取关键词后可关联自定义库,创建方式见自定义库管理。
也可以将新建的模板设置为默认模板,设置后则该模板会在创建视频内容分析时作为默认配置。
所有配置完成后,点击确认创建即可完成分析模板的配置。
智能封面模板管理
- 登录成功、进入产品页面后,点击分析管理>智能封面模板管理,进入视频封面分析模板页面。
- 点击“创建模板”可以新建一个智能封面模板。
- 在分析模板页面中,可以配置需要使用的分析类型。
- 样例模板为可选项,支持以已有的封面分析模板为基础,继承其选择的封面分析类型和参数。
- 模板名称可由小写字母、数字和下划线组成,必须以小写字母开头,最长40个字符。
- 分析类型可以选择需要输出的视频封面类型,必须至少选择一个类型。
- 模板描述为对该模板的说明,不超过256个字符。
也可以将新建的模板设置为默认模板,设置后则该模板会在创建视频封面分析时作为默认配置。
所有配置完成后,点击确认创建即可完成分析模板的配置。
自定义库管理
自定义库分为自定义LOGO库、自定义人脸库、自定义文本库和自定义文心标签库。
自定义LOGO库
- 登录成功、进入产品页面后,点击分析管理>自定义库管理>LOGO库,,进入自定义LOGO库页。
- 点击“新建LOGO库”,填写库名称和库描述,点击确定可以创建一个新的LOGO库。
- 点击库名称,进入该LOGO库。点击“新建LOGO集”,输入LOGO集名称,上传图片素材,点击确定则完成LOGO集的创建。一个LOGO集内为同一个LOGO的素材。
如果需使用自定义LOGO库,需要将自定义LOGO库绑定在视频或图片分析模板上。
自定义人脸库
- 登录百度智能云平台官网。
- 登录成功、进入产品页面后,点击分析管理>自定义库管理>人脸库,进入自定义人脸库页面。
- 点击“新建人脸库”,填写库名称和库描述,点击确定可以创建一个新的人脸库。
- 点击库名称,进入该人脸库。点击“新建人脸集”,输入人脸集名称,上传图片素材,点击确定则完成人脸集的创建。一个人脸集内为同一个人物的素材。
如果需要使用自定义人脸库,需要将自定义人脸库绑定在视频或图片分析模板上。
自定义文本库
- 登录百度智能云平台官网。
- 登录成功、进入产品页面后,点击分析管理>自定义库管理>文本库,进入自定义文本库页。
- 点击“新建文本库”,填写库名称、库描述和文本内容,点击确定可以创建一个新的文本库。
- 点击库名称,进入该文本库。点击“添加文本”,输入文本,点击确定则完成文本的添加。
如果需要使用自定义文本库,需要将自定义文本库绑定在视频或图片分析模板上。
自定义文心标签库
- 登录百度智能云平台官网。
- 登录成功、进入产品页面后,点击分析管理>自定义库管理>自定义文心标签库,进入自定义文心标签库页。
什么是自定义文心标签
当系统无法输出你想要的标签时,只需在文心标签库里输入“标签名称+提示词”的文本,系统就能为视频、图片打上对应的标签。这个能力的实现,使用了百度“文心•跨模态大模型”,因此通过这种方式打出的标签,我们称之为“文心标签”。 当前内容分析系统,支持“系统内置文心标签”和“自定义文心标签”。前者由内容分析产品官方团队维护,用户可在模板中配置是否开启;后者由用户自主维护,需要用户手动创建标签库,并将其绑定在模板上。
使用自定义文心标签主要分为以下5个步骤,接下来我们分步介绍。
1.确定标签内容
用户需要根据自己的业务需求,梳理好期望系统输出的标签。我们推荐在以下场景内,使用自定义文心标签功能:
- 自然场景标签:如“暴雪天”、“森林”、“冰川”、“极光”、“星空”等自然场景。
- 人文场景标签:如“演出活动”、“博物馆”、“握手”、“龙舟比赛”等社会文化生活中常见的场景、活动、动作。
- 常见实体标签:如“滑板”、“蛋糕”、“飞机”、“二维码”、“长城”等物体、地标。
2.创建文心标签库
进入自定义库管理>文心标签库页面,点击“创建文心标签库”按钮,创建库。每个用户最多可创建3个库,单个库最多支持300个标签。
3.添加标签与提示词
创建完自定义文心标签库后,进入标签库编辑页。点击“添加标签”,即可添加标签与提示词。
什么是提示词
标签是用户期望系统为图片、视频内容打上的标签,提示词是系统打标签的参考依据。如下图中的例子,“冬季运动”为标签,“滑冰、滑雪、冰壶、雪车”为提示词,我们使用提示词为系统解释标签的内涵。系统在进行内容分析的过程中,如果发现某个图片或视频的画面内容与提示词一致,就会为其打上对应的标签。如下图举例的一些图片,都被打上了“冬季运动”的标签。
怎么写提示词
如果标签可以概括提示词内涵,可以直接使用标签作为“提示词”,如“极光”。为了保证召回的效果,也可以使用近义词撰写多个提示词,如“舞台”。
如果标签涵盖的场景较为复杂,提示词要细化不同的场景。如标签“救援”、“婚纱照”。
标签验证
为每个标签添加提示词后,可使用“标签验证”功能,检验提示词是否合适,确保系统根据提示词匹配的图片与提示词表达的内涵一致。如遇到不一致的情况,可对提示词进行调整。
如“红包”这个标签,本意是想召回在线的各类红包营销活动、红包提示,但进行“标签验证”后发现,系统召回了“红色的手提包”。为了避免系统对红包产生歧义、以至在后续使用过程中,给很多图片错误打上“红包”标签,可以将提示词改写为“电子红包画面”、“电子红包”、“电子红包弹窗”。
修改提示词前的标签验证结果,如下图:
修改提示词后的标签验证结果,如下图:
类似的例子还有标签“平板”,本意是指平板电脑,提示词只写“平板”,召回的内容不符合预期,改为“平板电脑”后,与预期一致。
修改提示词前的标签验证结果,如下图:
修改提示词后的标签验证结果,如下图:
标签阈值
您可以输入0.26-0.35之间的两位小数作为标签阈值,默认阈值为“0.32”。只有“置信度”大于阈值的标签,才会被输出。阈值将直接影响图片打标签的严格程度。
- 阈值较低(如0.26或0.27):意味着打标签规则相对宽松,图片更容易被打上当前标签。
- 阈值较高(如0.34或0.35):意味着打标签规则更加严格,只有高度符合提示词描述的图片才会被打上当前标签,因此被打上标签的图片数量可能会减少。
当阈值设定好之后,在“标签验证”时,也只有“置信度”大于阈值的图片,才会被召回,且最多可以召回20张图片。
4.将标签库绑定至模板
编辑好标签和提示词后,可以在视频分析模板、图片分析模板的“自定义文心标签”项下,绑定对应的标签库。
视频分析模板:
图片分析模板:
5.开始使用
通过API接口或内容分析产品控制台,选择已经绑定好文心标签库的模板,发起“图片内容分析”或“视频内容分析”,验证内容打标结果是否符合预期。如与预期不符,可增加或修改提示词。
图片内容分析:
视频内容分析:
通知管理
- 登录百度智能云平台官网。
- 登录成功、进入产品页面后,点击分析管理>通知管理,进入通知管理页面。
- 点击“新建通知”,新建一条通知。
如果需要在服务中使用通知,可参考通知接口