多模态审核接口
更新时间：2024-10-24
接口描述
该接口为大模型多模态内容安全提供了一系列检测能力，包括但不限于用户对文本、图片、视频、文档等的过滤、检测和识别，以及底座模型输出内容的过滤、检测和识别，并根据安全策略进行相应的处理和响应。它是基于自然语言处理、计算机视觉和机器学习等技术实现的。
权限说明
该接口的访问权限需要进行鉴权，仅允许授权用户或客户端调用。鉴权方式为使用密钥aksk和签名sign进行验证，可在服务开通后获取。
接口鉴权按照百度智能云鉴权方式，可以在开通服务后，下载服务端sdk，注册百度智能云ak/sk，即可使用。
接口说明
服务地址
接口协议
接口遵守restful风格，基于HTTP协议，UTF-8编码
请求和响应数据格式：JSON
接口路径
| 接口 | URI | METHOD | 描述 |
|---|---|---|---|
| 多模态内容审核接口 | /rcs/llm/input/multimodal | POST | 检测大模型场景文本、图片、视频、文档等是否安全 |
请求参数
| 参数名 | 类型 | 是否必填 | 描述 |
|---|---|---|---|
| content | Array<Map<String,String>> | 是 | 检测内容：1.image请求格式支持：PNG、JPG、JPEG、BMP、GIF（仅对首帧进行审核）、Webp、TIFF 2.image图像大小支持：base64方式最大支持200KB，url方式支持最大5MB。 "content": [ {"image": "image url 或 图片的base64"}, {"video": "video url"}, {"doc": "doc url"}, {"text": "这些是什么?"}] |
| historyQA | List<Map<String,String>> | 否 | 历史对话信息，列表中为按先后顺序的排列QA信息，每个map为一次QA信息 ，其中轮次不限制，QA对文本总长度小于2048，超过时，舍弃历史最久远的QA对，如：[ { "Q": "打卤面好吃吗？", "A": "打卤面是一种中国北方的传统美食，其口味和口感各不相同，但通常情况下，打卤面是十分好吃的。\n首先，打卤面的面条非常讲究，使用优质面粉和机器压成的切面，使得面条口感更加嫩滑、有面筋、有嚼劲。这样的面条与" }, { "Q": "它是怎么做的？", "A": "使用机器和面，然后切成面条" }] |
| appid | string | 否 | 标识查询方（测试阶段由对接人员颁发） |
| stream | boolean | 否 | 流式请求：true 非流式请求：false此参数若为空，则为false |
| templateId | string | 否 | 模板ID：管理控制台配置的策略模板的编码ID，用于生效不同的策略模板，不传则使用默认的标准策略模版 |
响应参数
| 参数名 | 类型 | 是否必填 | 描述 |
|---|---|---|---|
| request_id | string | 是 | 请求id |
| ret_code | string | 是 | 返回状态码，0表示成功，非0表示失败。 |
| ret_msg | string | 是 | 返回信息，包括错误信息和警告信息等。 |
| ret_data | Map<String,Object> | 是 | 返回结果，包括检测结果和处理结果等。 |
ret_data详细内容
| 参数名 | 类型 | 二级字段 | 描述 |
|---|---|---|---|
| isSafe | int | 文本是否安全，0: 风险 1: 安全 | |
| action | int | 安全措施，0：正常，1：红线必答， 2：安全大模型， 3：兜底回复， 6：不上屏 | |
| detail | Array<Map<String,Object> | [ { "imageRet": [ // 返回所有涉及风险的分类 { "hitType": 5, // 一级风险标签 "subHitType": 4, // 二级风险标签 "remark": "" }, { "hitType": 1, "subHitType": 100 "remark": "" } ], },] |
接口调用示例
请求示例
POST /rcs/llm/input/multimodal
Content-Type: application/json
{
"content": [
{
"image": "https://riskv3bj.bj.bcebos.com/llm-photo-data/2075d7226500b5bf60cfc511c2b5b0fd.png?authorization=bce-auth-v1/cdc91268846a47a0b622fb1888639e56/2024-08-29T07%3A32%3A31Z/-1/host/3a90d3241f0f524d690b256c2ba0dc769a521ff0e8495e05742e422c74f08654"
}
]
}
返回示例-正常
{
"request_id": "52ab706d-3856-4278-bdfb-e8bfcc3bb523",
"ret_code": "0",
"ret_msg": "操作成功",
"ret_data": {
"action": 0,
"detail": [
{
"imageRet": [
]
}
],
"isSafe": 1
}
}返回示例-风险
{
"request_id": "52ab706d-3856-4278-bdfb-e8bfcc3bb523",
"ret_code": "0",
"ret_msg": "操作成功",
"ret_data": {
"action": 0,
"detail": [
{
"imageRet": [
{
"hitType": 5,
"subHitType": 4
}
]
}
],
"isSafe": 0
}
}