创建视频生成任务
调用本接口,使用ERNIE-Wizshot-ME(文心一镜微表情大模型)创建一个视频生成任务。
权限说明
调用本文API,需使用API Key鉴权方式。使用API Key鉴权调用API流程,具体调用流程,请查看认证鉴权。
请求参数
用于生成视频的模型。
可选值:ernie-wizshot-me
人物设定。包括身份、气质、人物图片、声音。
人物数量取值范围[1,10],建议小于等于3个。
显示子属性
隐藏子属性
身份描述。可为空字符串。自然语言输入。简明扼要,不得传入无关内容。样例:"海外科技投资人"
气质描述。可为空字符串。自然语言输入。不能用镜头情绪代替。样例:“质疑求证、乐观务实”、“逻辑严谨、冷静克制”
人物图片url。
1.仅支持JPEG、PNG、WEBP格式的图片类型
2.单图不超过10M、宽和高限制在[300px, 5000px]区间、宽高比在 1:3 到 3:1 之间(含边界)
3.图片清晰、包含人物头像、与分镜图人物穿着一致
音频url。不为空字符串。要求:音频里必须含有人声,wav格式,时长[10s,60s]。
分段列表。固定为1个
显示子属性
隐藏子属性
分段列表信息。
显示子属性
隐藏子属性
子镜头列表。
1.子镜头按先后排序。
2.子镜头列表取值范围[1,10],建议小于等于4个。
显示子属性
隐藏子属性
可选择符合一个或多个
显示子属性
隐藏子属性
显示子属性
隐藏子属性
镜头设置。包括机位和景别信息。
显示子属性
隐藏子属性
运镜。样例: "侧面机位(45 度侧机位)"
分景图url。
1.分镜图格式支持JPEG、PNG、WEBP。短边不低于 720px;
2.图片宽高比要求在 9:16~16:9 范围内
出场人物。必须是在personas下定义的人物;必须是出镜人物,画外音不算。
说话片段列表。列表数量取值范围[1,10]。
显示子属性
隐藏子属性
可选择符合一个或多个
显示子属性
隐藏子属性
显示子属性
隐藏子属性
主说话人。必须是在personas下定义的人物;
表演细节。
显示子属性
隐藏子属性
本片段台词文本。
- 时长:当前 fragment 下所有 dialog 的合成语音时长 + 静音时长,须落在 4s ~ 16s(含边界)。服务端实测时长,超出区间任务失败。字数估算(仅供参考,实际以服务端实测为准):
a. 中文按平均 4 字/秒 估算 → 建议总中文字数 20 ~ 60 字(约5s-15s)。分场景参考:
- 日常对话 / 有声书:3.3–4.3字/秒
- TTS 默认语速:4.0–4.5字/秒
- 新闻播报: 4.2–5.0字/秒
- 快语速 / 直播带货:5.0+字/秒
b. 英文按平均 2.5 词/秒(约 14 字符/秒)估算 → 建议总词数 13 ~ 37 词(约5s-15s)。分场景参考: - 日常对话:2.0–2.8词/秒
- 有声书 / 播报(TTS 常对标):2.5–2.7词/秒
- 快语速: 3.0+词/秒
c. 两点注意: - 标点停顿不计入上述速率(逗号约 200ms、句号约 300ms,标点密集时请留出余量。
- 中英混排、数字与缩写(如 2026、AI、Dr.)按字数估算会偏短,建议中英分别折算后相加,数字缩写按实际读法展开后再估。
- 长度上限:单段 dialog硬限 ≤ 450 字节。按 UTF-8 计,中文一字 3 字节、英文 1 字节。
- 静音:dialog 传空字符串表示静音,此时必须填写同级字段 silence_duration(float,秒,0 < x ≤ 16),如 3.0。两者互斥:空 dialog 不填silence_duration报错,非空 dialog 填了silence_duration也报错。静音时长计入总时长。
- 静音须独占一个 shot:空 dialog 的片段不能与非空 dialog 共用同一个 shot。
- 多人同说格式:仅允许「同时说 / 打断说 / 副语言」三种,格式须统一固定:
主台词(反应人打断说:台词。)
主台词(反应人同时说:台词。)
主台词(反应人/双人:有声副语言。) - 括号内由反应人发声,不计入主说话人时长。
样例:"这话我认了,啊。大概我们吵了一路,最后落在这上面——涨跌会过去,公司有没有兑现,时间会给答案。对吧?(A同时说:嗯)"
动作表情。
与台词关联的表情和肢体动作,仅被拍摄对象的表情动作
样例: 「对」字出口时下颌轻点一次,眼睑缓缓半合又睁开;「搬去了别处」处垂着的手掌缓缓平移一截,像示意一趟搬家;「取决于你拿的是什么」处视线微微移向侧前方,像对着听的人说;「嗯」字出口时眼睑轻合一下又睁开,嘴角微微放松
语音。包括语速、音色、语调、笑意等语音表现。
样例:单字干脆短促,音量不高,尾音稳稳收住。;「没消失」与「搬去了别处」之间一顿,后半句放慢,语气沉定。;「你的钱该去哪」稍放慢,后半句逐字念清,音量略降收尾。;单音节拖长半拍,音量轻,尾音带出余韵。
情绪轨迹。
样例:"认同落定的平和,比较沉静;呼应开头的从容,比较笃定;留给人回味的郑重,比较诚恳;收束的平静,比较放松"
静音时长(单位秒)
- 仅当 dialog 为空字符串时填写,且此时必填;dialog 非空时传此字段报错。
- 静音时长计入 fragment 的总时长(4s ~ 16s)统计。
- 空 dialog 的片段须独占一个 shot,不能与非空 dialog 共用。
POST /v2/mm/ernie/ernie-wizshot-me HTTP/1.1
Host: qianfan.baidubce.com
Content-Type: application/json
Authorization: Bearer YOUR_API_KEY
{
"model": "ernie-wizshot-me",
"personas": {
"程亦": {
"mid": "https://aip-static.cdn.bcebos.com/qianfan/ais/center/audio/case_%E7%A8%8B%E4%BA%A6.wav",
"avatar_url": "https://aip-static.cdn.bcebos.com/qianfan/ais/center/image/storyboard_1.png",
"name": "程亦",
"identity": "科技财经主持",
"temperament": "干净清爽"
},
"贺岭": {
"mid": "https://aip-static.cdn.bcebos.com/qianfan/ais/center/audio/case_%E8%B4%BA%E5%B2%AD.wav",
"avatar_url": "https://aip-static.cdn.bcebos.com/qianfan/ais/center/image/storyboard_2.png",
"name": "贺岭",
"identity": "AI算力行业研究员",
"temperament": "沉稳权威"
}
},
"fragments": [
{
"shots": [
{
"camera_settings": {
"camera_movement": "侧面机位",
"shot_image": "https://aip-static.cdn.bcebos.com/qianfan/ais/center/image/storyboard_1.png"
},
"characters": ["程亦"],
"segments": [
{
"character_speaker": "程亦",
"production_elements": {
"dialog": "等一下,Token 这个词得先给听众定一下吧,就理解成模型吐出来的那些字,对吧?",
"emotion": "急切友好,想帮听众听懂;自信轻松,带点调侃地寻求认同",
"performance": "右手抬起做暂停手势、身体前倾,说完摊开双手转头看向嘉宾,带笑询问",
"voice_settings": "语速偏快、短促,略带停顿,结尾轻快上扬"
}
}
]
},
{
"camera_settings": {
"camera_movement": "侧面机位",
"shot_image": "https://aip-static.cdn.bcebos.com/qianfan/ais/center/image/storyboard_2.png"
},
"characters": ["贺岭"],
"segments": [
{
"character_speaker": "贺岭",
"production_elements": {
"dialog": "对,大致一个字、一个词,就算一个 Token。对。",
"emotion": "轻松认同随口接话,认真补充,语气笃定",
"performance": "微微点头、嘴角上扬,右手比划后虚点桌面示意敲定",
"voice_settings": "短促干脆、降调,语气笃定"
}
}
]
},
{
"camera_settings": {
"camera_movement": "正面机位,摄像机位于两位人物正前方中央",
"shot_image": "https://aip-static.cdn.bcebos.com/qianfan/ais/center/image/storyboard_3.png"
},
"characters": ["程亦", "贺岭"],
"segments": [
{
"character_speaker": "程亦",
"production_elements": {
"dialog": "那衡量这座厂好不好,标准是什么?",
"emotion": "好奇专注,引导话题深入",
"performance": "身体前倾,双手交叠放在桌上,目光专注看向嘉宾",
"voice_settings": "语速中等,‘标准’二字加重"
}
}
]
}
]
}
]
}
示例代码
curl --location 'https://qianfan.baidubce.com/v2/mm/ernie/ernie-wizshot-me' \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer YOUR_API_KEY' \
-d '{
"model": "ernie-wizshot-me",
"personas": {
"程亦": {
"mid": "https://aip-static.cdn.bcebos.com/qianfan/ais/center/audio/case_%E7%A8%8B%E4%BA%A6.wav",
"avatar_url": "https://aip-static.cdn.bcebos.com/qianfan/ais/center/image/storyboard_1.png",
"name": "程亦",
"identity": "科技财经主持",
"temperament": "干净清爽"
},
"贺岭": {
"mid": "https://aip-static.cdn.bcebos.com/qianfan/ais/center/audio/case_%E8%B4%BA%E5%B2%AD.wav",
"avatar_url": "https://aip-static.cdn.bcebos.com/qianfan/ais/center/image/storyboard_2.png",
"name": "贺岭",
"identity": "AI算力行业研究员",
"temperament": "沉稳权威"
}
},
"fragments": [
{
"shots": [
{
"camera_settings": {
"camera_movement": "侧面机位",
"shot_image": "https://aip-static.cdn.bcebos.com/qianfan/ais/center/image/storyboard_1.png"
},
"characters": ["程亦"],
"segments": [
{
"character_speaker": "程亦",
"production_elements": {
"dialog": "等一下,Token 这个词得先给听众定一下吧,就理解成模型吐出来的那些字,对吧?",
"emotion": "急切友好,想帮听众听懂;自信轻松,带点调侃地寻求认同",
"performance": "右手抬起做暂停手势、身体前倾,说完摊开双手转头看向嘉宾,带笑询问",
"voice_settings": "语速偏快、短促,略带停顿,结尾轻快上扬"
}
}
]
},
{
"camera_settings": {
"camera_movement": "侧面机位",
"shot_image": "https://aip-static.cdn.bcebos.com/qianfan/ais/center/image/storyboard_2.png"
},
"characters": ["贺岭"],
"segments": [
{
"character_speaker": "贺岭",
"production_elements": {
"dialog": "对,大致一个字、一个词,就算一个 Token。对。",
"emotion": "轻松认同随口接话,认真补充,语气笃定",
"performance": "微微点头、嘴角上扬,右手比划后虚点桌面示意敲定",
"voice_settings": "短促干脆、降调,语气笃定"
}
}
]
},
{
"camera_settings": {
"camera_movement": "正面机位,摄像机位于两位人物正前方中央",
"shot_image": "https://aip-static.cdn.bcebos.com/qianfan/ais/center/image/storyboard_3.png"
},
"characters": ["程亦", "贺岭"],
"segments": [
{
"character_speaker": "程亦",
"production_elements": {
"dialog": "那衡量这座厂好不好,标准是什么?",
"emotion": "好奇专注,引导话题深入",
"performance": "身体前倾,双手交叠放在桌上,目光专注看向嘉宾",
"voice_settings": "语速中等,‘标准’二字加重"
}
}
]
}
]
}
]
}'
返回响应
本次请求的唯一标识,可用于排查问题。
视频生成任务ID,用于查询视频生成任务进展或问题排查。
{
"id": "as-***",
"task_id": "67c999d***8e8c05a4"
}
错误码
如果调用失败并返回报错信息,请参见错误码进行解决。
公共错误码:查看公共错误码
本接口专有错误码如下:
| http状态码 | type | code | message |
|---|---|---|---|
| 500 | internal_error | video_generation_internal_error | video generation service internal error |
| 400 | invalid_request_error | invalid_video_generation_argument | xxx |
| 429 | rate_limit_exceeded | video_generation_concurrency_exceeded | Rate limit reached for Concurrency |
| 403 | unsafe_request | video_generation_prompt_unsafe | The input image/prompt is unsafe. |
| 403 | unsafe_request | video_generation_output_unsafe | The output is unsafe. |
| 501 | internal_error | video_generation_risk_system_error | risk control system internal error |
评价此篇文章
