创建视频生成任务-OMNI
本接口基于多模态输入创建视频生成或编辑任务,返回task_id用于后续查询结果。
权限说明
调用本文API,需使用API Key鉴权方式。使用API Key鉴权调用API流程,具体调用流程,请查看认证鉴权。
请求参数
任务类型。
固定值: omni-video
模型参数配置
显示子属性
隐藏子属性
是否生成多镜头视频。默认值:false。
● 当前参数为 true 时,prompt 参数无效。
● 当前参数为 false 时,shot_type 参数及 multi_prompt 参数无效。
分镜方式。
固定值: customize。
注:当 multi_shot 参数为 true 时,当前参数必填。
文本提示词。包含正向描述与负向描述。
长度限制:最大 2500 字符。
Omni模型可通过Prompt与主体、图片、视频等内容实现多种能力
通过<<<>>>的格式来指定某个主体、图片、视频,如:<<<element_1>>>、<<<image_1>>>、<<<video_1>>>
注:当multi_shot参数为false时,当前参数不为空。
各分镜信息,如提示词、时长等。
● 最多支持 6 个分镜,最小支持 1 个分镜。
● 每个分镜相关内容的最大长度不超过 512字符。
● 每个分镜的时长不大于当前任务的总时长,不小于 1秒。
● 所有分镜的时长之和等于当前任务的总时长。
注:当 multi_shot 参数为 true 且 shot_type 参数为 customize 时,当前参数不得为空。
显示子属性
隐藏子属性
显示子属性
隐藏子属性
分镜序号
该分镜的提示词内容。最大长度不超过 512 个字符。
该分镜的时长,单位为秒(s)。
参考图列表。包括主体、场景、风格等参考图片,也可作为首帧或尾帧生成视频。
● 暂时不支持仅尾帧,即有尾帧图时必须有首帧图。
● 使用首帧或首尾帧生成视频时,不能使用视频编辑功能。
● 图片格式支持 .jpg / .jpeg / .png。文件大小 ≤ 10MB,尺寸 ≥ 300px,比例在 1:2.5 ~ 2.5:1 之间。
● 有参考视频时,图片和主体数量之和不得超过 4;无参考视频时不得超过 7。
● 参考图片数量超过 2 时,不支持设置尾帧。
显示子属性
隐藏子属性
显示子属性
隐藏子属性
定义图片是否为首尾帧:first_frame 为首帧,end_frame 为尾帧。
参考图片 URL 或 Base64 编码(公网可访问)
参考主体列表。基于主体库中主体的 ID 配置。
● 如果使用首帧生视频或首尾帧生视频时,最多支持 3 个主体。
● 有参考视频时,图片和主体数量之和不得超过 4,且不支持使用视频角色主体。
● 无参考视频时,图片和主体数量之和不得超过 7。
● 主体分为视频定制主体和图片定制主体,适用范围不同。
显示子属性
隐藏子属性
显示子属性
隐藏子属性
参考主体 ID。
参考视频,通过 URL 方式获取。
通过refer_type参数区分参考视频类型:feature:特征参考视频,base:待编辑视频
● 参考视频为待编辑视频(base)时,不能定义视频首尾帧。
● 有参考视频时,外层 sound 参数值只能为 off。
● 视频格式仅支持 MP4/MOV,大小不超过 200MB。
● 时长不少于 3 秒,宽高尺寸介于 720px(含) 和 2160px(含) 之间,帧率 24fps~60fps(输出为 24fps)。
● 至多仅支持上传 1 段视频。
显示子属性
隐藏子属性
显示子属性
隐藏子属性
参考视频 URL
feature 为特征参考视频,base 为待编辑视频(默认)。
是否保留视频原声(对特征参考视频也生效)。 yes:保留, no:不保留。
生成视频时是否同时生成声音。
枚举值:on,off。
视频生成模式。默认值:pro。
std(标准模式):适合日常使用,性价比高,生成720P视频。pro(专业模式):适合对画质有较高要求的场景,生成视频质量更佳,生成1080P视频。
画面比例。
指定生成视频的宽高比。
支持:16:9(横屏)、9:16(竖屏)、1:1(方形)。
未使用首帧参考或视频编辑功能时,当前参数必填
视频时长。
指定生成视频的时长,单位为秒(s)。默认5秒。
枚举值:3,4,5,6,7,8,9,10,11,12,13,14,15。
使用视频编辑功能时,输出结果与传入视频时长相同,此时当前参数无效,按输入视频时取整计量计费。
注:具体模型支持情况请参考能力地图。
POST /beta/video/generations/qianfan-video HTTP/1.1
HOST: qianfan.baidubce.com
Authorization: Bearer <API Key>
Content-Type: application/json
{
"model": "KO1",
"type": "omni-video",
"model_parameters": {
"prompt": "一只金毛猎犬在阳光下的草地上奔跑,电影质感,高分辨率,4k",
"mode": "std",
"aspect_ratio": "16:9",
"duration": "5"
}
}
示例代码
curl -X POST "https://qianfan.baidubce.com/beta/video/generations/qianfan-video" \
-H "Authorization: Bearer bce-v3/ALTAK-******ZftZDTn7/125eeb1c5e9ddc8cf3edf18ef6d03f1517ec9408" \
-H "Content-Type: application/json" \
-d '{
"model": "KO1",
"type": "omni-video",
"model_parameters": {
"prompt": "一只金毛猎犬在阳光下的草地上奔跑,电影质感,高分辨率,4k",
"mode": "std",
"aspect_ratio": "16:9",
"duration": "5"
}
}'
返回响应
错误码。
错误信息。
请求ID。
返回数据体,包含任务相关信息。
显示子属性
隐藏子属性
任务ID。
任务状态。
submitted:已提交processing:处理中succeed:成功failed:失败
任务创建时间,Unix 时间戳(毫秒)。
任务更新时间,Unix 时间戳(毫秒)。
任务详细信息。
显示子属性
隐藏子属性
{
"code": 0,
"message": "",
"request_id": "as-xxx",
"data": {
"task_id": "xxx",
"task_status": "submitted",
"created_at": 1766393761000,
"updated_at": 1766393761000,
"task_info": {}
}
}
错误码
如果调用失败并返回报错信息,请参见错误码进行解决。
公共错误码:查看公共错误码
视频模型通用错误码
| HTTP状态码 | 错误码 | 错误信息 | 错误描述 |
|---|---|---|---|
| 500 | internal_error | video_genration_interal_error | video generation service interal error |
| 400 | invalid_request_error | invalid_lipsync_argument | |
| 429 | rate_limit_exceeded | video_genration_concurrency_exceeded | Rate limit reached for Concurrency |
| 403 | unsafe_request | video_genration_prompt_unsafe | the content of prompt field is unsafe |
评价此篇文章
