图像理解

更新时间：2025-02-13

本文介绍了图像理解 V2版本相关API及使用。

功能介绍

调用本接口，可根据用户输入的图像和文字，回答图像有关问题。

支持模型列表

模型名称	模型版本	model 参数值
DeepSeek-VL2	DeepSeek-VL2	deepseek-vl2
DeepSeek-VL2	DeepSeek-VL2-Small	deepseek-vl2-small

鉴权说明

调用本文API，需使用API Key鉴权方式。使用API Key鉴权调用API流程，具体调用流程，请查看认证鉴权。

请求结构

Bash

POST /v2/chat/completions HTTP/1.1
Host: qianfan.baidubce.com
Authorization: authorization string
Content-Type: application/json

{
  "model": "deepseek-vl2",
  "messages": [
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "分别使用1句话描述以下3张图片的内容"
                },
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://aidp-qa***"
                    }
                },
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://qianfan-test***"
                    }
                },
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://aidp-***"
                    }
                }
            ]
        }
    ] 
}

请求头域

除公共头域外，无其它特殊头域。

请求参数

名称	类型	必填	描述
messages	List(message)	是	聊天历史信息列表
model	string	是	大模型ID，支持以下： · deepseek-vl2 · deepseek-vl2-small
stream	bool	否	是否以流式接口的形式返回数据，说明： ·（1）true：是 ·（2）false：否，默认false，beam search模型只能为false

message说明

名称	类型	必填	描述
role	string	是	当前支持以下： · system：人设 · user：用户 · assistant：对话助手 · tool：函数
name	string	否	message名
content	list（content）	是	图像相关信息

content说明

名称	类型	必填	描述
type	string	是	当前支持以下类型： · text：文本 · image_url：图像url
text	string	否	文本信息，当参数type为text时，必填
image_url	image_url	否	图像url信息，当参数type为image_url时，必填

image_url说明

名称	类型	必填	描述
url	string	是	图像url，支持以下： · 传入图片链接 · 图片的Base64编码，传入 Base64 编码格式时，传入的格式需为：data:image/<图片格式>;base64,<Base64编码>

响应头域

除公共头域外，无其它特殊头域。

响应参数

名称	类型	描述
id	string	本次请求的唯一标识，可用于排查问题
object	string	回包类型 chat.completion：多轮对话返回
created	int	时间戳
model	string	说明：预置服务，返回模型ID
choices	choices	stream=false时，返回内容
choices	sse_choices	stream=true时，返回内容
usage	usage	token统计信息，说明：（1）同步请求默认返回（2）流式请求默认不返回，当开启stream_options.include_usage=true时，会在最后一个chunk返回实际内容，其他chunk返回null
search_results	search_results	搜索结果列表

curl --location 'https://qianfan.baidubce.com/v2/chat/completions' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer bce-v3/ALTAK-*********/614fb**********' \
--data '{
  "model": "deepseek-vl2",
  "messages": [
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "分别使用1句话描述以下3张图片的内容"
                },
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://aidp-qa***"
                    }
                },
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://qianfan-test***"
                    }
                },
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://aidp-***"
                    }
                }
            ]
        }
    ] 
}'

import requests
import json


def main():
    url = "https://qianfan.baidubce.com/v2/chat/completions"

    payload = json.dumps({
        "model": "deepseek-vl2",
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": "分别使用1句话描述以下3张图片的内容"
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": "https://aidp-qa***"
                        }
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": "https://qianfan-test***"
                        }
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": "https://aidp-***"
                        }
                    }
                ]
            }
        ]
    })
    headers = {
        'Content-Type': 'application/json',
        'Authorization': 'Bearer bce-v3/ALTAK-*********/614fb**********'
    }

    response = requests.request("POST", url, headers=headers, data=payload)

    print(response.text)


if __name__ == '__main__':
    main()

响应示例

JSON

{
    "id": "as-7u9f6065tq",
    "object": "chat.completion",
    "created": 1736413890,
    "model": "deepseek-vl2",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "第一张图片：一个蓝色圆形，中间有一个黑色的比特币符号。\n第二张图片：一个蓝色圆形，中间有一个黑色的比特币符号。\n第三张图片：一个蓝色圆形，中间有一个黑色的比特币符号。"
            },
            "finish_reason": "normal",
            "flag": 0
        }
    ],
    "usage": {
        "prompt_tokens": 10,
        "completion_tokens": 41,
        "total_tokens": 51
    }
}

错误码

如果请求错误，服务器返回的JSON文本包含以下参数。

名称	描述
error_code	错误码
error_msg	错误描述信息，帮助理解和解决发生的错误
type	错误类型

更多相关错误码，请查看错误码说明。

图像Images

阅读助手插件

百度智能云

千帆大模型服务与开发平台ModelBuilder