Mistral-7B-Instruct

更新时间：2024-11-15

Mistral-7B-Instruct由Mistral AI研发并开源的7B参数大语言模型，具备强大的推理性能和效果，对硬件需求更少、在各项评测基准中超越同规模模型。该版本为Mistral-7B-v0.1基础上的微调版本。本文介绍了相关API。

功能介绍

调用本接口，发起一次对话请求。

在线调试

平台提供了 API在线调试平台-示例代码，用于帮助开发者调试接口，平台集成快速检索、查看开发文档、查看在线调用的请求内容和返回结果、复制和下载示例代码等功能，简单易用，更多内容请查看API在线调试介绍。

HTTP调用

鉴权说明

本文API，支持2种鉴权方式。不同鉴权方式，调用方式不同，使用Header、Query参数不同，详见本文请求说明。开发者可以选择以下任一种方式进行鉴权。
· 访问凭证access_token鉴权
· 基于安全认证AK/SK进行签名计算鉴权

请求说明

基本信息

请求地址： https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/{创建服务时填写的API地址}

请求方式： POST

API地址说明

创建服务时填写的API地址，相关内容请查看模型服务-在线服务-服务配置。

Header参数

根据不同鉴权方式，查看对应Header参数。

访问凭证access_token鉴权

名称	类型	必填	描述
Content-Type	string	是	固定值application/json

基于安全认证AK/SK进行签名计算鉴权

名称	类型	必填	描述
Content-Type	string	是	固定值application/json
x-bce-date	string	否	当前时间，遵循ISO8601规范，格式如2016-04-06T08:23:49Z
Authorization	string	是	用于验证请求合法性的认证信息，更多内容请参考鉴权认证机制，签名工具可参考IAM签名工具

Query参数

只有访问凭证access_token鉴权方式，需使用Query参数。

访问凭证access_token鉴权

名称	类型	必填	描述
access_token	string	是	通过API Key和Secret Key获取的access_token，参考Access Token获取

Body参数

名称	类型	必填	描述
messages	List(message)	是	聊天上下文信息。说明：（1）messages成员不能为空，1个成员表示单轮对话，多个成员表示多轮对话（2）最后一个message为当前请求的信息，前面的message为历史对话信息（3）必须为奇数个成员，成员中message的role必须依次为user、assistant （4）message中的content总长度不能超过4800个字符
stream	bool	否	是否以流式接口的形式返回数据，默认false
temperature	float	否	说明：（1）较高的数值会使输出更加随机，而较低的数值会使其更加集中和确定（2）范围 (0, 1.0]，不能为0
top_k	int	否	Top-K 采样参数，在每轮token生成时，保留k个概率最高的token作为候选。说明：（1）影响输出文本的多样性，取值越大，生成文本的多样性越强（2）取值范围：正整数
top_p	float	否	说明：（1）影响输出文本的多样性，取值越大，生成文本的多样性越强（2）取值范围 [0, 1.0]
penalty_score	float	否	通过对已生成的token增加惩罚，减少重复生成的现象。说明：（1）值越大表示惩罚越大（2）取值范围：[1.0, 2.0]
stop	List(String)	否	生成停止标识。当模型生成结果以stop中某个元素结尾时，停止文本生成。说明：（1）每个元素长度不超过20字符。（2）最多4个元素
user_id	string	否	表示最终用户的唯一标识符

message说明

名称	类型	必填	描述
role	string	是	当前支持以下： user: 表示用户 assistant: 表示对话助手
content	string	是	对话内容，不能为空

响应说明

名称	类型	描述
id	string	本轮对话的id
object	string	回包类型。 chat.completion：多轮对话返回
created	int	时间戳
sentence_id	int	表示当前子句的序号。只有在流式接口模式下会返回该字段
is_end	bool	表示当前子句是否是最后一句。只有在流式接口模式下会返回该字段
is_truncated	bool	当前生成的结果是否被截断
result	string	对话返回结果
need_clear_history	bool	表示用户输入是否存在安全，是否关闭当前会话，清理历史会话信息 true：是，表示用户输入存在安全风险，建议关闭当前会话，清理历史会话信息 false：否，表示用户输入无安全风险
ban_round	int	当need_clear_history为true时，此字段会告知第几轮对话有敏感信息，如果是当前问题，ban_round=-1
usage	usage	token统计信息

usage说明

名称	类型	描述
prompt_tokens	int	问题tokens数
completion_tokens	int	回答tokens数
total_tokens	int	tokens总数

注意：同步模式和流式模式，响应参数返回不同，详细内容参考示例描述。

同步模式下，响应参数为以上字段的完整json包。
流式模式下，各字段的响应参数为 data: {响应参数}。

请求示例（单轮）

以访问凭证access_token鉴权方式为例，说明如何调用API，示例如下。

Bash
Python

# 步骤一，获取access_token，替换下列示例中的应用API Key与应用Secret Key
curl 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[应用API Key]&client_secret=[应用Secret Key]'

# 步骤二，调用本文API，使用步骤一获取的access_token，替换下列示例中的“调用接口获取的access_token”；替换示例中的创建服务时填写的API名称

curl -X POST  'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/[创建服务时填写的API名称]?access_token=[步骤一调用接口获取的access_token]' -d '{
   "messages": [
    {"role":"user","content":"你好"}
   ]
}' | iconv -f utf-8 -t utf-8

import requests
import json

def get_access_token():
    """
    使用 API Key，Secret Key 获取access_token，替换下列示例中的应用API Key、应用Secret Key
    """
        
    url = "https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[应用API Key]&client_secret=[应用Secret Key]"
    
    payload = json.dumps("")
    headers = {
        'Content-Type': 'application/json',
        'Accept': 'application/json'
    }
    
    response = requests.request("POST", url, headers=headers, data=payload)
    return response.json().get("access_token")


def main():
    """
    替换下列示例中的创建服务时填写的API名称
    """
        
    url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/[创建服务时填写的API名称]?access_token=" + get_access_token()
    
    payload = json.dumps({
         "messages": [
            {
                "role": "user",
                "content": "你好"
            }
        ]
    })
    headers = {
        'Content-Type': 'application/json'
    }
    
    response = requests.request("POST", url, headers=headers, data=payload)
    
    print(response.text)
    

if __name__ == '__main__':
    main()

响应示例（单轮）

JSON

HTTP/1.1 200 OK
Date: Thu, 23 Mar 2023 03:12:03 GMT
Content-Type: application/json;charset=utf-8
Statement: AI-generated

{
  "id": "as-bcmt5ct4iy",
  "object": "chat.completion",
  "created": 1680167072,
  "result": "你好，请问有什么我可以帮助你的吗？",
  "is_truncated":false,
  "need_clear_history": false,
  "usage": {
    "prompt_tokens": 7,
    "completion_tokens": 67,
    "total_tokens": 74
  }
}

# 步骤一，获取access_token，替换下列示例中的应用API Key与应用Secret Key
curl 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[应用API Key]&client_secret=[应用Secret Key]'

# 步骤二，调用本文API，使用步骤一获取的access_token，替换下列示例中的“调用接口获取的access_token”；替换示例中的创建服务时填写的API名称
curl -X POST 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/[创建服务时填写的api名称}]?access_token=[步骤一调用接口获取的access_token]' -d '{
  "messages": [
    {"role":"user","content":"你好"},
    {"role":"assistant","content":"你好，请问有什么我可以帮助你的吗？"},
    {"role":"user","content": "我在北京，周末可以去哪里玩？"}
  ]
}'  | iconv -f utf-8 -t utf-8

import requests
import json

def get_access_token():
    """
    使用 API Key，Secret Key 获取access_token，替换下列示例中的应用API Key、应用Secret Key
    """
        
    url = "https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[应用API Key]&client_secret=[应用Secret Key]"
    
    payload = json.dumps("")
    headers = {
        'Content-Type': 'application/json',
        'Accept': 'application/json'
    }
    
    response = requests.request("POST", url, headers=headers, data=payload)
    return response.json().get("access_token")

def main():
    """
    替换下列示例中的创建服务时填写的API名称
    """
        
    url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/[创建服务时填写的API名称]?access_token=" + get_access_token()
    
    payload = json.dumps({
        "messages": [
            {
                "role": "user",
                "content": "你好"
            },
            {
                "role": "assistant",
                "content": "你好，请问有什么我可以帮助你的吗？"
            },
            {
                "role": "user",
                "content": "我在北京，周末可以去哪里玩？"
            }
        ]
    })
    headers = {
        'Content-Type': 'application/json'
    }
    
    response = requests.request("POST", url, headers=headers, data=payload)
    
    print(response.text)
    

if __name__ == '__main__':
    main()

响应示例（多轮）

JSON

HTTP/1.1 200 OK
Date: Mon, 12 Apr 2021 06:27:55 GMT
Content-Type: application/json;charset=utf-8
Statement: AI-generated

{
  "id": "as-1tbbc0x5af",
  "object": "chat.completion",
  "created": 1680166551,
  "result": "北京是一个拥有许多历史、文化和自然景观的城市，周末你可以去以下几个地方玩：\n\n1. 故宫：这是中国最大的古代建筑群，是中国古代皇家宫殿的代表，你可以欣赏到丰富的历史和文化。\n\n2. 颐和园：这是一个美丽的皇家园林，有着精美的园林艺术和丰富的历史文化。\n\n3. 长城：北京附近的长城段是最受欢迎的，你可以选择徒步、骑行或者自驾前往，欣赏到壮丽的自然风光和古老的历史文化。\n\n4. 798艺术区：这是一个现代艺术和文化创意产业聚集区，你可以欣赏到各种当代艺术作品，同时也可以品尝到各种美食。\n\n5. 奥林匹克公园：如果你对体育和文化活动感兴趣，那么奥林匹克公园是一个不错的选择，这里有奥运场馆、公园和文化活动。\n\n6. 南锣鼓巷：这是一条充满老北京风貌的胡同，你可以在这里品尝到各种小吃，同时也可以欣赏到老北京的建筑和文化。\n\n除此之外，北京还有许多其他的景点和活动，例如天坛公园、北海公园、圆明园、北京动物园等等。你可以根据自己的兴趣和时间来选择合适的景点和活动。",
  "is_truncated":false,
  "need_clear_history": false,
  "usage": {
    "prompt_tokens": 18,
    "completion_tokens": 249,
    "total_tokens": 267
  }
}

请求示例（流式）

Bash
Python

# 步骤一，获取access_token，替换下列示例中的应用API Key与应用Secret Key
curl 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[应用API Key]&client_secret=[应用Secret Key]'

# 步骤二，调用本文API，使用步骤一获取的access_token，替换下列示例中的“调用接口获取的access_token”；替换示例中的创建服务时填写的API名称
curl -X POST 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/[创建服务时填写的API名称]?access_token=[步骤一调用接口获取的access_token]' -d '{
  "messages": [
    {"role":"user", "content": "给我推荐一些自驾游路线"}
  ],
  "stream": true
}'

import requests
import json

def get_access_token():
    """
    使用 API Key，Secret Key 获取access_token，替换下列示例中的应用API Key、应用Secret Key
    """
        
    url = "https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[应用API Key]&client_secret=[应用Secret Key]"
    
    payload = json.dumps("")
    headers = {
        'Content-Type': 'application/json',
        'Accept': 'application/json'
    }
    
    response = requests.request("POST", url, headers=headers, data=payload)
    return response.json().get("access_token")
def main():
    """
    替换下列示例中的创建服务时填写的API名称
    """
        
    url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/[创建服务时填写的API名称]?access_token=" + get_access_token()
    
    payload = json.dumps({
        "messages": [
            {
                "role": "user",
                "content": "给我推荐一些自驾游路线"
            }
        ],
         "stream": True
    })
    headers = {
        'Content-Type': 'application/json'
    }
    
    response = requests.request("POST", url, headers=headers, data=payload, stream=True)
    
    for line in response.iter_lines():
        print(line.decode("UTF-8"))
    

if __name__ == '__main__':
    main()

响应示例（流式）

HTTP/1.1 200 OK
Date: Mon, 12 Apr 2021 06:27:55 GMT
Content-Type: text/event-stream;charset=utf-8
Cache-Control: no-cache
Statement: AI-generated

data: {"id":"as-ywwpgx4dt7","object":"chat.completion","created":1680166793,"sentence_id":0,"is_end":false,"is_truncated":false,"result":"以下是一些适合自驾游的路线推荐：\n\n1.","need_clear_history":false,"usage":{"prompt_tokens":11,"completion_tokens":16,"total_tokens":27}}

data: {"id":"as-ywwpgx4dt7","object":"chat.completion","created":1680166794,"sentence_id":1,"is_end":false,"is_truncated":false,"result":" 中国大陆最美的景观大道：川藏线，从成都出发，沿着川藏公路一路向西，经过稻城亚丁、理塘、巴塘、芒康等美景，最终到达拉萨。","need_clear_history":false,"usage":{"prompt_tokens":11,"completion_tokens":50,"total_tokens":77}}

data: {"id":"as-ywwpgx4dt7","object":"chat.completion","created":1680166795,"sentence_id":2,"is_end":false,"is_truncated":false,"result":"\n2. 丝绸之路：这是一条贯穿中国东西部的公路，从上海出发，经过西安、兰州、乌鲁木齐等城市，最终到达喀什。","need_clear_history":false,"usage":{"prompt_tokens":11,"completion_tokens":43,"total_tokens":120}}

data: {"id":"as-ywwpgx4dt7","object":"chat.completion","created":1680166796,"sentence_id":3,"is_end":false,"is_truncated":false,"result":"沿途可以欣赏到中国北方和南方的不同景色。\n3. 西北大环线：从成都出发，经过都江堰、青城山、丹巴、塔公草原、新都桥等景点，最终到达西宁。","need_clear_history":false,"usage":{"prompt_tokens":11,"completion_tokens":56,"total_tokens":176}}

data: {"id":"as-ywwpgx4dt7","object":"chat.completion","created":1680166799,"sentence_id":4,"is_end":false,"is_truncated":false,"result":"这条路线可以领略到中国西北地区的壮美风光。\n4. 东北环线：从沈阳出发，经过长春、吉林、延吉等城市，最终到达哈尔滨。","need_clear_history":false,"usage":{"prompt_tokens":11,"completion_tokens":48,"total_tokens":224}}

data: {"id":"as-ywwpgx4dt7","object":"chat.completion","created":1680166800,"sentence_id":5,"is_end":false,"is_truncated":false,"result":"沿途可以欣赏到中国东北地区的广阔草原和森林。\n5. 西南环线：从成都出发，经过雅安、康定、理塘、稻城亚丁等景点，最终到达香格里拉。","need_clear_history":false,"usage":{"prompt_tokens":11,"completion_tokens":54,"total_tokens":278}}

data: {"id":"as-ywwpgx4dt7","object":"chat.completion","created":1680166802,"sentence_id":6,"is_end":false,"is_truncated":false,"result":"这条路线可以领略到中国西南地区的高山峡谷和民族文化。\n6. 海南环线：从三亚出发，经过海口、文昌、万宁等城市，最终到达三亚。","need_clear_history":false,"usage":{"prompt_tokens":11,"completion_tokens":52,"total_tokens":330}}

data: {"id":"as-ywwpgx4dt7","object":"chat.completion","created":1680166803,"sentence_id":7,"is_end":false,"is_truncated":false,"result":"这条路线可以欣赏到中国南方的海岸线和热带雨林。\n7. 滇藏线：从昆明出发，经过大理、丽江、香格里拉等景点，最终到达西藏拉萨。","need_clear_history":false,"usage":{"prompt_tokens":11,"completion_tokens":52,"total_tokens":382}}

data: {"id":"as-ywwpgx4dt7","object":"chat.completion","created":1680166804,"sentence_id":8,"is_end":true,"is_truncated":false,"result":"这条路线可以领略到中国西南地区和西藏地区的自然风光和人文景观。","need_clear_history":false,"usage":{"prompt_tokens":11,"completion_tokens":30,"total_tokens":412}}

SDK调用

平台支持通过Python SDK、Go SDK、Java SDK 和 Node.js SDK调用本文API，SDK调用说明文档请参考推理服务V1-对话Chat文档。

错误码

如果请求错误，服务器返回的JSON文本包含以下参数。

名称	描述
error_code	错误码
error_msg	错误描述信息，帮助理解和解决发生的错误

例如Access Token失效返回以下内容，需要重新获取新的Access Token再次请求。

{
  "error_code": 110,
  "error_msg": "Access token invalid or no longer valid"
}

更多相关错误码，请查看错误码说明。

Mixtral-8x7B-Instruct

Llama-2-7B

百度智能云

百度智能云千帆大模型服务与开发平台ModelBuilder