原子能力API（调试版）
更新时间：2026-02-11
多模态音乐播放
接口描述
- 接口概述
本接口为开发者提供多模态音乐检索与播放能力，支持通过文本或语音指令匹配音乐、故事等音频资源。音频资源通过 HTTP SSE (Server-Sent Events) 协议下发 Base64 编码的音频帧（PCM16 格式）。
- 交互流程
用户可以通过自然语言（语音或文字）下发指令，例如：
“播放邓紫棋的 泡沫”
“播放一千零一夜的故事”
“播放音乐”
- 播放模式详解
服务端将音频切片并转换为 PCM16 采样格式，经 Base64 编码后通过 SSE 通道推送。技术要求：
Plain Text
1* 解码：客户端需实时接收 SSE 消息并进行 Base64 解码以还原 PCM 原始数据。
2* 平滑播放：为避免网络抖动导致卡顿，强烈建议在本地建立一个缓冲区，在预存一定数量的音频帧后再驱动声卡进行播放。
3* 参数参考：音频格式为单声道 PCM16，采样率请参照具体响应头参数。- 权限说明
当前版本为调试版本，相关api可以直接调用。待后续更新为正式版本后，需要安装sdk后通过license激活使用。
请求结构
Plain Text
1POST /sse/v{version}/aiagent/chat/completions/content/get HTTP/1.1
2Host: gwgp-tdvpwojkegj.i.bdcloudapi.com
3Authorization: Bearer string
4{
5 "messages": [
6 {
7 "contentItems": [
8 {
9 "type":"text",
10 "text":"播放音乐"
11 },
12 {
13 "type":"audio",
14 "audio":{
15 "data":"base64xxxx"
16 }
17 }
18 ]
19 }
20 ],
21 "response_format": {
22 "text_stream": true,
23 "enable_tts": true,
24 "resource_type": "audio"
25 }
26 }请求头域
除公共头域外，无其它特殊头域。(后续正式版需要携带 authorization )
请求参数
| 参数名称 | 类型 | 是否必选 | 参数位置 | 描述 |
|---|---|---|---|---|
| messages | List<Object> | 是 | RequestBody | 用户query列表。多种类型同时存在时，以text为准；同一类型多个值时，仅第一个值生效 |
| + type | String | 是 | RequestBody | qurey类型 |
| + text | String | type=text时，必选 | RequestBody | 文本型query内容 |
| + audio | Object | type=audio时，必选 | RequestBody | 语音型query内容的对象 |
| ++ data | String | type=audio时，必选 | RequestBody | base64编码的语音query字符串 |
| response_format | Object | 是 | RequestBody | 指定的返回内容信息 |
| + text_stream | Boolean | 否 | RequestBody | 文本流式返回，默认值为true |
| + resource_type | String | 是 | RequestBody | 音乐返回类型，取值为audio |
响应头域
除公共头域外，无其它特殊头域。
响应参数
SSE格式返回，具体类型如下：
"type":"system.connect" -> 系统消息：连接成功
"type":"system.processing" -> 系统消息：请求处理中
"type":"transcript.median" -> query中间值
"type":"transcript" -> query完整值
"type":"answer.median" -> 回复内容中间值
"type":"answer" -> 回复内容完整值
"type":"audio.header" -> 音频格式信息
"type":"audio.content" -> base64的音频帧
[DONE] -> 结束标识
请求示例
Plain Text
1POST https://gwgp-tdvpwojkegj.i.bdcloudapi.com/sse/v1/aiagent/chat/completions/content/get
2Host: gwgp-tdvpwojkegj.i.bdcloudapi.com
3Authorization: Bearer string
4{
5 "messages": [
6 {
7 "contentItems": [
8 {
9 "type":"text",
10 "text":"播放音乐"
11 },
12 {
13 "type":"audio",
14 "text":"base64xxxx"
15 }
16 ]
17 }
18 ],
19 "response_format": {
20 "text_stream": true,
21 "enable_tts": true,
22 "resource_type": "audio"
23 }
24}响应示例
Plain Text
1data:{"type":"system.connect","desc":"SSE流连接已建立"}
2data:{"type":"system.processing","desc":"正在处理您的请求"}
3data:{"type":"transcript.median","desc":"query中间值","data":{"text":"帮"}}
4data:{"type":"transcript.median","desc":"query中间值","data":{"text":"帮我"}}
5data:{"type":"transcript.median","desc":"query中间值","data":{"text":"帮我播放一首"}}
6data:{"type":"transcript.median","desc":"query中间值","data":{"text":"帮我播放一首音乐"}}
7data:{"type":"transcript","desc":"query完整值","data":{"text":"帮我播放一首音乐。"}}
8data:{"type":"answer.median","desc":"回复中间值","data":{"text":"我找找..."}}
9data:{"type":"audio.header","desc":"音频格式","data":{"channel":1,"format":"pcm16","sample_rate":16000}}
10data:{"type":"answer","desc":"回复完整值","data":{"text":"我找找...一首邓宝的喜欢你送给你"}}
11data:{"type":"audio.content","desc":"音频","data":{"base64Audio":"base64xxxxxx"}}
12data:[DONE]多模态信息检索
接口描述
- 接口概述
本接口为开发者提供多模态信息检索能力。支持通过文本或语音指令检索信息
- 交互流程
用户可以通过自然语言（语音或文字）下发指令，例如：
“今天天气怎么样”
“特朗普什么时候当选总统”
- 权限说明
当前版本为调试版本，相关api可以直接调用。待后续更新为正式版本后，需要安装sdk后通过license激活使用。
请求结构
Plain Text
1POST /sse/v{version}/aiagent/chat/completions/search HTTP/1.1
2Host: gwgp-tdvpwojkegj.i.bdcloudapi.com
3Authorization: Bearer string
4{
5 "messages": [
6 {
7 "contentItems": [
8 {
9 "type":"text",
10 "text":"明天天气怎样"
11 },
12 {
13 "type":"audio",
14 "audio":{
15 "data":"base64xxxx"
16 }
17 }
18 ]
19 }
20 ],
21 "response_format": {
22 "text_stream": true,
23 "enable_tts": true
24 }
25 }请求头域
除公共头域外，无其它特殊头域。(后续正式版需要携带 authorization )
请求参数
| 参数名称 | 类型 | 是否必选 | 参数位置 | 描述 |
|---|---|---|---|---|
| messages | List<Object> | 是 | RequestBody | 用户query列表。多种类型同时存在时，以text为准；同一类型多个值时，仅第一个值生效 |
| + type | String | 是 | RequestBody | qurey类型 |
| + text | String | type=text时，必选 | RequestBody | 文本型query内容 |
| + audio | Object | type=audio时，必选 | RequestBody | 语音型query内容的对象 |
| ++ data | String | type=audio时，必选 | RequestBody | base64编码的语音query字符串 |
| response_format | Object | 否 | RequestBody | 指定的返回内容信息 |
| + text_stream | Boolean | 否 | RequestBody | 文本流式返回，默认值为true |
| + enable_tts | Boolean | 否 | RequestBody | 语音播报查询结果 |
响应头域
除公共头域外，无其它特殊头域。
响应参数
SSE格式返回，具体类型如下：
"type":"system.connect" -> 系统消息：连接成功
"type":"system.processing" -> 系统消息：请求处理中
"type":"transcript.median" -> query中间值
"type":"transcript" -> query完整值
"type":"answer.median" -> 回复内容中间值
"type":"answer" -> 回复内容完整值
"type":"audio.header" -> 音频格式信息
"type":"audio.content" -> base64的音频帧
[DONE] -> 结束标识
请求示例
Plain Text
1POST https://gwgp-tdvpwojkegj.i.bdcloudapi.com/sse/v1/aiagent/chat/completions/search
2Host: gwgp-tdvpwojkegj.i.bdcloudapi.com
3Authorization: Bearer string
4{
5 "messages": [
6 {
7 "contentItems": [
8 {
9 "type":"text",
10 "text":"明天天气怎样"
11 },
12 {
13 "type":"audio",
14 "text":"base64xxxx"
15 }
16 ]
17 }
18 ],
19 "response_format": {
20 "text_stream": true,
21 "enable_tts": true
22 }
23}响应示例
Plain Text
1data:{"type":"system.connect","desc":"SSE流连接已建立"}
2data:{"type":"system.processing","desc":"正在处理您的请求"}
3data:{"type":"transcript","desc":"query完整值","data":{"text":"明天天气怎么样"}}
4data:{"type":"answer.median","desc":"回复中间值","data":{"text":"明天天气晴转"}}
5data:{"type":"answer.median","desc":"回复中间值","data":{"text":"多云，气温20度"}}
6data:{"type":"answer","desc":"回复完整值","data":{"text":"明天天气晴转多云，气温20度"}}
7data:{"type":"audio.header","desc":"音频格式","data":{"channel":1,"format":"pcm16","sample_rate":16000}}
8data:{"type":"audio.content","desc":"音频","data":{"base64Audio":"base64xxxxxx"}}
9data:[DONE]多模态云闹钟控制
接口描述
- 接口概述
本接口为开发者提供云闹钟控制能力。支持对闹钟进行增删改查操作和结果语音播报（base64编码的音频帧）
- 交互流程
用户可以通过自然语言（语音或文字）下发指令，例如：
| 类别 | query示例 | 播报示例 |
|---|---|---|
| 任务新增 | 30分钟后提醒我喝水。 | 已为您添加2025年12月15日 19:57喝水的闹钟 |
| 定一个明天七点叫我起床的闹钟。 | 已为您添加2025年12月16日 07:00起床的闹钟 | |
| 每周一到五早上九点喊我吃饭。 | 已为您添加每周一至周五 09:00吃饭的闹钟 | |
| 每周工作日早上8点提醒我起床。 | 已为您添加每周一至周五 08:00起床的闹钟 | |
| 每周六晚上8点叫我运动。 | 已为您添加每周六 20:00运动的闹钟 | |
| 晚上8点我朋友叫我吃饭，到时候你记得提醒我。 | 已为您添加2025年12月15日 20:00吃饭的闹钟 | |
| 任务查询 | 我现在有哪些闹钟。 | 为您查询到6个符合条件的闹钟：每周一至周五 08:00 起床; 每周六 20:00 运动; 2025年12月15日 20:00 吃饭; 2025年12月15日 19:57 喝水; 2025年12月16日 07:00 起床; 每周一至周五 09:00 吃饭 |
| 今天我有什么计划。 | 为您查询到2个符合条件的闹钟：2025年12月15日 20:00 吃饭; 2025年12月15日 19:57 喝水 | |
| 我今天有什么要做的事吗。 | 为您查询到2个符合条件的闹钟：2025年12月15日 20:00 吃饭; 2025年12月15日 19:57 喝水 | |
| 我现在有哪些提醒？ | 为您查询到6个符合条件的闹钟：每周一至周五 08:00 起床; 每周六 20:00 运动; 2025年12月15日 20:00 吃饭; 2025年12月15日 19:57 喝水; 2025年12月16日 07:00 起床; 每周一至周五 09:00 吃饭 | |
| 任务修改 | 把今天晚上8点吃饭的闹钟改到9点。 | 为您更新1个符合条件的闹钟，更新后的闹钟为：2025年12月15日 21:00 吃饭 |
| 把工作日9点吃饭的闹钟改到8点。 | 为您更新1个符合条件的闹钟，更新后的闹钟为：每周一至周五 08:00 吃饭 | |
| 刚刚有人请我吃过饭了，8点的闹钟我要改成去夜跑。 | 为您更新1个符合条件的闹钟，更新后的闹钟为：2025年12月15日 20:00 去夜跑 | |
| 明天早上计划有变，帮我把时间改到下午1点。 | 为您更新3个符合条件的闹钟，更新后的闹钟为：每周一至周五 13:00 吃饭; 2025年12月16日 13:00 起床; 每周一至周五 13:00 起床 | |
| 任务删除 | 把明天早上的起床闹钟删掉。 | 没有找到符合条件的闹钟，无法进行删除操作，您可以换种方式描述下想删除的闹钟 |
| 把今晚的闹钟删掉。 | 为您删除2个符合条件的闹钟：2025年12月15日 21:00 吃饭; 2025年12月15日 19:57 喝水 | |
| 把所有闹钟删掉。 | 为您删除4个符合条件的闹钟：每周一至周五 13:00 吃饭; 每周六 20:00 去夜跑; 2025年12月16日 13:00 起床; 每周一至周五 13:00 起床 |
- 权限说明
当前版本为调试版本，相关api可以直接调用。待后续更新为正式版本后，需要安装sdk后通过license激活使用。
请求结构
Plain Text
1POST /sse/v{version}/aiagent/chat/completions/timer/control HTTP/1.1
2Host:gwgp-tdvpwojkegj.i.bdcloudapi.com
3Authorization: Bearer string
4{
5 "messages": [
6 {
7 "contentItems": [
8 {
9 "type":"text",
10 "text":"5分钟后提醒我喝水"
11 },
12 {
13 "type":"audio",
14 "audio":{
15 "data":"base64xxxx"
16 }
17 }
18 ]
19 }
20 ],
21 "response_format": {
22 "text_stream": true,
23 "enable_tts": true,
24 "call_back_url":"http://127.0.0.1/v1/timer"
25 }
26 }请求头域
除公共头域外，无其它特殊头域。(后续正式版需要携带 authorization )
请求参数
| 参数名称 | 类型 | 是否必选 | 参数位置 | 描述 |
|---|---|---|---|---|
| messages | List<Object> | 是 | RequestBody | 用户query列表。多种类型同时存在时，以text为准；同一类型多个值时，仅第一个值生效 |
| + type | String | 是 | RequestBody | qurey类型 |
| + text | String | type=text时，必选 | RequestBody | 文本型query内容 |
| + audio | Object | type=audio时，必选 | RequestBody | 语音型query内容的对象 |
| ++ data | String | type=audio时，必选 | RequestBody | base64编码的语音query字符串 |
| response_format | Object | 是 | RequestBody | 指定的返回内容信息 |
| + text_stream | Boolean | 否 | RequestBody | 文本流式返回，默认值为true |
| + enable_tts | Boolean | 否 | RequestBody | 语音播报查询结果 |
| + call_back_url | String | 是 | RequestBody | 闹铃回调地址 |
响应头域
除公共头域外，无其它特殊头域。
响应参数
SSE格式返回，具体类型如下：
"type":"system.connect" -> 系统消息：连接成功
"type":"system.processing" -> 系统消息：请求处理中
"type":"transcript.median" -> query中间值
"type":"transcript" -> query完整值
"type":"answer.median" -> 回复内容中间值
"type":"answer" -> 回复内容完整值
"type":"audio.header" -> 音频格式信息
"type":"audio.content" -> base64的音频帧
[DONE] -> 结束标识
请求示例
Plain Text
1POST https://gwgp-tdvpwojkegj.i.bdcloudapi.com/sse/v1/aiagent/chat/completions/timer/control
2Host: gwgp-tdvpwojkegj.i.bdcloudapi.com
3Authorization: Bearer string
4{
5 "messages": [
6 {
7 "contentItems": [
8 {
9 "type":"text",
10 "text":"5分钟后提醒我喝水"
11 },
12 {
13 "type":"audio",
14 "text":"base64xxxx"
15 }
16 ]
17 }
18 ],
19 "response_format": {
20 "text_stream": true,
21 "enable_tts": false
22 }
23}响应示例
Plain Text
1data:{"type":"system.connect","desc":"SSE流连接已建立"}
2data:{"type":"system.processing","desc":"正在处理您的请求"}
3data:{"type":"transcript","desc":"query完整值","data":{"text":"5分钟后提醒我喝水"}}
4data:{"type":"answer","desc":"回复完整值","data":{"text":"已为您添加2026年2月10日 15点05的喝水提醒"}}
5data:{"type":"audio.header","desc":"音频格式","data":{"channel":1,"format":"pcm16","sample_rate":16000}}
6data:{"type":"audio.content","desc":"音频","data":{"base64Audio":"base64xxxxxx"}}
7data:[DONE]