进入控制台,点击左侧【AI加速套件】找到工具包,点击【获取地址】可以得到工具包的下载地址,在容器镜像中先使用wget下载 注意:以下示例中的地址需替换为从控制台获取的地址 # 下载工具 wget https://doc.bce.baidu.com/bce-documentation/BOS/aiak-tool-apss.zip 解压工具包 # 解压缩工具,注意查看.zip的文件名可能与示例中不一致
非新增参数,可选,用于指定数据 cache 路径 --sft-data-streaming :开启 streaming 数据读取; --train-on-prompt :开启后,prompt 部分的数据也会参与 loss 计算,默认是仅计算答案部分的 loss; --eod-mask-loss :非新增参数,可选,开启后会将eostoken 进行 loss mask操作,不会参与 loss 计算
def search_baidu( user_input: Annotated[str, 'the content of the user input', True] ) -> str: Search the 'user input' on google search_data = baidu_search(user_input) return search_data @register_tool
为支持的模型启用自动工具选择,使用--tool-call-parser指定要使用的解析器 bool 否 否 FALSE –tool-call-parser 根据您使用的模型选择工具调用解析器,用于将模型生成的工具调用解析为OpenAIAPI格式,使用--enable-auto-tool-choice时需要指定 str 视情况而定 否 –tool-parser-plugin 指定用于解析模型生成的工具的工具解析器插件
access_token=【调用鉴权接口获取的token】' --data 'image=【图片Base64编码,需UrlEncode】' -H 'Content-Type:application/x-www-form-urlencoded' # encoding:utf-8 import requests import base64 ''' 医疗费用结算单识别 ''' request_url =
计算结果写入到./data/result目录下的result.md文件中 with open( .
计算结果写入到./data/result目录下的result.md文件中 with open( .
2.4 激活工具(tool) 在百度官网申请系列号Key后,在 test-face-api 工程下有个tool_ubuntu.sh和tool_centos.sh。
A800的0.7倍 性能测试工具 提供配套推理性能测试工具performance-tool ,可覆盖极限吞吐、首token 延迟测试场景 性能提升 对运行时和请求调度优化,吞吐性能提升10%+ Llama1/2 支持Medusa投机采样推理模式,低延迟场景下平均性能相比开源模型提升1.5倍
stream Bool 否 为true时则流式返回,为false时则一次性返回所有内容, 推荐设为true,降低首token时延 False tools List[Tool] 否 一个列表,其中每个字典对应一个工具的配置 tools[0] Tool 否 工具配置 +type String 否 枚举: file_retrieval : 知识库检索工具能够理解文档内容,支持用户针对文档内容的问答。