在线测试
更新时间:2023-11-10
模型部署成功后,百舸提供在线测试功能,可以让您在线检验模型的精确性和反应效果。
前提条件
已经成功部署模型。
操作步骤
- 登录百舸异构计算平台AIHC控制台。
- 进入模型部署列表页面,点击在线测试,进入在线测试页面。
- 本期支持配置以下参数:
参数 | 说明 |
---|---|
model | 选择模型部署的名称 |
temperature | 温度参数控制生成结果的随机性和不确定性。较高的温度值会导致生成结果更加随机和多样化,而较低的温度值则会使生成结果更加确定和收敛。 |
frequency_penalty | 参数用于控制相同 token 重复出现的频率。值越大,重复出现的频率越低。 有效值:[-2.0, 2.0] |
max_tokens | 单次会话返回的最大tokens数量 |