一键部署模型与卡型适配表
以下列表展示了模型广场中支持一键部署模型所适配的AI加速卡卡型,以及部署模型所需的最小算力单元数量。
说明:列表未包含一键部署支持的全量模型,此文档将持续更新。
1. 图像理解
模型名称 |
AI加速卡Ⅰ型 |
AI加速卡Ⅴ型 |
AI加速卡Ⅶ型 |
InternLM-XComposer2 |
1 |
1 |
- |
glm-4v-9b |
1 |
1 |
1 |
OpenGVLab/InternVL2-2B |
1 |
1 |
- |
OpenGVLab/InternVL2-8B |
1 |
1 |
- |
OpenGVLab/InternVL2-26B |
1 |
- |
- |
OpenGVLab/InternVL2_5-4B |
1 |
1 |
- |
OpenGVLab/InternVL2_5-8B |
1 |
1 |
- |
Qwen-VL-Chat |
1 |
- |
- |
Qwen2-VL-2B-Instruct |
1 |
1 |
1 |
Qwen2-VL-7B-Instruct |
1 |
1 |
1 |
Qwen2-VL-72B-Instruct |
4 |
- |
- |
Qwen2.5-VL-7B-Instruct |
1 |
1 |
- |
2. 深度推理
模型名称 |
AI加速卡Ⅰ型 |
AI加速卡Ⅶ型 |
AI加速卡型IX |
QwQ-32B |
2 |
- |
- |
DeepSeek-R1-250313-1(更新版本) |
- |
8(单机) |
- |
DeepSeek-R1-250313-2 |
- |
- |
16(双机) |
DeepSeek-v3-250313-1 |
- |
8(单机) |
- |
DeepSeek-V3-250313-2 |
- |
- |
16(双机) |
DeepSeek-V3-250324-2 |
- |
- |
16(双机) |
3. 向量表示
模型名称 |
AI加速卡Ⅴ型 |
bge-large-zh-v1.5 |
1 |
jina-embeddings-v3 |
1 |
4. 重排序
模型名称 |
AI加速卡Ⅴ型 |
bge-reranker-v2-m3 |
1 |
jina-reranker-v2-base-multilingual |
1 |
5. 文本生成
模型名称 |
AI加速卡Ⅰ型 |
Qwen2.5-72B-Instruct |
2 (16k上下文) 4 (32k上下文) |