模型厂商配置
大约 6 分钟
模型厂商配置
一、功能介绍
模型厂商用于维护大模型服务的连接信息,模型配置用于维护具体可调用的模型。AI 对话、知识库问答、智能问数、协议适配、物模型生成和需求评估都会依赖这里的配置。
简单理解:厂商决定“连到哪里、用什么密钥”,模型决定“调用哪个模型、使用什么默认参数”。
二、操作路径
AI 赋能 > 厂商管理
AI 赋能 > 模型管理不同版本菜单名称可能略有差异,以实际管理端为准。
三、配置前准备
配置前请先准备:
- 模型服务账号或内网模型服务地址。
- API Base URL,例如公网模型地址、网关地址或内网 Ollama 地址。
- API Key 或平台要求的访问密钥。
- 需要调用的模型名称或模型编码。
- 当前环境的网络连通性、代理策略和额度限制。
如果是内网私有化部署,建议先在服务器上验证后端可以访问模型服务,再到页面中配置。
四、厂商配置
| 字段 | 说明 | 使用建议 |
|---|---|---|
| 厂商编码 | 系统识别厂商适配器的编码 | 以页面下拉为准,常见如 QWEN、DEEPSEEK、OPENAI、AZURE_OPENAI、OLLAMA 等 |
| 厂商名称 | 页面展示名称 | 建议包含厂商、环境或用途,如 通义千问-生产 |
| 区域档位 | 区分国内、海外、私有化等区域策略 | 按实际模型服务所在地和网络策略选择 |
| API 基础地址 | 模型服务 Base URL | 使用厂商文档给出的接口地址,内网部署填写内网地址 |
| 鉴权方式 | 调用模型服务时使用的鉴权方式 | 以页面选项为准,需与厂商要求一致 |
| API Key | 模型服务访问密钥 | 保存后不会作为明文回显,只由管理员维护 |
| 扩展配置 | 特殊厂商参数或网关参数 | 没有特殊要求可留空 |
| 排序 | 页面展示顺序 | 多个厂商时按常用程度排序 |
| 状态 | 是否启用 | 停用后该厂商下的模型不可继续调用 |
| 备注 | 补充说明 | 可记录额度、负责人、环境、注意事项 |
提示
API Key 属于敏感信息。不要把包含密钥的页面截图、接口日志或配置文件发送到公开群组。
五、模型配置
| 字段 | 说明 | 使用建议 |
|---|---|---|
| 所属厂商 | 模型归属的厂商 | 先创建并启用厂商,再添加模型 |
| 模型编码 | 对应厂商大模型的编码 | 必须与厂商模型实际支持的名称一致,一般是小写 |
| 模型名称 | 厂商侧真实模型名 | 必须与厂商实际支持的名称一致 |
| 模型类型 | 模型能力分类 | 以页面下拉为准,至少需要一个可对话模型 |
| 上下文长度 | 模型单次可处理的上下文规模 | 按厂商模型规格填写,避免填得过大导致调用失败 |
| 默认推理参数 | 模型调用时默认使用的 JSON 参数 | 可设置温度、TopP、最大输出等参数 |
| 是否默认 | 是否作为默认模型 | 同一类能力建议只保留一个默认模型,便于自动路由 |
| 状态 | 是否启用 | 停用后该模型不会被新请求调用 |
| 备注 | 补充说明 | 可记录模型用途、价格、额度、适用场景 |
默认推理参数可按模型厂商支持情况填写,例如:
{
"temperature": 0.2,
"topP": 0.8,
"maxTokens": 2048
}运维问答、平台助手、协议解析等场景通常建议降低随机性,让回答更稳定;创作类或说明类内容可以适当提高随机性。
六、推荐配置流程
- 新增厂商,填写厂商编码、API 地址、鉴权方式和 API Key。
- 启用厂商。
- 新增模型,选择所属厂商。
- 填写模型编码、模型名称、模型类型、上下文长度和默认参数。
- 将常用模型设置为默认并启用。
- 进入 AI 对话,发送简单问题验证返回。
- 再验证平台助手、知识库问答、协议适配等业务能力。
七、验收检查
| 检查项 | 通过标准 |
|---|---|
| 厂商状态 | 页面显示启用,API 地址和鉴权方式正确 |
| 密钥有效性 | AI 对话不会返回鉴权失败 |
| 模型名称 | 模型服务能够识别,不返回模型不存在 |
| 默认模型 | 自动识别或平台助手可以正常选到模型 |
| 参数配置 | 响应长度、速度和稳定性符合预期 |
| 业务验证 | 知识库问答、智能问数或协议适配能正常进入 AI 流程 |
八、常见问题
1. 返回鉴权失败
检查 API Key 是否正确、是否过期、是否有对应模型权限;同时确认鉴权方式与厂商要求一致。
2. 提示模型不存在
检查模型名称是否与厂商后台完全一致,尤其是大小写、版本号、区域限制和部署名称。Azure OpenAI 等服务通常需要填写部署名。
3. AI 对话无响应或响应很慢
优先检查服务器到模型服务的网络连通性、代理设置、模型服务区域、最大输出长度和厂商额度。如果使用内网模型,也要确认服务端口和访问路径正确。
4. 知识库或协议适配不可用
先确认基础对话模型可用,再检查知识库是否已构建并发布、协议资料是否解析成功、相关业务开关是否开启。
5. 回答不稳定
可以降低 temperature,适当减少最大输出长度,并补充更明确的知识库内容。对于平台操作、协议解析、需求评估等场景,建议使用更稳定的参数。
九、使用建议
- 生产环境和测试环境建议使用不同厂商或不同 API Key,便于控制费用和风险。
- 多厂商并存时,先明确默认模型,避免业务调用落到不符合预期的模型上。
- 切换默认模型前,先在 AI 对话中验证质量、速度、费用和上下文长度。
- 不建议在演示环境配置生产密钥。
