图像与视觉(多模态)
xopc 支持在对话中接收图片、通过 image 工具做图像理解 / 视觉分析,并在配置好模型与 API Key 时使用 image_generate 工具进行文生图。
配置
| 字段 | 类型 | 作用 |
|---|---|---|
| Agent 模型角色 | agents.list[].models.roles | 所选对话模型支持视觉时,图片可直接进入模型。 |
| 图像生成 provider | Provider 凭据 / 图像 provider 注册表 | image_generate 在运行时发现可用生成 provider。 |
| 媒体大小限制 | 运行时 / gateway 限制 | 上传和工具载荷上限取决于具体路由或工具。 |
使用 xopc image status 查看当前 manifest-era 图像行为;使用 xopc image providers 查看可用生成 provider。
行为说明
- 入站图片 — 当会话主模型支持视觉时,图片以原生图像部件进入模型;否则会先用支持视觉的模型转成文字描述再进入主流程。
image工具 — 使用运行时解析出的视觉能力做描述或分析。image_generate工具 — 使用imageGenerationModel与已注册的生成提供方。部分提供方支持图生图 / 编辑;具体参数以当前版本的工具 schema 为准。
参数摘要见 内置工具 — 图像。
网关 API(需认证)
| 方法 | 路径 | 说明 |
|---|---|---|
| GET | /api/image/capabilities | 图像相关配置快照与 Provider / 模型提示。 |
| POST | /api/image/validate-model | 请求体 { "modelRef": "provider/model" },校验格式、密钥与模型解析。 |
| GET / PATCH | /api/config | 读取或更新 gateway/runtime 配置。 |
CLI
xopc image — status 说明当前图像行为;providers 列出可用图像生成 provider。xopc models list 可能对生成 / 视觉相关模型标注 [gen] / [vision]。