Skip to content

图像与视觉(多模态)

xopc 支持在对话中接收图片、通过 image 工具图像理解 / 视觉分析,并在配置好模型与 API Key 时使用 image_generate 工具进行文生图


配置

字段类型作用
Agent 模型角色agents.list[].models.roles所选对话模型支持视觉时,图片可直接进入模型。
图像生成 providerProvider 凭据 / 图像 provider 注册表image_generate 在运行时发现可用生成 provider。
媒体大小限制运行时 / gateway 限制上传和工具载荷上限取决于具体路由或工具。

使用 xopc image status 查看当前 manifest-era 图像行为;使用 xopc image providers 查看可用生成 provider。


行为说明

  • 入站图片 — 当会话主模型支持视觉时,图片以原生图像部件进入模型;否则会先用支持视觉的模型转成文字描述再进入主流程。
  • image 工具 — 使用运行时解析出的视觉能力做描述或分析。
  • image_generate 工具 — 使用 imageGenerationModel 与已注册的生成提供方。部分提供方支持图生图 / 编辑;具体参数以当前版本的工具 schema 为准。

参数摘要见 内置工具 — 图像


网关 API(需认证)

方法路径说明
GET/api/image/capabilities图像相关配置快照与 Provider / 模型提示。
POST/api/image/validate-model请求体 { "modelRef": "provider/model" },校验格式、密钥与模型解析。
GET / PATCH/api/config读取或更新 gateway/runtime 配置。

CLI

xopc imagestatus 说明当前图像行为;providers 列出可用图像生成 provider。xopc models list 可能对生成 / 视觉相关模型标注 [gen] / [vision]


相关文档

基于 MIT 许可证发布