Visual Understand

为不支持视觉的编码模型提供图片理解能力。

原理

编码模型（如 GLM-5.1）遇到图片时，自动调用 MCP 工具 understand_image，由视觉模型完成图片识别，结果以文本回传给编码模型继续推理。无需切换模型，上下文不中断。

用户粘贴截图 → 编码模型调用 understand_image → 视觉模型识别 → 文字描述回传 → 继续编码

安装方式一：通过 PyPI / uvx 使用（推荐）

MCP 配置示例：

{
  "mcpServers": {
    "visual-understand": {
      "command": "uvx",
      "args": ["visual-understand-mcp"],
      "env": {
        "VISION_API_BASE": "https://dashscope.aliyuncs.com/compatible-mode/v1",
        "VISION_MODEL": "qwen-vl-max",
        "VISION_API_KEY": "sk-xxx"
      }
    }
  }
}

安装方式二：本地源码运行

{
  "mcpServers": {
    "visual-understand": {
      "command": "uv",
      "args": [
        "--directory", "/path/to/visual-understand-mcp",
        "run", "visual-understand-mcp"
      ],
      "env": {
        "VISION_API_BASE": "https://dashscope.aliyuncs.com/compatible-mode/v1",
        "VISION_MODEL": "qwen-vl-max",
        "VISION_API_KEY": "sk-xxx"
      }
    }
  }
}

配置项

变量	说明	默认值
VISION_API_BASE	视觉模型 API 地址	无（必填）
VISION_MODEL	视觉模型名称	无（必填）
VISION_API_KEY	视觉模型密钥	无（必填）
VISION_TEMPERATURE	输出随机性	0.1
VISION_MAX_TOKENS	最大输出长度	12000
VISION_TIMEOUT	请求超时（秒）	120
VISION_SYSTEM_PROMPT	视觉模型系统提示词	见下方

前三个必填，其余可选。配置也可写入 ~/.visual-understand-mcp/config.json，env 优先级更高。

默认系统提示词：

你是一个图片分析助手，仅用于理解图片内容。请按以下结构分析图片，根据实际内容调整详细程度：1. 文字内容 — 逐字提取图中所有可见文字，保留原始格式和层级关系。2. 错误信息与代码 — 如果图中包含错误信息或代码片段，必须原样输出，不做任何改写或概括；如果没有则忽略此项。3. 视觉布局与元素 — 描述空间排列、尺寸、颜色及关键元素间的关系。UI 截图请识别组件类型及其状态。4. 数据与指标 — 图表、表格请提取数值、坐标轴、标签、趋势及异常数据点。5. 整体概述 — 概括图片的主题、场景和关键信息，提供完整的上下文理解。不适用的部分跳过。只描述图片中可见的内容，不做推理、猜测或延伸解读。保持精确客观，不推测不可见的内容。

建议写入 CLAUDE.md

进行图片识别任务时，使用 visual-understand MCP 的 understand_image 工具。

本地调试

uv run mcp dev src/visual_understand_mcp/server.py

License

MIT