Multivision Server

为大模型提供图片与视频分析能力的 MCP 服务器,纯云端:所有视觉理解都交给 OpenAI 兼容的云端视觉大模型完成,视频原生交给模型处理(如 Qwen3.5,通过 DashScope video_url)—— 本地不做任何抽帧/转码,镜像轻量、无 ffmpeg / OpenCV 依赖。

设计:视频的抽帧与时序对齐由模型服务端完成。一份 base_url + api_key + model 配置即可切换 通义千问3.5 / Qwen-VL / GLM-4V / GPT-4o(GPT-4o 仅图片,不支持 video_url)。

功能

• 图片理解问答:描述、问答、OCR、图表解读、UI 分析、示意图理解、报错诊断(vision_analyze_image,含任务预设)
• 视频理解(原生):把视频直接交给云端多模态大模型,按时间顺序分析场景/对象/动作/事件(vision_analyze_video)
• 图片元信息(本地):EXIF/尺寸/格式,Pillow 解析(vision_image_metadata)
• 支持 stdio 与 SSE 两种传输
• 输入支持:本地绝对路径 / file:// / http(s):// / base64(data URI);视频推荐传 http(s) URL

快速开始

1. 配置云端视觉模型(OpenAI 兼容)

视频需选支持原生视频的模型:

video_url 是 DashScope 对 OpenAI 协议的扩展,因此原生视频当前主要在通义千问系列可用; OpenAI 官方 GPT-4o 不支持 video_url,只能做图片。

2. 本地开发运行

无需 ffmpeg,纯 Python 依赖:

python -m venv .venv && source .venv/bin/activate
pip install -e ".[sse]"

# stdio（本地 MCP 客户端）
mcp-multivision-server

# SSE（远程 MCP 客户端）
MCP_TRANSPORT=sse MCP_PORT=8093 mcp-multivision-server

部署

cp .env.example .env       # 填入 MCP_VISION_BASE_URL / API_KEY / MODEL
docker compose up -d

镜像基于 python:3.11-slim,无 ffmpeg / OpenCV / 系统库依赖,体积约 200MB。

推送 v* tag 触发 GitHub Actions:原生 amd64 + arm64 构建、推送 Harbor、多架构 manifest、GitHub Release。 需配置仓库 secrets HARBOR_USERNAME / HARBOR_PASSWORD。

MCP 客户端配置

SSE:

{ "mcpServers": { "multivision": { "url": "http://<your-server>:8093/sse" } } }

stdio:

{
  "mcpServers": {
    "multivision": {
      "command": "mcp-multivision-server",
      "env": {
        "MCP_VISION_BASE_URL": "https://dashscope.aliyuncs.com/compatible-mode/v1",
        "MCP_VISION_API_KEY": "your_api_key",
        "MCP_VISION_MODEL": "qwen3.5-plus"
      }
    }
  }
}

环境变量

MCP 工具列表

vision_analyze_image 的 preset 可选:describe / ocr / chart / ui / diagram / error;提供 prompt 时覆盖 preset。

项目结构

03-mcp-multivision-server/
├── Dockerfile / docker-compose.yaml / .env.example
├── pyproject.toml / requirements.txt
├── .github/workflows/build-release.yaml
└── src/mcp_multivision_server/
    ├── server.py                 # 入口 + 4 个工具
    ├── providers/                # 云端 VLM
    │   ├── base.py               # BaseVisionProvider / VisionResult / ProviderError
    │   └── openai_compat.py      # OpenAI 兼容 provider（含 video_url）
    └── media/
        ├── inputs.py             # 输入解析：图片/视频 → image_url / video_url
        └── imageinfo.py          # 本地 EXIF/尺寸（Pillow）

许可

MIT