MiniCPM Vision

为 DeepSeek V4.0 等单模态大模型 装上眼睛和耳朵 —— 本地运行的视觉+音频 MCP 服务器，基于 Ollama + MiniCPM-V 4.6 + faster-whisper。

图片描述 · 视频帧分析 · 音频语音转文字 · 完全本地 · 数据不出机

✨ 为什么选这个？

	本项目	xkiranj/ollama-vision-mcp	MikeyBeez/mcp-vision
图片识别	✅	✅	✅
视频分析	✅ 唯一！	❌	❌
音频转录	✅ 唯一！	❌	❌
中文模型	✅ MiniCPM 原生中文	❌ llava 英文为主	❌
安装	1 文件，丢进去就行	Python venv + pip	macOS 限定
Windows	✅	⚠️	❌
自动清理	✅ 分析完自动删视频	❌	❌

🚀 快速开始

1. 安装 Ollama 并拉取模型

ollama pull minicpm-v4.6

2. 安装依赖

npm install @ffmpeg-installer/ffmpeg @modelcontextprotocol/sdk
pip install faster-whisper

3. 配置 AI Agent

Claude Desktop (claude_desktop_config.json)：

{
  "mcpServers": {
    "vision": {
      "command": "node",
      "args": ["/path/to/vision_mcp_server.mjs"]
    }
  }
}

Reasonix (reasonix.toml)：

[[plugins]]
name    = "vision"
command = "node"
args    = ["/path/to/vision_mcp_server.mjs"]

重启客户端即可使用。

🛠️ 工具

describe_image — 描述图片

输入: 图片文件的绝对路径
输出: 中文图片内容描述

describe_video — 分析视频

输入: 视频文件路径 或 HTTP/HTTPS URL, interval (可选)
输出: 时间线帧描述 + AI 总结 + 自动清理

describe_audio — 音频转文字 🆕

输入: 视频/音频文件路径 或 URL
输出: 音频元数据 + faster-whisper 语音转文字

📊 视频分析流程

URL/文件 → 下载 → FFmpeg 提取关键帧 → MiniCPM-V 逐帧分析 → 汇总总结 → 自动清理

🔧 依赖

• Ollama + MiniCPM-V 4.6
• FFmpeg via @ffmpeg-installer/ffmpeg
• faster-whisper for audio transcription
• @modelcontextprotocol/sdk

🌍 适用场景

• 📸 让 DeepSeek 等纯文本模型看懂截图和照片
• 🎬 快速了解视频内容，不用逐秒观看
• 🎵 提取视频中的语音并转文字
• 📱 分析抖音/B站等平台视频
• 🔒 敏感图片/视频本地处理，数据不出机
• 🇨🇳 中文内容理解（MiniCPM 原生中文）

📄 许可证

MIT License

🙏 致谢

• MiniCPM-V · Ollama · faster-whisper · MCP