Qwen Omni

让你的AI助手秒变多模态超人！图片能看、声音能听、还能开口说话！

Python Version FastMCP License Github

🌐 语言: 中文 | English

🚀 一句话介绍：把阿里云通义千问的全模态超能力接入到你的AI工具链中，让Claude、Cursor等AI助手瞬间拥有看图说话、听音辨物的神技！

🎪 这玩意儿有啥用？

想象一下，你的AI助手突然：

• 👀 能看懂图片：「这张图里有只可爱的猫咪在阳光下打盹」
• 👂 能听懂语音：「刚才那段录音是小明在唱《两只老虎》，跑调了」
• 🎵 能开口说话：用17种不同音色跟你聊天，从甜美小姐姐到磁性大叔应有尽有
• 🎬 能看懂视频：「这个短视频讲的是做蛋炒饭的教程，看起来很香」

这就是 Qwen-Omni MCP Server 的魔力！基于 Model Context Protocol (MCP)，让任何支持MCP的AI工具都能拥有多模态超能力。

⭐ 求求了，给个Star吧！

如果这个项目对你有帮助，请务必点个⭐！你的每一个Star都是我们继续更新的动力。

后续计划：

• 🔥 更多通义千问模型接入（Qwen-VL、Qwen-Audio等）
• 🛠️ 更多实用工具（文档理解、代码分析等）
• 🎨 更酷炫的功能（实时语音对话、图像生成等）

🚀 30秒快速体验

# 1. 克隆项目
git clone https://github.com/zk-b612/qwen-omni-mcp.git
cd qwen-omni-mcp

# 2. 一键启动（自动处理所有配置）
python quickstart.py

# 3. 按提示配置你的阿里云API Key
# 4. 享受多模态AI的乐趣！

就这么简单！连虚拟环境都不用你管，脚本会自动搞定一切。

🎯 核心功能一览

功能	说明	示例
🖼️ 图像理解	上传图片，AI帮你看图说话	"这张图片里的小狗在做什么？"
🎵 音频分析	上传音频，AI帮你听音识字	"这段音频的内容是什么？"
🎬 视频理解	上传视频，AI帮你看懂剧情	"这个视频在讲什么故事？"
🗣️ 语音合成	文字转语音，17种音色任选	让AI用不同声音朗读文本
💭 思考模式	开启思考模式，看AI的思维过程	像GPT-o1一样展示推理步骤

🎭 音色大赏

我们支持17种音色，总有一款适合你：

音色	特色	适合场景
🌸 芊悦(Cherry)	阳光积极小姐姐	日常聊天、客服
🌅 晨煦(Ethan)	温暖大哥哥	播报、讲解
🎨 不吃鱼(Nofish)	不会翘舌音的设计师	轻松幽默
🎬 詹妮弗(Jennifer)	电影质感美语	正式场合
🎪 甜茶(Ryan)	戏感炸裂	有趣对话
👑 凯特琳娜(Katerina)	御姐音色	优雅场景
📚 以利亚(Elias)	学者风范	知识讲解
🏃 佳达(Jada)	沪上阿姐	活泼对话
🏮 迪伦(Dylan)	北京胡同少年	京味儿聊天
🌶️ 阳光(Sunny)	川妹子	甜美可爱

🛠️ 配置指南

1. 获取API密钥

1. 访问 阿里云百炼平台
2. 创建应用并获取API Key
3. 复制 .env.example 为 .env
4. 填入你的API Key：

   DASHSCOPE_API_KEY=sk-xxxxxxxxxxxxxxxx
   

2. 接入AI工具

Claude Desktop 配置

编辑配置文件 ~/Library/Application Support/Claude/claude_desktop_config.json：

{
  "mcpServers": {
    "qwen-omni": {
      "command": "python",
      "args": ["/你的项目路径/qwen-omni-mcp/src/qwen_omni_mcp/server.py"],
      "env": {
        "DASHSCOPE_API_KEY": "你的API密钥"
      }
    }
  }
}

iFlow 配置

如果你在使用 iFlow，可以用一行命令轻松添加：

# 一键添加到 iFlow（记得替换成你的实际路径和API密钥）
iflow mcp add-json 'qwen-omni' '{
  "command": "python",
  "args": [
    "/Users/yzk/qwen-omni-mcp/src/qwen_omni_mcp/server.py"
  ],
  "env": {
    "DASHSCOPE_API_KEY": "sk-你的真实密钥"
  }
}'

💡 小贴士：路径记得换成你的实际项目路径哦！

Qwen Code CLI 配置

如果你在用 Qwen Code，配置同样简单！

全局配置 (推荐)： 编辑 ~/.qwen/settings.json：

{
  "mcpServers": {
    "qwen-omni": {
      "command": "python",
      "args": ["/Users/yzk/qwen-omni-mcp/src/qwen_omni_mcp/server.py"],
      "env": {
        "DASHSCOPE_API_KEY": "sk-你的真实密钥"
      },
      "cwd": "/Users/yzk/qwen-omni-mcp",
      "timeout": 30000,
      "trust": true
    }
  }
}

项目级配置： 在你的项目根目录创建 .qwen/settings.json：

{
  "mcpServers": {
    "qwen-omni": {
      "command": "python",
      "args": ["../qwen-omni-mcp/src/qwen_omni_mcp/server.py"],
      "env": {
        "DASHSCOPE_API_KEY": "$DASHSCOPE_API_KEY"
      },
      "trust": true
    }
  }
}

🎯 配置小技巧：

• trust: true 让 Qwen Code 信任这个 MCP 服务
• timeout: 30000 给多模态处理留足时间
• 用 $DASHSCOPE_API_KEY 可以引用环境变量，更安全

Cursor IDE 配置

在设置中添加MCP服务器配置，具体步骤见项目Wiki。

🎮 使用示例

图片分析

用户：analyze_image https://img.alicdn.com/imgextra/i2/O1CN01ktT8451iQutqReELT_!!6000000004408-0-tps-689-487.jpg 这张图描述了什么？
AI：嗯，这幅图啊，是在海滩上有个女人和一只狗在玩呢。背景是海浪拍打着沙滩，天空有点发白，应该是日出或者日落的时候吧。你要是还有啥想知道的，尽管问哈...

语音合成

用户：text_to_speech "大家好，我是用AI合成的声音！" "Cherry"
AI：🔊 语音文件已生成，使用芊悦音色播放

多模态对话

用户：上传一张美食图片
AI：这看起来像是一道精致的意大利面，有新鲜的番茄、罗勒叶和帕尔马奶酪...要我用甜美的声音给你介绍制作方法吗？

🤝 加入我们

项目现状

• ✅ 基础多模态功能完整
• ✅ 17种音色支持
• ✅ FastMCP 2.0 框架
• ✅ 一键启动脚本
• ✅ 详细文档

即将到来

• 🔜 Qwen-VL 专业视觉模型
• 🔜 Qwen-Audio 专业音频模型
• 🔜 实时语音对话
• 🔜 更多实用工具
• 🔜 Docker 镜像

贡献方式

1. 🌟 给个Star - 你的支持是我最大的动力
2. 🐛 反馈Bug - 在Issues里告诉我问题
3. 💡 提建议 - 想要什么功能？直接提
4. 🔧 提交PR - 直接参与代码贡献

📊 技术架构

graph TD
    A[AI工具客户端] --> B[MCP协议]
    B --> C[FastMCP服务器]
    C --> D[Qwen-Omni MCP Server]
    D --> E[阿里云通义千问API]
    E --> F[多模态AI模型]

🙏 致谢

• 阿里云通义千问 - 提供强大的多模态AI能力
• FastMCP - 优秀的MCP框架
• Model Context Protocol - 标准化的AI工具协议

📄 许可证

MIT License - 自由使用，商用友好

---