Webgrab
БесплатноНе проверенMCP server for web content downloading supporting videos, articles, danmaku, comments, and copy protection bypass across 1700+ sites.
Описание
MCP server for web content downloading supporting videos, articles, danmaku, comments, and copy protection bypass across 1700+ sites.
README
全能的网页内容下载工具:视频、文章、弹幕、评论、反复制保护绕过。
English | 中文
下载安装
无需安装 Python,开箱即用!
| 平台 | 下载 |
|---|---|
| Windows | WebGrab-Windows-x64.exe |
| macOS (Apple Silicon) | WebGrab-macOS-arm64.tar.gz |
| Linux | WebGrab-Linux-x64.tar.gz |
下载后直接运行即可。也可以用 pip 安装:pip install webgrab
功能特色
| 功能 | CLI | Web UI | MCP | Cursor Skill | OpenClaw |
|---|---|---|---|---|---|
| YouTube/通用视频下载(1700+网站) | ✅ | ✅ | ✅ | ✅ | ✅ |
| B站视频下载 | ✅ | ✅ | ✅ | ✅ | ✅ |
| B站弹幕下载(XML/JSON/CSV/ASS) | ✅ | ✅ | ✅ | ✅ | ✅ |
| B站评论下载(含楼中楼) | ✅ | ✅ | ✅ | ✅ | ✅ |
| 抖音视频下载(无水印) | ✅ | ✅ | ✅ | ✅ | ✅ |
| 抖音评论下载 | ✅ | ✅ | ✅ | ✅ | ✅ |
| 网页文章下载(Markdown/HTML) | ✅ | ✅ | ✅ | ✅ | ✅ |
| 反复制保护绕过 | ✅ | ✅ | ✅ | ✅ | ✅ |
| 网页转PDF | ✅ | ✅ | ✅ | - | - |
| m3u8流媒体下载 | ✅ | ✅ | ✅ | ✅ | ✅ |
| 批量下载 | ✅ | ✅ | ✅ | - | - |
快速开始
安装
pip install webgrab
命令行使用
# 下载视频(支持B站、YouTube、抖音等1700+网站)
webgrab video "https://www.bilibili.com/video/BV1xx411c7mD"
# 下载B站弹幕(支持 json/csv/xml/ass 格式)
webgrab danmaku "https://www.bilibili.com/video/BV1xx411c7mD" --format ass
# 下载B站评论(含楼中楼回复)
webgrab comments "https://www.bilibili.com/video/BV1xx411c7mD" --replies --limit 200
# 下载抖音评论
webgrab comments "https://www.douyin.com/video/123456" --limit 100
# 下载文章为 Markdown
webgrab article "https://example.com/article" --format markdown
# 绕过复制保护
webgrab bypass "https://protected-site.com/article"
# 批量下载
webgrab batch "url1" "url2" "url3"
# 查看视频信息(不下载)
webgrab info "https://www.youtube.com/watch?v=xxx"
MCP 服务器(AI 助手集成)
WebGrab 提供 MCP 服务器,一次配置即可在所有主流 AI 平台使用。
安装
pip install webgrab[mcp]
配置(所有平台通用)
以下配置适用于 Claude Desktop / Cursor / Windsurf / OpenClaw / VS Code Copilot:
{
"mcpServers": {
"webgrab": {
"command": "webgrab-mcp",
"env": {
"BILIBILI_COOKIE": "可选-用于高画质",
"DOUYIN_COOKIE": "可选-用于评论采集"
}
}
}
}
提供的工具
| 工具 | 功能 |
|---|---|
download_video |
下载视频(支持画质选择) |
download_audio |
提取音频 |
download_article |
下载文章(Markdown/HTML/文本) |
extract_webpage |
提取网页内容(不保存文件) |
bypass_copy_protection |
绕过复制保护 |
get_bilibili_danmaku |
获取B站弹幕 |
get_bilibili_comments |
获取B站评论(含楼中楼) |
get_douyin_video |
下载抖音视频(无水印) |
get_douyin_comments |
获取抖音评论 |
get_video_info |
获取视频元数据 |
batch_download |
批量下载 |
download_stream |
下载m3u8流媒体 |
Web 服务
Docker 一键部署
git clone https://github.com/bcefghj/webgrab.git
cd webgrab
docker-compose up -d
本地开发
pip install webgrab[server]
uvicorn server.main:app --reload --host 0.0.0.0 --port 8000
油猴脚本
反复制脚本
安装 scripts/anti_copy.user.js 到 Tampermonkey,自动解除所有网页的复制限制。
视频嗅探脚本
安装 scripts/video_sniffer.user.js 到 Tampermonkey,自动检测页面中的视频/音频资源。
部署到服务器
详细的小白级部署教程请参考 部署指南,涵盖:
- 阿里云 ECS(99元/年,含手把手教程)
- Docker 部署
- Render 免费部署
- Fly.io 部署
- GitHub Actions CI/CD
开发
git clone https://github.com/bcefghj/webgrab.git
cd webgrab
pip install -e ".[all]"
webgrab --help
许可证
MIT
Установка Webgrab
У этого сервера нет опубликованного пакета — он собирается из исходников. Открой репозиторий и следуй инструкции в README.
▸ github.com/bcefghj/webgrabFAQ
Webgrab MCP бесплатный?
Да, Webgrab MCP бесплатный — установка в пару кликов через Unyly без оплаты.
Нужен ли API-ключ для Webgrab?
Нет, Webgrab работает без API-ключей и переменных окружения.
Webgrab — hosted или self-hosted?
Self-hosted: сервер запускается локально на твоей машине командой из раздела установки.
Как установить Webgrab в Claude Desktop, Claude Code или Cursor?
Открой Webgrab на unyly.org, выбери вкладку своего клиента (Claude Desktop, Claude Code, Cursor) и нажми Install — конфиг сгенерируется автоматически, без правки JSON.
Похожие MCP
GitHub
PRs, issues, code search, CI status
автор: GitHubFilesystem
Secure file operations with configurable access controls.
Memory
Knowledge graph-based persistent memory system.
Template MCP Server
A CLI tool to create a new Model Context Protocol server project with TypeScript support, dual transport options, and an extensible structure
автор: mcpdotdirectCompare Webgrab with
Не уверен что выбрать?
Найди свой стек за 60 секунд
Автор?
Embed-бейдж для README
Похожее
Все в категории development
