Robotstxt Ai vs Fetch
Сравнение двух MCP-серверов по фактам. Выбери подходящий для Claude Desktop, Claude Code или Cursor.
Analyze and generate robots.txt files with AI crawler awareness. Fetch any site's robots.txt, detect which AI bots (GPTBot, ClaudeBot, PerplexityBot, Google-Ext
Сравнение
| Параметр | Robotstxt Ai | Fetch |
|---|---|---|
| Цена | Free | Free |
| Установки | — | 1 |
| Рейтинг | — | — |
| Проверен | — | |
| Hosted | Hosted | — |
| Инструменты | — | — |
| Категория | ai | ai |
| Автор | sharozdawa | Community |
| Репозиторий | sharozdawa/robotstxt-ai | modelcontextprotocol/servers |
Когда выбрать Robotstxt Ai
Analyze and generate robots.txt files with AI crawler awareness. Fetch any site's robots.txt, detect which AI bots (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) are blocked or allowed, and generate optimized robots.txt with toggle controls for 20+ AI crawlers.
Когда выбрать Fetch
Web content fetching and conversion for efficient LLM usage.
Ищешь что-то другое? Весь каталог MCP или в тренде на неделе.