Sitemcp:將網站變成MCP服務器的一個開源項目
siteMCP是什么?
sitemcp能夠抓取網站內容并緩存,支持使用micromatch指定抓取的頁面路徑以及 CSS 選擇器來精細化選擇頁面內容,并把抓取的內容用作MCP服務器的數據源,也就是說它把靜態網站變成了一個可交互的知識庫,配合MCP客戶端進行提問,獲取更精準的信息。
sitemcp功能
內容抓取與緩存:可以抓取指定網站的全部或部分頁面,并將其緩存起來。支持使用 micromatch 來指定抓取的頁面路徑,例如:
sitemcp https://vite.dev -m "/blog/**" -m "/guide/**"
內容選擇器:在某些頁面中,mozilla/readability 提取的內容可能不夠準確,此時可以通過指定 CSS 選擇器來精確提取可讀內容:
sitemcp https://vite.dev --content-selector ".content"
與 MCP 客戶端配合使用:sitemcp 可以與 MCP 客戶端(如 Claude Desktop)配合使用。通過配置文件,可以在客戶端中啟動 sitemcp 服務器。例如:
{ "mcpServers": { "daisy-ui": { "command": "npx", "args": [ "-y", "sitemcp", "https://daisyui.com", "-m", "/components/**", ] } } }
緩存機制:默認會在 ~/.cache/sitemcp 中緩存抓取的頁面。如果不需要緩存,可以通過 --no-cache 標志來禁用。
sitemcp應用
sitemcp 等于是把靜態網站變成了一個可交互的知識庫,配合 MCP 客戶端進行提問,解鎖了更豐富的應用場景。例如,用戶可以將抓取的網站內容作為知識庫,通過 MCP 客戶端進行提問,獲取更精準的信息。
sitemcp使用教程
安裝:sitemcp 支持多種安裝方式。可以使用以下命令進行一次性安裝:
bunx sitemcp npx sitemcp pnpx sitemcp
或者,也可以將其全局安裝:
bun i -g sitemcp npm i -g sitemcp pnpm i -g sitemcp
使用:使用時只需指定目標網站的 URL:
sitemcp https://daisyui.com
還可以通過 --concurrency 參數指定并發數,以提高抓取效率:
sitemcp https://daisyui.com --concurrency 10
github地址:https://github.com/ryoppippi/sitemcp