Firecrawl MCP Server:具備網頁抓取、爬取、搜索、內容提取等多種功能
Firecrawl MCP Server是什么?
Firecrawl MCP Server是一個與 Firecrawl 集成的MCP服務器,具備網頁抓取、爬取、搜索、內容提取等功能,比如說從購物網站提取商品價格,以及做深度研究等。支持云環境和自托管實例,可通過環境變量配置重試機制、信用監控等參數,提供多種ai工具及詳細日志與錯誤處理,且方便在不同開發環境中安裝使用。
firecrawl-mcp-server功能特性
多樣化的網頁處理:支持網頁抓取、爬取、搜索、內容提取、深度研究以及批量抓取。
JS 渲染支持:可以處理需要 JavaScript 渲染的網頁。
URL 發現與爬?。耗軌蜃詣影l現和爬取網頁中的 URL。
網頁搜索與內容提取:支持在網頁上進行搜索并提取相關內容。
自動重試機制:采用指數退避算法進行自動重試,確保數據獲取的穩定性。
高效的批量處理:內置速率限制,提高批量處理的效率。
信用使用監控:對云 API 的信用使用情況進行監控。
全面的日志系統:提供詳細的日志記錄,方便調試和監控。
多環境支持:支持云環境和自托管的 Firecrawl 實例。
多視圖支持:支持移動和桌面視口。
智能內容過濾:可以通過標簽包含或排除進行智能內容過濾。
SSE 支持:支持服務器發送事件(Server-Sent Events)。
firecrawl-mcp-server安裝與運行
使用 npx 運行
env FIRECRAWL_API_KEY=fc-YOUR_API_KEY npx -y firecrawl-mcp
手動安裝
npm install -g firecrawl-mcp
在 Cursor 中運行
根據 Cursor 的不同版本,按照相應的步驟進行配置,需要在配置中替換 your-api-key 為你的 Firecrawl API 密鑰。
在 Windsurf 中運行
將特定的配置添加到 ./codeium/windsurf/model_config.json 文件中,并替換 YOUR_API_KEY 為你的 Firecrawl API 密鑰。
項目鏈接
https://github.com/mendableai/firecrawl-mcp-server