提交您的產品 
Ai應用
Ai資訊
AI生圖
AI生視頻
FastbuildAICrawl4LLM：專為LLM預訓練準備的網(wǎng)絡爬蟲工具
Crawl4LLM是什么？
Crawl4LLM是清華大學和卡內基梅隆大學一起開發(fā)的，專門給大型語言模型（LLM）預訓練用的網(wǎng)絡爬蟲工具。它能智能判斷網(wǎng)頁對LLM預訓練的作用，先抓那些有價值的網(wǎng)頁，少抓沒用的，僅抓取了21%的網(wǎng)絡數(shù)據(jù)，就與之前全部抓取的數(shù)據(jù)性能相同，這樣數(shù)據(jù)質量就提高了，爬取速度也快了不少。
項目情況：
來源：清華和卡內基梅隆大學合作開源的。
目標：解決傳統(tǒng)爬蟲抓取效率低、數(shù)據(jù)質量差的問題，讓LLM預訓練更高效。
Crawl4LLM的主要功能：
智能選網(wǎng)頁
智能評估：能自動看網(wǎng)頁對LLM預訓練有沒有用，先抓有用的。
效率高：比傳統(tǒng)爬蟲抓的網(wǎng)頁少多了，效果卻差不多甚至更好，效率差不多能提高5倍。
多種爬取辦法
智能模式：主要的模式，自動挑有價值的網(wǎng)頁抓。
隨機爬取模式：網(wǎng)頁內容不用太精確選的時候能用。
按鏈接數(shù)量爬取模式：要抓大量數(shù)據(jù)的時候可以用。
狀態(tài)管理和恢復
定期保存：能定期存爬蟲的狀態(tài)，要是中途停了，能接著上次的地方抓，不會丟數(shù)據(jù)。
數(shù)據(jù)可視化工具
直觀查看：有數(shù)據(jù)瀏覽工具，能看抓的數(shù)據(jù)，隨時了解進度和效果。
兼容性和集成
和DCLM框架對接：能提取文檔ID、拿文檔內容，還能和深度學習模型（DCLM）預訓練框架無縫連接，直接給模型訓練用。
Crawl4LLM的技術細節(jié)：
模塊架構：有爬蟲調度器、網(wǎng)頁解析器、數(shù)據(jù)存儲器這些模塊。
錯誤處理：有很強的糾錯和自動重試能力，保證數(shù)據(jù)采集穩(wěn)定。
數(shù)據(jù)質量管理：能去重和清洗數(shù)據(jù)，讓數(shù)據(jù)質量好又一致。
Crawl4LLM的應用場景：
LLM預訓練：給大規(guī)模LLM預訓練提供好數(shù)據(jù)。
數(shù)據(jù)集構建：自己做數(shù)據(jù)集。
搜索引擎優(yōu)化：分析改進SEO策略。
網(wǎng)絡監(jiān)測與分析：實時看網(wǎng)絡情況。
寫在網(wǎng)絡監(jiān)測與分析：做情感分析和其他數(shù)據(jù)分析。
Crawl4LLM的使用方法：
1. 準備工作：
獲取ClueWeb22數(shù)據(jù)集。
創(chuàng)建Python虛擬環(huán)境并安裝必要的庫（numpy, tqdm, fasttext, pyyaml, wandb）。
下載DCLM FastText分類器并放置在指定目錄。
2. 創(chuàng)建配置文件：在configs/目錄下創(chuàng)建一個YAML配置文件，指定數(shù)據(jù)集路徑、種子文檔列表、輸出目錄、每次迭代選擇的文檔數(shù)量、工作線程數(shù)、爬取狀態(tài)保存頻率、最大爬取文檔數(shù)量、文檔選擇方法、排序方式、是否啟用wandb日志記錄等參數(shù)。
3. 啟動爬蟲：在命令行中運行python crawl.py crawl --config
Crawl4LLM作為一個專業(yè)性強的爬蟲系統(tǒng)，很適合用來給大語言模型做預訓練。它先進的算法和技術方面的特點，能讓抓取數(shù)據(jù)的效率和質量都有明顯提升，這樣就能讓大語言模型的發(fā)展更快一些。
GitHub倉庫：https://github.com/cxcscmu/crawl4llm
論文地址：https://arxiv.org/pdf/2502.13347
