Apache Nutch是最知名的開放原始碼網路爬蟲及搜尋引擎專案,在 2011/11/26 發表了新版,主要由幾項更新
- 允許Parsers宣告之多種MIME型態 (allowing Parsers to declare support for multiple MIME types)
- 可以設定抓取網頁的排隊深度 (configurable Fetcher Queue depth)
- 抓取網頁速度提升 (Fetcher speed improvements)
- 與Tika專案更緊密的結合( tigther Tika integration)
- 支援在Solr專案使用HTTP驗證 (support for HTTP auth in Solr indexing)
- 其他更新請參考這裡
詳細資料請參考官網 http://nutch.apache.org/
沒有留言:
張貼留言