polite-crawler
A polite crawler for agents: obeys robots.txt, fetches each page once, finds and verifies quotes.
| 項目 | 內容 |
|---|---|
| 名稱 | io.github.mark1russell7/polite-crawler |
| 版本 | 0.1.0 |
| 分類 | 瀏覽器與爬蟲開發工具AI 與模型 |
| 遠端網址 | — |
| 安裝套件 | npm:polite-crawler(stdio) |
| 原始碼 | https://github.com/mark1russell7/crawler |
| 網站 | https://mark1russell7.github.io/crawler/ |
| 最後更新 | 2026-10-13T18:14:56.519486Z |