Journal
Tagged cloudflare.
2 journal entries tagged cloudflare, newest first.
- robots.txtを覆すCDN、AIクローラーを断る層の探し方アムステルダムの自転車店サイトのうち到達できた79件で、19件がブラウザには200を返しながらAIクローラーを拒否し、多くは自分のrobots.txtと食い違っていました。CDN、Webサーバー、プラグインのどれが断っているかの見分け方と直し方。6 min read
- Your CDN can overrule robots.txt: finding the layer that refuses AI crawlersIn 79 reachable Amsterdam bike-shop sites, 19 refused at least one AI crawler while a browser got 200, mostly against their own robots.txt. How to tell which layer refused (CDN, web server or plugin), and the fix for each.First published on dev.to · 8 min read