Journal
Tagged geo.
4 journal entries tagged geo, newest first.
- 日本のサイト248件中23件、robots.txtは許可でもAIクローラーには403Trancoの日本のサイト300件を2026-10-07に確認しました。普通に読めた248件のうち23件で、robots.txtが許可しているAIクローラーのUser-Agentに403が返りました。クローラー別の件数、断り方の3つの形、分野ごとの例、確かめ方と限界。First published on dev.to · 4 min read
- robots.txtはGPTBotを許可、サーバーは403を返す日本の観光系の小規模サイトのうち到達できた23件(無作為抽出ではありません)で、6件がrobots.txtでは許可しているGPTBotやClaudeBotをサーバーで拒否していました。curlで1分で確かめる方法と、この確認でわからないこと。3 min read
- Sample GEO audit: a small guesthouse near Kanazawa Station, and why AI answers skip its own siteAn anonymised audit of one small guesthouse, made on 2026-10-04 from public pages only: AI crawlers refused with 403 while robots.txt allows them, an almost empty English page, no structured data, and answers that cite only booking platforms.First published on GEO Mini Audit · 3 min read
- Your robots.txt allows GPTBot. Your server may still answer 403.In a convenience sample of 23 reachable Japanese tourism sites, 6 refused GPTBot or ClaudeBot at the server while their robots.txt welcomed them. How to test your own site with curl in under a minute, and what the check cannot tell you.First published on dev.to · 4 min read