# mokumoku.town robots.txt (#282) # # 設計方針: # - `/` `/about` `/privacy` `/terms` `/tokushoho` `/corporate` `/contact` `/en/...` ── LP / 法務系。 # 全 user-agent 許可。 AdsBot は固有 stanza を明示する (default の `User-agent: *` を継承しないため)。 # - `/play/*` ── React SPA (game)。 SSR が無くテキストもほぼ無いので AdsBot / Search Engine 全てに `Disallow`。 # これで crawler が `/play` に降りても「価値の低いページ」 評価が LP に伝染しない。 # - sitemap は LP build (@astrojs/sitemap) が `/sitemap-index.xml` を生成する。 User-agent: * Disallow: /play/ User-agent: Mediapartners-Google Disallow: /play/ User-agent: AdsBot-Google Disallow: /play/ User-agent: AdsBot-Google-Mobile Disallow: /play/ Sitemap: https://mokumoku.town/sitemap-index.xml