「サイトマップ」と「robots.txt」——この2つはSEOの設定でよく出てくるものの、「なんとなく設定した」「とりあえず入れてある」という状態のサイトをよく見かけます。

どちらもGoogleにサイト情報を伝えるための仕組みですが、役割はまったく異なります。特にrobots.txtの設定ミスは発見しにくく、気づかないうちに重要なページがGoogleからブロックされていたというケースもあります。

XMLサイトマップとは？

XMLサイトマップとは、サイト内のページ一覧をGoogleに伝えるためのファイルです。sitemap.xml という名前で、サイトのルートディレクトリに設置します。

https://example.com/sitemap.xml

XMLサイトマップの役割

Googleのクローラーはリンクをたどってページを発見しますが、すべてのページを見つけてくれるとは限りません。特に：

新しく作ったページ
他のページからリンクされていないページ
大量のページを持つサイト

こうした場合にサイトマップがあると、クローラーがページを確実に発見しやすくなります。

XMLサイトマップの基本構造

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/</loc>
    <lastmod>2026-03-26</lastmod>
    <changefreq>weekly</changefreq>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://example.com/blog/seo-basics</loc>
    <lastmod>2026-03-26</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.7</priority>
  </url>
</urlset>

Google Search Consoleへの送信

サイトマップを作成したら、Google Search Consoleから送信しましょう。左メニューの「サイトマップ」から sitemap.xml を入力して送信するだけです。これによりGoogleがサイトマップを定期的に読みにきてくれます。

robots.txtとは？

robots.txtとは、Googleのクローラーに「どのページをクロールしてよいか・してはいけないか」を伝えるためのテキストファイルです。サイトのルートに設置します。

https://example.com/robots.txt

robots.txtの基本構文

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

User-agent: * → すべてのクローラーを対象にする
Allow: / → サイト全体のクロールを許可
Disallow: /admin/ → /admin/ 以下はクロール禁止
Sitemap: → サイトマップの場所を伝える

クロールを禁止すべきページの例

ページの種類	理由
管理画面（/admin/）	ユーザーに見せる必要がない
ログイン後のページ	検索結果に出ても意味がない
テスト・開発中のページ	品質の低いページを見せない
重複コンテンツのページ	評価が分散するのを防ぐ

よくある間違い

robots.txtで重要なページをブロックしてしまう

robots.txtの設定ミスで、インデックスさせたいページをクロール禁止にしてしまうケースがあります。設定後は必ず意図したページがブロックされていないか確認しましょう。

robots.txtをnoindexの代わりに使う

robots.txtはクロールを禁止するものであり、インデックスを禁止するものではありません。検索結果に表示させたくないページには noindex タグを使う必要があります。

目的	正しい方法
クロールさせない	robots.txtでDisallow
インデックスさせない	ページにnoindexタグを設定
両方したい	両方の設定が必要

サイトマップに低品質なページを含める

下書きページ、テストページ、内容の薄いページはサイトマップから除外しましょう。Googleに「クロールする価値のないページが多い」と判断されると、重要なページのクロール頻度が下がることがあります。

合わせて読みたい

canonicalタグとnoindexの使い分け：robots.txtとnoindexの違いはここでも触れています。この記事と合わせて読むと整理されます
サイトが検索結果に表示されない原因：robots.txtの設定ミスで検索結果から消えてしまう原因と対処法を解説しています
Google Search Consoleの使い方：サイトマップをSearch Consoleに送信する手順を詳しく解説しています

まとめ

XMLサイトマップ：Googleにページ一覧を伝えるファイル。Search Consoleから送信する
robots.txt：Googleのクローラーにクロールの可否を伝えるファイル
robots.txtはnoindexの代わりにはならない
サイトマップには品質の高いページだけを含める
robots.txtの設定ミスで重要なページをブロックしていないか確認する

サイトマップとrobots.txtは一度設定したら忘れがちですが、サイトの構成が変わったときには見直しが必要です。特に新しいページカテゴリを追加したときは、サイトマップの更新とrobots.txtの設定を確認するようにしましょう。

SEO診断ツール

XMLサイトマップとrobots.txtとは？SEOへの役割と設定方法