どのようにrobots.txtを変更すれば、検索エンジンにサイトへのインデックス付けを許可できますか。
環境：
サイト・インデックス
解決策：
Oracle B2C Serviceでホストされているサイトでは、ホスティング・グループによって各インタフェース上にrobots.txtがインストールされています。robots.txtファイルを使用すると、Oracle B2C Serviceサイトに対して実行できるランダムなスパイダ検索を回避できます。このファイルは、次に該当するURLで表示できます。
http(s)://<interface_name>.custhelp.com/robots.txt または
http(s)://vhostname/robots.txt
ホストされているサイトで使用されるデフォルトのファイルには、次の2行が含まれています。
User-agent: *
Disallow: /
デフォルトの許可ファイルには、次のものが含まれます。
User-agent: Googlebot # Google # ADDED BY HMS Disallow: # ADDED BY HMS User-agent: MSNBot # MSN # ADDED BY HMS Disallow: # ADDED BY HMS Crawl-delay: 0.2 # ADDED BY HMS User-agent: Slurp # Yahoo! # ADDED BY HMS Disallow: # ADDED BY HMS Crawl-delay: 0.2 # ADDED BY HMS User-agent: TEOMA # Ask.com # ADDED BY HMS Disallow: # ADDED BY HMS User-agent: bingbot # Bing # ADDED BY HMS Disallow: # ADDED BY HMS User-agent: * # ADDED BY HMS Disallow: / # ADDED BY HMS
注意: Robots.txtの内容を変更する場合は、次の要件に従ってください。
- デフォルトのrobots.txtに含まれる内容については変更、削除はできません。（追加のみ可能）
- 追加した内容は必ず行の末尾に「#CUSTOM」と記述する必要があります。
- デフォルトの内容ではdisallowを主体に定義していますので、追記する内容についてもdisallow形式での追加を推奨します。
ロボット・ファイルを構成するためのいくつかの標準ルールが用意されています。robots.txtファイルの構築、変更、および保守の詳細については、http://www.robotstxt.orgを参照してください。
注意: コミュニティ・サイトでは、robots.txtファイルを変更できません。
ほとんどの検索エンジンでは、これらのファイルを検索してそれに従うようにスパイダがコーディングされています。ただし、(特に、Eメール・ハーベスタは)すべてのユーザーがコーディングしているわけではないため、robots.txtファイルが存在していても、スパイダでサイトを検索できないとはかぎりません。
サイトへのインデックス付けの許可:
ホストされているカスタマは、サイトへのインデックス付けが許可されるようにrobots.txtファイルを変更するリクエストを送信できます。これにより、Google、Yahoo、Bingなどの検索エンジンで、サイトにインデックスを付けることができます。
これらの検索エンジンの多くには、サイトにインデックスを付ける様々なロボット・エージェントが備わっています。一部は標準(無料)ですが、その他はコンテンツ送信が必要なサービスや有料のサービスです。
主要な各検索エンジンには、Webサイト上にロボットの構成パラメータ専用のセクションがあります。また、サイトの様々な部分にインデックスを付け、その他を除外するような除外パラメータもあります。
正規のロボットにはすべて、適切な構成のために専用のオンライン・コンテンツがあるため、robots.txtファイルの更新方法を決定できます。一般的な例について次にいくつか示しますが、この他の検索エンジンもいくつかあります。
Google:
http://www.google.com/webmasters/index.html
http://www.google.com/services
http://www.google.com/webmasters/bot.html
Yahoo:
http://help.yahoo.com/l/us/yahoo/helpcentral/
http://help.yahoo.com/kb/index?locale=en_US&page=topics&y=PROD_SRCH&topics=TOP_WEBMSTR
http://help.yahoo.com/l/us/yahoo/privacy/access/indexing-13.html
BING:
http://www.bing.com/webmaster/help/fetch-as-bingbot-fe18fa0d
変更を行う前に:：
サイトにインデックスを付けることを検索エンジンに許可するには、そのエンジンのロボット構成に関する適切な情報を再確認することが重要です。次に、インデックスを付ける対象に従って、robots.txtファイルのコンテンツを決定します。 KB_SITEMAP_ENABLE環境設定を「yes」（有効）に設定すると、共通の検索エンジンのWebボットがrobots.txtファイルに追加されます。
次に、robots.txtファイルの変更に関する詳細で正確な変更依頼をそえてテクニカルサポートへお問い合わせを提出します。robots.txtファイルを変更する場合、そのコンテンツを定義することはお客様の責任範囲となります。さらに、複数のインタフェースがある場合は、各インタフェースに独自のファイルが含まれているため、必ず、変更対象の特定のインタフェースおよびrobots.txtファイルを指定してください。
- 検索エンジンでは、該当するエントリが見つかるまでエントリのみが参照されることに注意してください。 したがって、robots.txtファイルの最初のエントリがデフォルトの場合、すべての検索エンジンがサイトの索引を作成し、次のエントリが何であるかに関係なく次のエントリを無視できます。
- また、システムは、robots.txtファイルで指定したものより下にエントリを追加することがありますが、最初のエントリが変更されていないかぎり、索引付けに影響しません。
サイトマップ:
検索エンジンでより簡単にサイトをカタログ化できるように、サイトマップ機能を有効にできます。サイトマップの有効化の詳細については、Answer ID7528 : Oracle B2C Serviceアプリケーションでのサイトマップの使用 を参照してください。
追加情報は、現在ご使用バージョンのオンラインドキュメンテーションをご参照ください。Oracle B2C Service オンライン・ドキュメンテーション又はマニュアルにアクセスするには、Oracle B2C Serviceプロダクトのドキュメントをご覧ください。
セッションを生成するものについて疑問があり、サイトで不正確なセッション課金を防ぐ方法がある場合は、「セッションの利用状況の把握（PDF）」を参照してください。 カスタマイズと設定のいくつかの簡単な誤った手順は、請求可能なセッションを増やす可能性があります。詳細は、次を参照してくださいセッション使用情報。
