検索エンジンのスパイダーの指導なしに失わ-この標識を掲示！
robots.txtファイルを除外する標準的なすべてのWebクローラが必要です/ロボットはどのようなファイルやディレクトリは、それらをあなたのサイト上でのIN OUT滞在したいお客様に通知します。すべてのクローラー/ボットは除外します 標準とにかくあなたのサイトのクロールを続行します。私を呼び出すことのように"不正なボット"や侵入。我々はIPアドレスの除外によっては、また別の話entirely.Thisはそれらをブロックするためのrobots.txtの基礎を非常に簡単な概要です ウェブマスター。完全かつ徹底的なレッスンでは、訪問http://www.robotstxt.org/Toやや標準的なrobots.txtファイルは、直接下記のデザインは、適切な形式をしてください。このファイルはドメインのルートにする必要がありますので、 その場所のクローラにではなく、いくつかのセカンダリdirectory.Belowになることを期待されているのrobots.txtファイルの適切な形式です----->ユーザーエージェント：*を許可しない：/のcgi - bin /を許可しない：/画像/許可しない：/グループ/ユーザエージェント： msnbotクロールの遅延：10Userエージェント：ティーオマクロールの遅延：10Userエージェント：すするクロールの遅延：10Userエージェント：aipbotを許可しない：/ユーザエージェント：BecomeBotを許可しない：/ユーザエージェント：psbotを許可しない：/ --- robots.txtのfileThisの----->終了 小さなテキストファイルは、プレーンテキストドキュメントを常に上には、robots.txtファイルから掲載された情報のあなたのdomain.A簡単に復習のルートにある名前の"robots.txt"と同様に保存され、次のとおり。 "ユーザエージェント： MSNbot"MSNから、音を立てヤフーからのものでありティーオマAskJeevesからです。されている他の上場""悪いロボットがクロールを非常に速く、誰の利益が自分のため、我々は完全に滞在してもらう。*アスタリスク ワイルドカードを意味する"すべて"クローラー/スパイダー/ボットのファイルまたはディレクトリlisted.Theのは、そのグループの指導のステートメントに"Disallow：/"彼らは完全に手を出すべきで、それらのことを意味与えられたロボットは手を出すべき "クロールの遅延：10"とはあまりにも早く私たちのサイトをクロールして動きが取れなくなるし、酷使、サーバーのリソースが原因です。 Googleは、徐々に他の人よりも、その命令を必要としないので、クロールされていません 具体的には上記のrobots.txtファイルに記載。クロールの遅延命令は数百または数千ページの非常に大規模なサイトで必要とされます。 *すべてのクローラロボットやスパイダーに適用されるワイルドカードアスタリスク Googlebot.Those私たちは"クロールの遅延：10"の命令は、7ページのすべてのだから私たちは遅くするよう要請した2番目の要求しているために提供を含む。を参照してください秒数であり、自分に合うように変更することができます 自分のクロールの頻度に基づいて、サーバーの容量。ページリクエストの間に10秒間、はるかにゆっくりとされ、それらを停止し、サーバーよりも多くのページを開く料理できるかを問うから（あなたがどのように高速なロボットを発見することができます スパイダーが生のサーバーのログを見て這っている-は、ページを正確に倍にするための2番目-あなたのウェブサイトのホストから利用可能な100分の1以内に要求されたか、WebやITの人に聞い表示されます。お客様のサーバーのログすることができます 場合は、通常、ダウンロードすることができますあなたのサーバーからカレンダーの日付を右して、サーバーのログファイルを圧縮されたサーバーにアクセスしているルートディレクトリにあります。あなたは、オープンするために圧縮ファイルを展開するためのユーティリティが必要です を読んでいるテキスト形式の生のサーバーのログファイル）の任意のドメイン名の後に入力するだけのrobots.txtれるいかなるrobots.txtファイルの内容を参照してください。もし彼らは、最大のファイルがある場合、あなたのWeb内のテキストファイルとして表示されます ブラウザです。をクリックして、以下のリンクをAmazon.comhttpがそのファイルを参照してください：/ /にwww.Amazon.com robots.txtYou任意のWebサイトのrobots.txtファイルをway.Theのrobots.txt、上記の内容を見ることができる/私たちは、現在使用するものである〜で Publish101 Webコンテンツの流通、ちょうど2005年5月に開始した。私たちは豊富なケーススタディを行なったし、クローラの動作とインデックスの遅延、Googleのサンドボックスとして知られる一連の記事を発表した。は、Google サンドボックスのケーススタディの高いウェブマスターのためのさまざまなレベルでは頻繁に私達の研究インデックスに関係者から収集することを期待していない小さなテキストfile.Oneものは無視さの重要性をどこでも情報は有益です 遅延（Googleのサンドボックスとしても）、robots.txtファイルの重要性は知られて迅速かつ主要な検索エンジンのスパイダーや重いボットから行いますクロールの数によってクロール効率的には地上の サイトの所有者には、良いまだ広範囲に大きく、ページの高速second.Weは、新しいサイトの私達の打ち上げに発見された1泊7ページの今後の要求を使用して分割ポイントにサーバーに負担をほとんどのサイトをクロールする は、GoogleとYahooのかどうか、robots.txtファイルを使用してサイトをクロールしますが、MSNは必要と思われる前に、すべてのクロールを開始します。すべての検索エンジンロボットの上のファイルを要求しているようだ 定期的には、ときに、変更しないでくださいchanged.Thenいないことを確認し、彼らは短い期間のクロールを停止して、繰り返し同じ時間には、robots.txtファイルを求めるすべての追加のページをクロールしたりせず。 （たぶん彼らのページでは、ディレクトリ、または、それらと手を出さない、今はリストからこれらのファイルを除去するためには、クロールのスケジュールを調整する必要がありますよう指示したファイルが含まれ訪問するためのリストていた）ほとんどの ウェブマスターの"イメージ"のディレクトリとは"cgiとしてだけでなく、任意のディレクトリprivate、または独自のファイルを意図した含有のイントラネットまたはパスワードのユーザーに対してのみ- bin"ディレクトリに滞在するためのロボットに指示する あなたのサイトの保護されたセクション。明らかに、任意のプライベート領域は、robots.txtの検索エンジンの重要性のインデックスに登録したくないのうちの宿泊をご観覧に直接必要はめったに平均で説明されて ウェブマスターと私も、ウェブマスターのいくつかの私のクライアントのビジネスのだったて何をしてどのように私がどのように両方のサイトのセキュリティとは、検索エンジンでクロールを効率的にすることが重要に教えたり、実装するために私に尋ねる。 実質的な企業で、ウェブマスターがこの規格は、必要な知識が、これはどのようにほとんど関心をrobots.txt.The検索エンジンのスパイダーは本当に必要かを使用して支払われているを示してのご指導と、この小さなテキスト ファイルの侵入を警告し、私有財産を保護するクローラーやボットの明確な道標を提供するための最良の方法です-と暖かく招待客は、大きな3つの検索エンジンなどを歓迎しながら、それらを求める 素敵なプライベートareas.Copyright ÃÆ'à ¢ â、¬ Å ¡ Àšã、 © 2005年8月17日マイクバンクスValentineGoogleサンドボックスのケーススタディhttp://publish101.com/Sandbox2マイクバンクスバレンタインで動作中の宿泊をご 記事は、マーケティング担当者や提供コンテンツの集約、プレスリリースの最適化、検索エンジンの位置決め用のカスタムWebコンテンツに対するhttp://Publish101.com無料のWebコンテンツ配信
記事のソース: Messaggiamo.Com
Related:
» Credit Secrets Bible» Cash Making Power Sites
» Home Cash Course
» Automated Cash Formula
ウェブマスター向けのHTMLコードを取得
この記事を追加してお客様のウェブサイトを今しなさい！
ウェブマスター向けの記事を送信してください
登録の必要なし！フォームに記入してください Messaggiamo.Com 記事は、ディレクトリ！
