Search- Enginespinnen Verloren Ohne Anleitung - Geben Sie Dieses Zeichen Bekannt!
Die robots.txt Akte ist ein Ausschlußstandard, der durch alles Netz crawlers/robots erfordert wird, um ihnen zu erklären, welche Akten und Verzeichnisse, daß Sie sie aus auf Ihrem Aufstellungsort heraus bleiben wünschen. Nicht alle crawlers/bots folgen dem Standard Ausschluß und werden fortfahren, irgendwie zu kriechen Ihr Aufstellungsort. Ich mag sie nennen "schlechtes Bots" oder Eindringlinge. Wir blockieren sie durch IP Ausschluß, der eine andere Geschichte völlig ist.
Dieses ist ein sehr einfacher Überblick über robots.txt Grundlagen für webmasters. Für eine komplette und vollständige Lektion Besuch http://www.robotstxt.org/
Das korrekte Format für einen ein wenig Standardrobots.txt Akte Blick direkt sehen unten. Diese Akte sollte an der Wurzel des Gebietes sein, weil die, wo die Gleisketten es erwarten, um zu sein, nicht in irgendeinem Sekundärverzeichnis ist.
Unter ist das korrekte Format für ein robots.txt Akte ----->
Benutzer-Mittel: *
Mißbilligen Sie: /cgi-bin/
Mißbilligen Sie: /images/
Mißbilligen Sie: /group/
Benutzer-Mittel: msnbot
Kriechen-verzögert: 10
Benutzer-Mittel: Teoma
Kriechen-verzögert: 10
Benutzer-Mittel: Slurp
Kriechen-verzögert: 10
Benutzer-Mittel: aipbot
Mißbilligen Sie: /
Benutzer-Mittel: BecomeBot
Mißbilligen Sie: /
Benutzer-Mittel: psbot
Mißbilligen Sie: /
--------> Ende der robots.txt Akte
Diese kleine Textakte wird als normales Textdokument und IMMER mit dem Namen "robots.txt" in der Wurzel Ihres Gebietes gespeichert.
Ein schneller Bericht der aufgeführten Informationen von der robots.txt Akte oben folgt. Das "Benutzer-Mittel: MSNbot "ist von MSN, ist Slurp von Yahoo und Teoma ist von AskJeeves. Die verzeichneten anderen sind "schlechte" bots, die sehr schnell und zu niemandem Nutzen aber ihre Selbst kriechen, also bitten wir sie, heraus völlig zu bleiben. * Sternchen ist eine wilde Karte, die Mittel "alles" crawlers/spiders/bots aus dieser Gruppe verzeichneten Akten oder Verzeichnissen heraus bleiben sollten.
Die bots, welche die Anweisung "erteilt werden, mißbilligen: / "Mittel, die sie heraus völlig bleiben sollten und die mit" Kriechen-verzögert: 10"sind die, die unser Aufstellungsort zu schnell und ihn verursacht krochen, zum der Bedienerbetriebsmittel zu versinken und zu überbeanspruchen. Google kriecht langsam als die anderen und erfordert nicht diese Anweisung, so wird nicht spezifisch verzeichnet in der oben genannten robots.txt Akte. Kriechen-verzögert Anweisung ist nur erforderlich auf sehr großen Aufstellungsorten mit Hunderten oder Tausenden Seiten. Das Wildcardsternchen * trifft auf alle Gleisketten, bots und Spinnen, einschließlich Googlebot zu.
Die wir, vorausgesetzt daß "Kriechen-verzögert: die 10"Anweisung zu waren die so viele Frage, wie 7 Seiten jede Sekunde und so wir sie baten, zu verlangsamen. Die Zahl, die Sie sehen, ist Sekunden und Sie können sie ändern, um Ihrer Bedienerkapazität zu entsprechen, basiert auf ihrer kriechenden Rate. 10 Sekunden zwischen Seitenanforderungen ist weites leisurely und stoppt sie vom Bitten um mehr Seiten, als Ihr Bediener oben anrichten kann.
(Sie können entdecken, wie schnell Roboter und Spinnen kriechen, indem sie Ihre rohen Bedienermaschinenbordbücher betrachten - die die Seiten zeigen, die bis zum exakten Zeiten zu innerhalb einer Hundertstel einer Sekunde erbeten werden - vorhanden von Ihrem Netzwirt oder bitten Sie Ihr Netz oder um um ES Person. Ihre Bedienermaschinenbordbücher können im Wurzelverzeichnis, wenn Sie Bedienerzugang, haben Sie gefunden werden können komprimierte Bedienermaschinenbordbuchakten durch Kalendertagrecht weg von Ihrem Bediener normalerweise downloaden. Sie benötigen ein Dienstprogramm, das komprimierte Akten erweitern kann, um jene Bediener-Maschinenbordbuchakten des normalen Textes zu öffnen und zu lesen rohen.)
Den Inhalt irgendeines robots.txt sehen, gerechte Art robots.txt nach irgendeinem Domain Name einzuordnen. Wenn er diese Akte oben haben, sehen Sie, daß sie als Textakte in Ihrem web browser anzeigte. Klicken Sie an die Verbindung unten, um diese Akte für Amazon.com zu sehen
http://www.Amazon.com/robots.txt
Sie können den Inhalt jeder möglicher Web site robots.txt Akte sehen, der Weise.
Das robots.txt, das oben gezeigt wird, ist was wir z.Z. Inhalt dem Verteiler an des Netz-Publish101 verwenden, gerade ausgestoßen im Mai von 2005. Wir taten eine umfangreiche Fallstudie und veröffentlichten eine Reihe Artikel auf Gleiskette Verhalten und Index-Bewegung verzögert bekannt als das Google Sandbox. Daß Google Sandbox Fallstudie auf vielen Niveaus für webmasters überall über den Wert von diesem häufig in hohem Grade lehrreich ist, ignorierten wenig Textakte.
Eine Sache, die wir nicht erwarteten, von der Forschung aufzulesen, die in Index-Bewegung mit einbezogen wurde, verzögert (bekannt als das Google Sandbox) war der Wert der robots.txt Akten zum schnellen und leistungsfähigen Kriechen durch die Spinnen von den Hauptsearch Engines und zur Zahl schwerem Schleichen von den bots, die kein earthly gutes den Aufstellungsortinhaber antun, dennoch vom Schleichen die meisten Aufstellungsorte weitgehend und schwer und belastet Bediener zum Schnittpunkt mit Anträgen für die Seiten so, die schnell wie 7 Seiten pro Sekunde kommen.
Wir entdeckten in unserer Produkteinführung des neuen Aufstellungsortes, daß Google und Yahoo der Aufstellungsort kriechen, ob oder nicht Sie eine robots.txt Akte benutzen, aber MSN scheint, sie ZU ERFORDERN, bevor sie anfangen, an allen zu kriechen. Alle Search Engineroboter scheinen, die Akte regelmäßig zu verlangen, um zu überprüfen, daß er nicht geändert hat.
Dann, wenn Sie ihn ändern, stoppen sie, für kurze Perioden zu kriechen und bitten wiederholt um die robots.txt Akte während dieser Zeit, ohne zu kriechen alle zusätzlichen Seiten. (möglicherweise hatten sie eine Liste zu besuchenden der Seiten, daß eingeschlossen dem Verzeichnis oder den Akten Sie sie angewiesen, aus zu bleiben und ihren kriechenden Zeitplan jetzt haben justieren müssen, um jene Akten von ihrer Liste zu beseitigen.)
Die meisten webmasters weisen die bots an, um aus "Bild" Verzeichnissen und dem "Cgisortierfach" Verzeichnis heraus sowie alle mögliche Verzeichnisse zu bleiben, welche die privaten oder eigenen Akten enthalten, die nur für Benutzer eines Intranet oder Kennwort der geschützten Abschnitte Ihres Aufstellungsortes bestimmt sind. Offenbar sollten Sie die bots verweisen, um aus allen privaten Bereichen heraus zu bleiben, die Sie nicht registriert durch die Search Engines wünschen.
Der Wert von robots.txt wird selten durch durchschnittliche webmasters besprochen und ich habe sogar einige von webmasters meiner Klient Geschäfte mich, was es ist und wie man bitten gelassen ihn einführt, wenn ich ihnen erkläre, wie wichtig er zur Aufstellungsortsicherheit und zum leistungsfähigen Kriechen durch die Search Engines ist. Dieses sollte Standardwissen durch webmasters bei den erheblichen Firmen sein, aber dieses veranschaulicht, wie wenig Aufmerksamkeit auf Gebrauch robots.txt gelenkt wird.
Die Search Enginespinnen wirklich wünschen Ihre Anleitung und diese kleine Textakte ist die beste Weise, Gleisketten und bots zur Verfügung zu stellen ein freier Signpost, um weg von den Eindringlingen zu warnen und private Eigenschaft zu schützen - und eingeladene Gäste, wie die grossen drei Search Engines beim sie freundlich bitten warm zu begrüßen, aus privaten Bereichen heraus zu bleiben.
Sichern Sie Ã"â© August 17, 2005 durch Mike Bankkonto hat Valentine Urheberrecht
Google Sandbox Fallstudie http://publish101.com/Sandbox2 hat Mike amendment file Valentine laufen läßt http://Publish101.com freie Netz-Inhalt Verteilung für Artikel-Marketingspezialisten und zur Verfügung stellt zufriedene Anhäufung, Pressekommuniquã©optimierung und Gewohnheit Netzinhalt für das Search Engine, das http://www.seoptimism.com/SEO_Contact.htm in Position bringt
Artikel Quelle: Messaggiamo.Com
Related:
» Credit Secrets Bible» Cash Making Power Sites
» Home Cash Course
» Automated Cash Formula
Holen Sie sich den HTML-Code fü Webmaster
Fügen Sie diese Artikel Ihrer Website jetzt hinzu!
Webmaster veröffentlichen Sie Ihre Artikel
Keine Anmeldung erforderlich! Füllen Sie das Formular aus und Ihr Artikel wird im Messaggiamo.Com Artikel-Verzeichnis aufgenommen!
