खोज इंजन के मार्गदर्शन के बिना खो मकड़ियों - इस पर हस्ताक्षर के बाद!
Robots.txt फ़ाइल एक अपवर्जन सभी वेब crawlers द्वारा जरूरी मानक है / रोबोट उन्हें बताने के लिए क्या फ़ाइलें और निर्देशिका है कि आप उन्हें अपनी साइट पर के बाहर रहना चाहता हूँ. नहीं सभी crawlers / बॉट अपवर्जन का पालन करें मानक और अपनी साइट रेंगने वैसे भी जारी रहेगा. मैं कॉल की तरह उन्हें 'बुरा Bots "या trespassers. हम उन्हें आईपी बहिष्करण द्वारा ब्लॉक जो एक और कहानी entirely.This है robots.txt मूल के एक के लिए बहुत आसान है सिंहावलोकन वेबमास्टर्स. पूरी तरह से और पूरी तरह से सबक के लिए, यात्रा http://www.robotstxt.org/To एक कुछ मानक robots.txt फ़ाइल के लिए उचित प्रारूप में देखने के सीधे नीचे देखो. यह फाइल डोमेन के रूट पर होना चाहिए क्योंकि कि है, जहां crawlers यह है, नहीं कुछ माध्यमिक directory.Below में उम्मीद एक robots.txt फ़ाइल के लिए उचित प्रारूप है -----> User-एजेंट: * अस्वीकार: / cgi-bin / अस्वीकार: / images / अस्वीकार: समूह / / User-एजेंट: एजेंट msnbot क्रॉल-देरी: 10User-: Teoma क्रॉल-देरी: 10User-एजेंट: Slurp क्रॉल-देरी: 10User-एजेंट: aipbot अस्वीकार: User /-एजेंट: BecomeBot अस्वीकार: User /-एजेंट: psbot अस्वीकार: / --- robots.txt fileThis की समाप्ति -----> छोटे पाठ फ़ाइल एक सादा पाठ दस्तावेज़ का नाम "इसके बाद के संस्करण robots.txt फ़ाइल से सूचीबद्ध सूचना के अपने domain.A शीघ्र समीक्षा की जड़ में robots.txt" के साथ है और हमेशा की तरह बचाया है पीछा करता है. "प्रयोक्ता एजेंट: MSNbot "MSN से है, Slurp याहू से है और Teoma AskJeeves से है. सूचीबद्ध दूसरों रहे हैं" "बुरा bots कि क्रॉल बहुत कोई नहीं है, लेकिन अपने स्वयं के लाभ के लिए और तेजी से है, तो हम उन्हें पूछने के लिए पूरी तरह से बाहर रहते हैं. Asterisk * है एक जंगली कार्ड इसका मतलब है कि "सभी crawlers" मकड़ियों / / बॉट बाहर फाइल या निर्देशिका listed.The की है कि समूह के रहने बॉट अनुदेश 'अस्वीकार: / अर्थ है कि वे पूरी तरह से रहना चाहिए और उन के साथ दी जानी चाहिए "क्रॉल-देरी: 10" उन है कि हमारी साइट क्रॉल भी जल्दी और यह नीचे दलदल और अति प्रयोग सर्वर संसाधनों का कारण बना रहे हैं. गूगल और धीरे क्रॉल दूसरों की तुलना में और है कि शिक्षा की आवश्यकता नहीं होती है, इसलिए नहीं है विशेष संस्करण की robots.txt फ़ाइल में सूचीबद्ध. क्रॉल-देरी अनुदेश ही सैकड़ों या हजारों पृष्ठों के साथ बहुत बड़ी साइटों पर की जरूरत है. वाइल्डकार्ड asterisk * सभी crawlers, bots और मकड़ियों पर लागू होता है, Googlebot.Those हम प्रदान की है कि "क्रॉल-देरी: 10 अनुदेश" कई के रूप में 7 पृष्ठ के रूप में थे और हर दूसरा हम ने उन से पूछा को धीरे अनुरोध भी शामिल है. जिस नंबर पर आप देख सेकंड है और आप इसे सूट को बदल सकते हैं अपने अपने रेंगने दर पर आधारित सर्वर की क्षमता. पृष्ठ अनुरोधों के बीच दस सेकंड तक आराम से अधिक है और उन्हें रोकता है आपके सर्वर से अधिक पृष्ठों के लिए पूछ सकते हैं अप पकवान से. (आप कितनी तेजी से और रोबोट की खोज कर सकते हैं मकड़ियों अपने कच्चे सर्वर लॉग देखने के द्वारा खंगालने के हैं - जो एक दूसरे के लिए अपने वेब होस्ट से - उपलब्ध की एक hundredth के भीतर निर्धारित समय से अनुरोध किया है या अपने वेब पृष्ठ या व्यक्ति पूछना दिखाओ. आपके सर्वर लॉग कर सकते हैं रूट निर्देशिका में पाया यदि आप सर्वर का उपयोग है, तो आप आमतौर पर डाउनलोड कर सकते हैं आपके सर्वर से कैलेंडर दिन ठीक से सर्वर लॉग इन फ़ाइलों को संकुचित सकता है. तुम एक उपयोगिता है कि संपीड़ित फ़ाइलों का विस्तार करने और खोल सकता है की आवश्यकता होगी पढ़ें उन सादे पाठ कच्चे सर्वर लॉग इन फ़ाइलों.) किसी robots.txt फ़ाइल की सामग्री को किसी भी डोमेन नाम के बाद बस प्रकार robots.txt देखने के लिए. यदि वे ऊपर है कि फ़ाइल, आप देखेंगे इसे अपने जाल में एक पाठ फ़ाइल के रूप में प्रदर्शित ब्राउज़र. नीचे दिए गए लिंक पर क्लिक करें Amazon.comhttp के लिए कि फ़ाइल को देखने के लिए: / / www.Amazon.com robots.txtYou किसी भी वेबसाइट robots.txt फ़ाइल कि way.The robots.txt ऊपर दिखाए की सामग्री / देख सकते है जो हम इस समय का उपयोग करें पर Publish101 वेब सामग्री वितरक, सिर्फ 2005 के मई में शुरू किया. हम एक व्यापक मामले का अध्ययन किया और क्रॉलर व्यवहार और अनुक्रमण गूगल sandbox रूप में जाना जाता देरी पर लेख की एक श्रृंखला प्रकाशित किया. कि गूगल Sandbox केस अध्ययन हर जगह इस बार छोटे पाठ file.One बात हम अनुक्रमण में शामिल अनुसंधान से बीनना उम्मीद नहीं की थी की अनदेखी के महत्व के बारे में बहुत वेबमास्टरों के लिए कई स्तरों पर है शिक्षाप्रद देरी (गूगल sandbox के रूप में जाना) को robots.txt फाइल के महत्व था जल्दी और प्रमुख खोज इंजनों से मकड़ियों और भारी bots से क्रॉल कि क्या करेंगे की संख्या के द्वारा खंगालने के कुशल कोई सांसारिक साइट स्वामी के लिए अच्छा है, अभी तक सबसे साइटों को बड़े पैमाने पर और भारी क्रॉल, नई साइट हमारे प्रक्षेपण में पता चला second.We प्रति 7 पृष्ठों के रूप में के रूप में तेजी से आ रही पन्नों के लिए अनुरोध के साथ तोड़ मुद्दे पर सर्वर तनाव कि गूगल और याहू साइट क्रॉल करेंगे या नहीं, आप एक robots.txt फ़ाइल का उपयोग करें MSN लेकिन यह आवश्यक लगता है इससे पहले कि वे सभी पर रेंगने शुरू हो जाएगा. खोज इंजन रोबोटों सभी को एक पर फ़ाइल अनुरोध लगते नियमित रूप से सत्यापित करने के लिए कि यह changed.Then नहीं है जब तुम यह परिवर्तन करते हैं, वे संक्षिप्त अवधि के लिए रेंगने बंद करो और किसी भी अतिरिक्त पृष्ठों रेंगने बिना बार बार उस समय के दौरान कि robots.txt फ़ाइल के लिए पूछेंगे. (शायद वे पृष्ठों की सूची की यात्रा है कि निर्देशिका या फ़ाइलें तुम उन्हें बाहर के रहने के लिए और अब अपने रेंगने समय समायोजित करना होगा अपनी सूची से उन फ़ाइलों को खत्म करने के निर्देश दिए हैं शामिल था.) अधिकांश वेबमास्टर्स के लिए bots "छवि" निर्देशिका और cgi "के बाहर बिन निर्देशिका" रहना किसी भी निजी या स्वामित्व के उद्देश्य से युक्त फ़ाइलों को निर्देशिका के रूप में के रूप में अच्छी तरह से केवल एक इंट्रानेट या पासवर्ड के उपयोगकर्ताओं के लिए निर्देश आपकी साइट के संरक्षित वर्गों. जाहिर है, तुम बॉट निर्देशित करने के लिए किसी भी निजी क्षेत्रों है कि आप robots.txt की खोज engines.The महत्व से नहीं अनुक्रमित करना चाहते से बाहर रहना चाहिए शायद ही कभी औसत से चर्चा की है वेबमास्टरों और मैं भी मेरे मुवक्किल 'व्यापार के कुछ वेबमास्टर्स लिया है मुझसे पूछा कि यह क्या है और इसे कैसे लागू करने के लिए जब मैं उन्हें बता कैसे महत्वपूर्ण यह दोनों साइट सुरक्षा और खोज इंजनों के द्वारा खंगालने के लिए सक्षम है. पर्याप्त कंपनियों में वेबमास्टर्स द्वारा यह मानक होना चाहिए ज्ञान है, लेकिन इस मिसाल कैसे थोड़ा ध्यान robots.txt.The खोज इंजन मकड़ियों का उपयोग करना चाहते हो सच में मार्गदर्शन दिया जाता है और इस छोटे पाठ आपके फ़ाइल का सबसे अच्छा तरीका crawlers और बॉट एक स्पष्ट पताका का स्तंभ प्रदान करने के लिए बंद trespassers चेतावनी और निजी संपत्ति की रक्षा है - और गर्मजोशी से स्वागत अतिथियों को आमंत्रित किया, जैसे तीन बड़ी खोज इंजन के रूप में करते हुए उन्हें पूछ अच्छी तरह से निजी areas.Copyright ÃÆ'à ¢ एक, ¬ Å ¡Ãƒâ € SA, एक माइक बैंकों ValentineGoogle sandbox केस अध्ययन http://publish101.com/Sandbox2 माइक वेलेंटाइन बैंकों द्वारा 17 अगस्त 2005 © संचालन के रहने के लिए http://Publish101.com नि: शुल्क प्रदान करता है और अनुच्छेद बाजार सामग्री एकत्रीकरण, प्रेस विज्ञप्ति जारी अनुकूलन और कस्टम खोज इंजन पोजिशनिंग के लिए वेब सामग्री के लिए वेब सामग्री वितरण
Article Source: Messaggiamo.Com
Related:
» Credit Secrets Bible» Cash Making Power Sites
» Home Cash Course
» Automated Cash Formula
Webmaster Get Html Code
Add this article to your website now!
Webmaster Submit your Articles
No registration required! Fill in the form and your article is in the Messaggiamo.Com Directory!
