मुफ़्त · SEO टूल्स

Robots.txt जनरेटर

हर crawler के लिए Allow/Disallow rules और sitemap links, paste करने के लिए तैयार

Presets

Rules

Sitemap URLs (हर लाइन में एक)

robots.txt

Directive semantics जहाँ लोग अक्सर फँसते हैं

Specificity की जीत — एक ही group में लंबा matching Allow छोटे Disallow को हरा देता है; preview annotate करता है कि कौन सा rule लागू होता है।
Grouping — blank lines group ख़त्म करती हैं; अनजाने में मिलने पर उसके बाद के rules disable हो जाते हैं (यहाँ validate होता है)।
Crawl-delay — Bing/Yandex इसे मानते हैं, Google ignore करता है (output comment में लिखा जाता है)।
Sitemap lines — सिर्फ़ absolute URLs; एक से ज़्यादा allowed हैं और सही ढंग से emit होते हैं।

नियम वैसे ही लिखे जाते हैं जैसे crawlers उन्हें parse करते हैं

User-agent groups, allow/disallow ordering, crawl-delay और sitemap declaration — checkboxes से बनते हैं, live file preview के साथ।

⚡

तीन प्रारंभिक प्रीसेट

allow-all, block-all और WordPress प्रीसेट नियम समूह तुरंत भर देते हैं — हर एक में इरादे के अनुसार सही User-agent और Allow या Disallow पंक्तियाँ।

🔒

प्रति-क्रॉलर नियम पंक्तियाँ

हर User-agent की Allow और Disallow पथों की अपनी संपादन योग्य पंक्तियाँ होती हैं, और Sitemap पंक्तियाँ अलग बॉक्स से जुड़ती हैं ताकि वे अलग रहें।

🎯

संपादन पर फ़ाइल पुनर्निर्माण

हर बदलाव पर फ़ाइल टेक्स्ट मोनोस्पेस बॉक्स में फिर बनता है, इसलिए अंतिम robots.txt सामग्री कॉपी या डाउनलोड से पहले दिखती है।

अक्सर पूछे जाने वाले प्रश्न

खाली Disallow लाइन का क्या मतलब है?⌄

सिर्फ "Disallow:" लिखना और आगे कुछ न लिखना का मतलब है "कुछ भी disallow नहीं" — यानी इस crawler को हर जगह access मिला है। Allow-all preset यही generate करता है।

क्या robots.txt वाकई pages को index होने से रोकता है?⌄

अकेले यह पूरी तरह भरोसेमंद तरीका नहीं है — यह सिर्फ अच्छे-व्यवहार वाले crawlers से request करता है कि वे किसी path को fetch न करें। कोई page फिर भी index हो सकता है (जैसे अगर कहीं और से उसे link किया गया हो) भले ही उसे disallow किया गया हो। किसी page को search results से पूरी तरह बाहर रखने के लिए noindex meta tag या HTTP header का इस्तेमाल करें।

क्या मेरा content कहीं upload होता है?⌄

नहीं — सब कुछ plain JavaScript के ज़रिए आपके browser में ही चलता है। आप जो भी टाइप करते हैं वह कभी किसी server को नहीं भेजा जाता।

क्या robots.txt pages को Google से हटा देता है?⌄

नहीं — Disallow crawling रोकता है, indexing नहीं। Blocked URLs फिर भी bare links की तरह दिख सकते हैं। असल में हटाने के लिए noindex या removals tool इस्तेमाल करें।

Robots.txt जनरेटर क्या है?

robots.txt वेबसाइट के रूट में रखी गई एक सादा टेक्स्ट फ़ाइल है जो सर्च इंजन क्रॉलर और अन्य बॉट्स को बताती है कि साइट के कौन से हिस्से वे ला सकते हैं। एक सामान्य फ़ाइल में नियमों के समूह होते हैं — User-agent पंक्ति के बाद Allow और Disallow पथ — और अक्सर साइटमैप का संकेत भी। इसे हाथ से लिखना आसान है, लेकिन बारीक ग़लतियाँ होना आम है, जैसे कोई Disallow नियम किसी वैध Allow नियम को ढक देना। यह जनरेटर संपादन योग्य नियम पंक्तियों और प्रीसेट्स से फ़ाइल बनाता है, ताकि साइट मालिकों और SEO पेशेवरों को हर बार सही शुरुआती बिंदु मिले।

जनरेटर क्या तैयार करता है

🤖 क्रॉलर-दर-क्रॉलर नियम समूह, किसी विशिष्ट बॉट से लेकर सामान्य * तक
🚫 हर समूह में कई Disallow और ✅ Allow पथ
⏱️ वैकल्पिक Crawl-delay पंक्ति
🗺️ एक या अधिक Sitemap पंक्तियाँ
🧩 शुरुआती प्रीसेट: सब अनुमति दें, सब ब्लॉक करें, WordPress डिफ़ॉल्ट
📋 तैयार फ़ाइल कॉपी करें या सीधे डाउनलोड करें

कब लिखी जाती है

स्टेजिंग या प्रीव्यू एनवायरनमेंट को सर्च रिज़ल्ट से ब्लॉक करना
किसी ख़ास स्क्रेपर को साइट पर बार-बार हमला करने से रोकना
नई WordPress इंस्टॉलेशन के लिए क्रॉलिंग नियम सेट करना
रीडिज़ाइन के बाद क्रॉलर को नए साइटमैप की ओर भेजना

फ़ाइल पूरी तरह आपके ब्राउज़र में बनती है; कुछ भी अपलोड नहीं होता। दो बातें जान लें: तैयार फ़ाइल को साइट के रूट पर अपलोड करके यह सुनिश्चित करना होता है कि वह सुलभ है; और robots.txt एक अनुरोध है, कोई आदेश नहीं — अच्छे व्यवहार वाले क्रॉलर इसे मानते हैं, लेकिन यह किसी बॉट को रुकने के लिए बाध्य नहीं कर सकता।

अंतिम अपडेट · 2026-09-01