रोबोट्स.txt चेकर
किसी भी साइट का robots.txt लाएँ और जाँचें कि कोई क्रॉलर किसी पथ तक पहुँच सकता है या नहीं — असली क्रॉल नियमों के आधार पर, निर्णायक नियम दिखाते हुए।
⚠️ इस साइट की जाँच नहीं हो सकी
- परीक्षित पथ
- नियम समूह
- निर्णायक नियम
मूल robots.txt
अक्सर पूछे जाने वाले प्रश्न
परिणाम का असल मतलब क्या है?
निर्णय एक (क्रॉलर, पथ) जोड़ी के लिए है: साइट के असली robots.txt के अनुसार "अनुमति है" या "अवरुद्ध"। पृष्ठ दिखाता है कि नियम किस user-agent समूह से आए और कौन सा एक नियम निर्णायक रहा। मूल्यांकन बिल्कुल RFC 9309 का पालन करता है: सबसे लंबा मिलान पैटर्न जीतता है, समान लंबाई पर Allow, Disallow से बेहतर, तारांकन किसी भी वर्ण (स्लैश समेत) से मेल खाता है, अंत में $ एंकर, और बिना मिलान नियम के सब अनुमत है। खाली मान वाला Disallow निष्प्रभाव है — प्रमुख सर्च इंजन भी यही करते हैं।
Googlebot, Googlebot-News और Googlebot-Image को भी क्यों कवर करता है?
RFC 9309 कहता है कि user-agent समूह का मिलान बॉट टोकन के केस-असंवेदनशील PREFIX से होता है — "Googlebot" के लिए लिखा समूह Googlebot-News, Googlebot-Image, Googlebot-Video आदि को भी नियंत्रित करता है। साइटें इसी पर भरोसा करके पूरे परिवार के लिए एक नियम सेट लिखती हैं। आप कोई भी सटीक नाम डाल सकते हैं (जैसे "GPTBot" या "Baiduspider-image"); यदि साइट में उसका समूह है, तो केवल उसी के नियम लागू होते हैं।
क्या यह टूल मेरा पेज लोड करता है? robots.txt कहाँ से आता है?
यह केवल लक्ष्य का /robots.txt लाता है, पेज कभी नहीं — और डाउनलोड इस साइट के सर्वर से होता है क्योंकि ब्राउज़र दूसरे ओरिजिन का robots.txt सीधे नहीं पढ़ सकता (CORS)। लाना दर-सीमित, 512 KB सीमा, अधिकतम 3 रीडायरेक्ट, और निजी/आरक्षित पते अस्वीकृत। फ़ाइल पूरी आपके ब्राउज़र में ही पार्स होती है; कोई खाता नहीं चाहिए और आपका URL संग्रहीत नहीं होता।
Checker क्या validate करता है
- Fetch health — parse करने से पहले status code, redirect chains और content-type की जाँच; /robots.txt पर serve हुआ HTML page साफ़ शब्दों में fail होता है।
- Directive audit — unknown directives पर flag (crawlers उन्हें ignore करते हैं); crawl-delay बड़े bots की limits के हिसाब से sanity-checked होता है।
- URL simulation — paths paste करें और हर एक Allowed/Blocked report करता है, exact matching line quote के साथ।
- Sitemap presence — Sitemap declarations निकाले जाते हैं और reachability की जाँच होती है।
अपनी robots.txt वैसे देखें जैसे bots देखते हैं
Fetch, parse और simulate — हर Disallow rule आपके अपने URLs पर आज़माया जाता है और हर path का verdict दिखता है।
असली नियम, असली निर्णय
साइट का वास्तविक robots.txt लाकर बिल्कुल सर्च इंजन की तरह मूल्यांकन करता है — RFC 9309 सबसे लंबा मिलान, समान पर Allow, प्रीफिक्स समूह, कभी अनुमान नहीं।
निर्णायक पंक्ति दिखती है
सिर्फ "अनुमति / अवरुद्ध" के बजाय आप वह सटीक नियम और उसका user-agent समूह देखते हैं — क्यों, और क्या बदलना है।
पेज लोड नहीं, रजिस्ट्रेशन नहीं, मुफ़्त
सिर्फ सार्वजनिक robots.txt लाया जाता है (आपका पेज कभी नहीं), सीमित, 512 KB-सीमा वाले और निजी पते अस्वीकार करने वाले रीडर से। कोई खाता, कोई क्रेडिट नहीं।
संबंधित टूल
रोबोट्स.txt चेकर क्या है?
रोबोट्स.txt चेकर किसी साइट का robots.txt लाकर बताता है कि एक क्रॉल एजेंट क्या ला सकता है — बिल्कुल वैसे जैसे प्रमुख सर्च इंजन मूल्यांकन करते हैं। robots.txt एक छोटी सार्वजनिक टेक्स्ट फ़ाइल है जिसे हर साइट प्रकाशित कर सकती है और बता सकती है कि कौन से पथ क्रॉलर ले सकते हैं या नहीं (जैसे "Disallow: /admin/", "Allow: /public/", प्रत्येक क्रॉलर के लिए User-agent लाइन के नीचे समूहबद्ध)। यह सुरक्षा की सीमा नहीं है, पर यही तरीका है कि सर्च इंजन और अन्य बॉट आपकी क्रॉल प्राथमिकताएँ जानें — और एक गलत नियम सबसे आम कारणों में से है जिससे पेज अनजाने में Google से छिप जाता है। यह टूल उस फ़ाइल को पढ़कर RFC 9309 के नियम लागू करता है: सबसे लंबा पैटर्न जीतता है, समान लंबाई पर Allow, Disallow से बेहतर, * किसी भी वर्ण से मेल, अंत में $ एंकर, और समूह तब लागू होता है जब उसका टोकन बॉट नाम का केस-असंवेदनशील प्रीफिक्स हो।
यह टूल क्या दिखाता है
- एक सटीक (पथ, क्रॉलर) जोड़ी के लिए तुरंत "अनुमति / अवरुद्ध" निर्णय
- निर्णायक नियम और वह user-agent समूह जिससे वह आया
- robots.txt उत्तर का HTTP स्टेटस (404 = सब अनुमत)
- समूहों, मिलान नियमों और sitemap पंक्तियों की गिनती
- मूल robots.txt फ़ाइल सत्यापन के लिए
कब उपयोग करें
- नया सेक्शन लॉन्च करने से पहले पक्का करें कि Googlebot उसे क्रॉल कर सकता है
- Google से गायब पेज की जाँच — क्या कोई robots नियम उसे रोक रहा है
- पुष्टि करें कि Allow वाकई पुराने Disallow को मात करता है (सामान्य गलती)
- नए बॉट (AI क्रॉलर, इमेज बॉट) जोड़ते समय पक्का करें कि वे कौन से पथ उपयोग कर सकते हैं
गोपनीयता नोट: यह टूल आपका URL इस साइट के सर्वर को भेजता है, जो केवल लक्ष्य का सार्वजनिक robots.txt लाता है — आपका पेज कभी लोड नहीं होता। फ़ाइल आपके ब्राउज़र में ही पार्स होती है, परिणाम संक्षिप्त रूप से कैश होते हैं, कोई खाता नहीं चाहिए और आपके बारे में कुछ भी संग्रहीत नहीं होता।
संबंधित टूल
Meta Tags जनरेटर
title, description, keywords, canonical और robots meta tags, साथ में लाइव Google search प्रीव्यू
SERP पूर्वावलोकन
देखें कि आपका शीर्षक और विवरण Google के नतीजों में कैसा दिखता है — पिक्सेल-सटीक चेतावनी के साथ कि कहाँ कट सकता है।
UTM लिंक जनरेटर
कुछ ही सेकंड में साफ़, सही-एन्कोडेड कैंपेन लिंक बनाएं — Facebook Ads, Google Ads और अन्य के लिए वन-टैप प्रीसेट के साथ।