Website Security के लिए Bad Bots को Block कैसे करें?

आपको ये जानकर आश्चर्य होगा कि हमारी वेबसाइट और ब्लॉग पर humans visitors से ज्यादा robots visit करते हैं। ये bots अच्छे और बुरे दोनों होते हैं। Bad bots आपकी site के SEO को प्रभावित करते हैं। आज केइस आर्टिकल में हम इसी के बारे में बात करेंगे कि Bad bots का Website SEO पर क्या असर पड़ता है और इन्हें Block कैसे किया जा सकता है।

ये bad bots इतने खतरनाक होते हैं कि इनकी वजह से आपकी वेबसाइट की search ranking भी decrease हो जाती है। सिर्फ इतना ही नहीं यह कई प्रकार के आपकी वेबसाइट Affect करते हैं।

हम सभी जानते हैं कि Google और अन्य सभी search engines हमारी वेबसाइट को crawl करने के लिए bots का इस्तेमाल करते हैं। बिल्कुल इसी तरह Hackers भी site infrastructure के लिए बोट्स का ही इस्तेमाल करते हैं।

आइए इसके बारे में थोड़ा विस्तार से समझ लेते हैं,

Bad Bots क्या है? What is Bad Bots in Hindi

एक Internet bot, एक सॉफ्टवेयर एप्लिकेशन है जो इंटरनेट पर automated tasks को चलाता है। इन्हें online bots, web robots, robot और simply bot भी कहते है।

सामान्य तौर पर, बॉट्स सरल और दोहराए जाने वाले काम करते हैं जो मानव के लिए मुश्किल और समय लेने वाले या फिर असंभव होते हैं। जैसे कि, वेब साइट्स को क्रॉल करना।

प्रत्येक खोज इंजन अपने search index को develop करने के लिए डेटा एकत्र करने के लिए बॉट का उपयोग करता है। लेकिन साथ ही हैकर्स भी malicious के लिए bots का उपयोग करते हैं।

इसीलिए इन्हें मुख्यता: दो भागों में बांटा गया है,

• Good or SEO bots
• Bad or Malicious Bots

SEO bots या good bots वे हैं जो वेबसाइटों को सर्च इंजन में आने में मदद करते हैं और इंटरनेट पर साइटों की आवश्यक दृश्यता बनाने में फायदेमंद होते हैं।

Bad bots उन कार्यक्रमों का समूह है जो मुख्य रूप से हैकर्स या प्रतियोगियों द्वारा स्वचालित हमलों को शुरू करने के लिए डिज़ाइन किए गए होते हैं। खराब बॉट आपकी अनूठी सामग्री और जानकारी को चुराते हैं, साथ ही स्पैम को भी बढ़ावा देते हैं।

Bat Bots वेबसाइट SEO को कैसे प्रभावित करता है?

ऐसे कई तरीके हैं जिनसे बोट्स आपकी वेबसाइट एसईओ पर नकारात्मक प्रभाव डालते हैं। जिनमें से कुछ निम्न है,

1. Web Scraping

Scraper bots को विशेष रूप से सामग्री चोरी करने और फिर इसे अन्य वेबसाइटों पर डुप्लीकेट करने के लिए प्रोग्राम किया जाता है।

ये bots आपकी वेबसाइट के कंटेंट को चोरी करके duplicate content की समस्या खड़ी करते हैं, जिससे कि सर्च इंजन में आपकी वेबसाइट पेजेज की रैंकिंग खराब होती है।

2. Form Spamming

Form spam bots को एक वेबसाइट पर फर्जी लीड के साथ वेबसाइट को कम करने के लिए फार्म जमा करने के लिए बनाया जाता है।

ये bots वेबसाइट के लिए हजारों law-quality backlinks बनाने का अभ्यास करते हैं, इनकी वजह से आपकी वेबसाइट को google द्वारा blacklist भी किया जा सकता है।

3. Price Scraping

Price scrape bots आपकी वेबसाइट पर ग्राहक के दौरे और रूपांतरण को कम करके आपके व्यवसाय करने की कोशिश करते हैं।

इन bots को मूल्य स्क्रेपिंग और वेबसाइट से मूल्य निर्धारण डाटा चोरी करने के लिए बनाया जाता है। ये आपके प्रतियोगी को मूल्य निर्धारण बनाए रखने के लिए हैं।

4. Skewed Analytics

ये bots मुख्य वेबसाइट analytics को प्रभावित करने के लिए बनाए जाते हैं। इससे IT, Marketing, Analysis team को समस्या उत्पन्न होती है।

अधिकतर यह वोट्स बड़ी बिजनेस वेबसाइटों को प्रभावित करते हैं, जिनकी एनालिटिक्स रिपोर्ट को खराब करके यह उनके बिजनस को गलत मैट्रिक्स से गिराते हैं।

5. Automated Attacks

ये bots विभिन्न प्रकार के auto attacks करने के लिए बनाए जाते हैं। ये वेबसाइट ब्रांडो के लिए एक गंभीर वेब सुरक्षा जोखिम उत्पन्न करते हैं।

उनकी वजह से blogs का सर्च ट्रैफिक गिर जाता है और वेबसाइट को account takeover, credential stuffing and inventory exhaustion जैसी समस्या होती है।

Bad Bots का पता कैसे लगाएं?

Bad bots को identify करने के लिए आपको Cloudways जैसी होस्टिंग का इस्तेमाल करना होगा, जो monitoring service प्रदान कर दी हो।

साथ ही इसके अलावा आप Cloudflare जैसे CDN service कभी इस्तेमाल करते हैं, ये user agents, countries, paths etc. अन्य reports दिखाता है।

आपको इसके User Agent section में robots का पता चल जाएगा आप उनमें से Bad bots का पता करके block कर सकते हैं।

या फिर आप गूगल में “bad bots list” सर्च करोगे तो आपको popular bad bots की list मिल जाएगी। लेकिन हमारी साइट पर कौन से bots attack कर रहे हैं इसके लिए analysis वाला तरीका बेहतर है।

Bad Bots को Block कैसे करें?

अब तक आपको समझ आ गया होगा कि Bad bots किस तरह से आपकी वेबसाइट को प्रभावित करते हैं और इनके attacks से बचने के लिए आपको ब्लॉक करना होगा।

सामान्य तौर पर हम इसके लिए robots.txt का इस्तेमाल करते हैं। लेकिन इन्हें block करने के कई और भी तरीके हैं, जिनके बारे में मैं यहां विस्तार से बता रहा हूं।

1. Block bad bots via origin server

आप अपने web server के द्वारा bad bots को block कर सकते हैं। यहां मैं आपको Apache .htaccess और Nginx दोनों web server की method बता देता हूं।

Block bad bots via .htaccess:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(agent1|Cheesebot|Catall Spider).*$ [NC]
RewriteRule .* - [F,L]

या आप इस तरह BrowserMatchNoCase निर्देश का उपयोग भी कर सकते हैं,

BrowserMatchNoCase "agent1" bots
BrowserMatchNoCase "Cheesebot" bots
BrowserMatchNoCase "Catall Spider" bots

Order Allow,Deny
Allow from ALL
Deny from env=bots

Block bad bots via Nginx:

if ($http_user_agent ~ (agent1|Cheesebot|Catall Spider) ) {
return 403;
}

2. Block bad bots via robots.txt

Bad bots को block करने की ये सबसे सरल और आसान तरीका है। अधिकतर लोग इसी method का उपयोग करते हैं। इसके लिए आपको user-agent का इस्तेमाल करना है।

User-agent: bots name
Disallow: /

उदाहरण के लिए अगर आपको semrushbot को ब्लॉक करना है तो आप इस तरह से code का इस्तेमाल करोगे।

User-agent: semrushbot
Disallow: /

बिल्कुल इसी तरह आप बाकी अन्य bad bots को robots.txt के जरिए block कर सकते हो।

3. Block bad bots via CDN

अगर आप Cloudflare, KeyCDN जैसे Content delivery network का इस्तेमाल करते हैं तो आप उनके जरिए भी Bad bots को block कर सकते हैं।

Cloudflare पर इसके लिए आपको निम्न में firewall rule उपयोग करना होगा।

Cloudflare Firewall >> Firewall Rules पर जाएं और Create a Firewall rule बटन पर क्लिक करें और निम्न तरीके से rule create करें

• Field: User Agent
• Operator: contains
• Value: bots name

इसके बाद action में block select करके setting save कर देनी है। उदाहरण के लिए अगर आप SemrushBot को ब्लॉक करना है तो आप bots name की जगह SemrushBot add करेंगे।

आप चाहे तो निम्न expression code का इस्तेमाल कर सकते हैं।

(http.user_agent contains "SemrushBot")

आने वाले समय में इसके बारे में अधिक विस्तार से बताऊंगा।

निष्कर्ष,

इस तरीके से आप Bad Bots को Block कर सकते हैं और अपनी वेबसाइट के SEO ranking को bots की वजह से प्रभावित होने से बचा सकते हैं।

उम्मीद है आप कोई जानकारी पसंद आई हो, अगर आपको इस बारे में कुछ और जानना हो तो आप नीचे कमेंट सेक्शन में पूछ सकते हैं, आपकी हर संभव मदद की जाएगी।

यह भी पढ़ें,

• अपनी Website को Negative SEO से Protect कैसे करें?
• Keyword Research क्या है और ये SEO के लिए क्यों जरुरी है?

अगर आपको यह जानकारी अच्छी लगे तो इसे अपने दोस्तों के साथ शेयर जरूर करें।