Κακά ρομποτάκια

[nect]

Πως μπορώ να αποκλείσω τα κακά ρομποτάκια των μηχανών αναζήτησης που διαβάζουν τις σελίδες μου για να τις κατατάξουν με αποτέλεσμα να ανεβάζουν κατακόρυφα το Bandwidth στην σελίδα μου.

[datahell]

Μπορείς να το κάνεις και με το htaccess και με την php. Και στους δύο τρόπους το όλο τρυκ είναι ο έλεγχος του user agent (HTTP_USER_AGENT).

Παράδειγμα htaccess:
http://techpatterns.com/downloads/scripts/sample_wbmw.txt

και εδώ, ένας άλλος τρόπος:
http://www.securitylabs.gr/blogs/2007/10/06/block-bad-bots-and-spiders-with-htaccess/

Για την php θα πρέπει να βάλεις στο includes/Core/loader.php ή στο includes/Core/security.php του elxis κάτι το οποίο να ελέγχει τον user agent και αν δεν μας αρέσει να μπλοκάρει τον επισκέπτη ή να τον ανακαετυθύνει.
Βλέπε ένα παράδειγμα εδώ:
http://www.webmasterworld.com/forum88/728.htm
Το παραπάνω script στέλνει και ειδοοποιητήριο e-mail το οποίο όμως θεωρώ υπερβολή (θα γεμίσεις με e-mail).

Σημειώσεις:
1. Μην ακολουθήσεις τυχόν τρόπους που θα δεις με το robots.txt ή τα meta tags γιατί τα "κακά ρομποτάκια" ίσως να μην ακούσουν τις οδηγίες αυτές.
2. Μπορεί κάποιος να κάνει spoof (να αλλοιώσει) το user agent του. Σε αυτή την περίπτωση όλα τα script του κόσμου είναι άχρηστα. Βέβαια οι μηχανές αναζήτησης έχουν στάνταρ user agents και δεν αλλάζουν αλλά λέμε τώρα...
3. Ακόμα και έλεγχο της ip ή του hostname να κάνεις και πάλι μπορεί κάποιος να περάσει χρησιμοποιώντας proxy.

Απόλυτη λύση στο να μπλοκάρεις 100% κάποιον δεν υπάρχει, απλά κόβεις του πολλούς. Υπάρχουν 1000 τρόποι να μπεις σε οποιοδήποτε site ότι μπλοκάρισμα και να υπάρχει και το χειρότερο; είναι πολύ εύκολο να το κάνει ο καθένας...

[nect]

Σε ευχαριστώ πάρα πολύ φίλε μου καλή σου μέρα