Cette page utilise des feuilles de style en cascade. Si vous arrivez à lire ce message, c'est que CSS ou javascript ne sont pas activés dans les options de votre navigateur.
Les menus ne seront sans doute pas affichés.
L'affichage de la page sera donc différent de ce qui est prévu.
Visitez plutôt l'autre version du site.

Pièges à robots

Piéger ? | Capturer ? | Identifier | Robots | Détecter | Bloquer | Autoriser & Bloquer | Pistes...

Quand un auteur ne souhaite pas que son site soit copié ou indexé par les moteurs de recherche, il a de nombreux moyens à sa disposition :

  1. Une balise meta comme <meta name="robots" content="noindex,nofollow"> (peu efficace).
  2. Un fichier robots.txt qui indique les parties du site à ne pas explorer (peu efficace).
  3. .htaccess pour exclure les robots connus ou identifiés (très efficace).
  4. Une applet java, un peu d'html, un script en php, javascript et bien d'autres langages (assez à très efficace).
Ces méthodes sont détaillées en anglais aux adresses suivantes : dans la documentation d'Httrack (abuse FAQ for webmasters).

et aussi www.webmasterworld.com (recherchez "spider trap" / "Blocking Badly Behaved Bots" ou consultez www.webmasterworld.com/forum24/ ou www.webmasterworld.com/forum88/ ou www.webmasterworld.com/forum92/ ).

En français, on peut trouver des scripts et quelques détails à ces adresses : Quelques explications mais pour les moteurs de recherche à ces adresses :

Piéger ?

Tous ces pièges risquent d'empêcher le référencement des pages par les moteurs de recherche, de rendre la consultation du site plus difficile et de décourager les utilisateurs.

On peut le comprendre quand il s'agit de lutter - à juste titre et simplement avec une ligne ou deux de javascript - contre les "spam harvesters", "email grabbers", "email collectors", "spambots", "spamrats" mais il n'est pas toujours justifié de s'attaquer à tous les aspirateurs de site ("spiders", "site copiers", "offline browsers" ...) même s'ils consomment de la bande passante et bloquent ou surchargent certains sites.
Il est vrai que certains hébergeurs font payer en fonction du trafic ou limitent les accès et que des visiteurs sont donc refoulés.
Mais la capture de site peut être effectuée pour de bonnes raisons : ce site a pour objet d'aider ceux qui capturent des sites pour leurs élèves ou parce qu'ils n'ont pas la possibilité de rester connectés ...

Capturer ?

Souvent, après quelque temps, les protections sont retirées : ceux dont les navigateurs ne disposent pas des plugins (Macromedia, java -JRE 6.0-) ou n'interprètent pas javascript sont perdus comme lecteurs ou clients.
Si vous jugez que le site mérite néanmoins d'être copié, demandez à son auteur comment en obtenir une copie consultable hors ligne.
En effet, activer l'option "pas de règles robots.txt" risque de vous interdire l'accès au site, vous faire tomber dans un piège à robot ou vous amener à copier des centaines de pages sans intérêt - pages d'erreur, images, documentations etc -.

Dans tous les cas, repérez les répertoires utiles, dans l'onglet "Limites" limitez le "taux maximal", le "nombre maxi de connexions par seconde" ou limitez le nombre de connexions dans l'onglet "contrôle du flux".
Les exemples de capture 12 et 17 peuvent vous donner une idée de la façon de procéder.

Identifier un robot

Pour une liste des robots qui s'identifient, consultez ces adresses :

Les robots et ce site

Liste des robots qui fréquentent ce site (ici il s'agit la plupart du temps de référencement, méta-moteurs de recherche, vérification de la validité d'un lien vers le site, sondages et contrôles divers -anti-plagiat, noms utilisés, spam...-. Plusieurs de ces robots s'attendent à de l'anglais dans la page d'accueil et ne reviennent donc pas.) :

"1Noonbot search engine" - "50.nu" - "80legs crawler" - "ABACHOBot search engine" - "abcfr_robot search engine" - "Accoona-AI-Agent search engine" - "AcoonBot search engine" - "ActiveBookmark" - "Advanced URL Catalog bookmark manager" - "Advista search engine" - "aiHitBot" - "aipbot search engine" - "alef" - "Aleksika search engine" - "amagit.com search engine" - "Amfibibot search engine" - "Anonymous / Skywalker" - "AnswerBus search engine" - "AntBot search engine" - "antibot crawler" - "appie 1.1 (www.walhello.com) search engine" - "Apple-PubSub RSS monitoring" - "archive.org_bot crawler" - "Argus bookmark managing crawler" - "Art-Online.com 0.9(Beta) crawler" - "Ask Jeeves crawler" - "Asterias crawler" - "atraxbot" - "Baiduspider search engine" - "Bazbot search engine" - "BecomeBot search engine" - "Big Fish log spam" - "Biglotron search engine" - "bingbot crawler" - "binlar" - "bitlybot" - "bixolabs  Data Mining" - "BlackMask.Net search engine" - "BlogCorpusCrawler" - "Bloglines RSS monitoring" - "Bluebot crawler" - "BnF" - "bogospider" - "boitho.com-robot search engine" - "Bookdog bookmark manager" - "bot/1.0" - "botmobi search engine" - "BruinBot crawler" - "Butterfly search engine" - "BuzzRankingBot crawler" - "C4PC" - "CacheBot" - "Caliperbot" - "CamontSpider crawler" - "capek crawler" - "Casper Bot Search zombie" - "CatchBot crawler" - "CazoodleBot crawler" - "CCBot crawler" - "ccubee search engine" - "CentiverseBot search engine" - "cfetch" - "Chanceo log spam" - "Charlotte search engine" - "Cherchonsbot search engine" - "Cityreview" - "CMS Crawler" - "Combine crawler" - "comBot search engine" - "cometsystems crawler" - "Content Crawler crawler" - "ContextAd Bot" - "Convera  RetrievalWare" - "CorenSearchBot" - "Corpora from the web crawler" - "Cosmix crawler" - "CosmixCrawler search engine" - "Covario crawler" - "Crawl Annu" - "Crawllybot search engine" - "csci_b659  Data Mining" - "CSS/HTML/XTHML  Validator" - "CSSCheck" - "cybercity.dk IE 5.5 Compatible Browser" - "CydralSpider search engine" - "darxi spam / email grabbing" - "DataFountains/DMOZ Downloader" - "DAUM Web Robot search engine" - "dcbspider search engine" - "DealGates" - "Declumbot" - "deepak-USC/ISI  spider" - "del.icio.us-thumbnails" - "del.icio.us  bookmark manager link checker" - "DepSpid crawler" - "Diamond search engine" - "Diffbot" - "Directcrawler" - "discobot crawler" - "DLE_Spider spam" - "DMOZ Experiment" - "DNSGroup crawler" - "DotBot crawler" - "DTAAgent search engine" - "Dumbot search engine" - "e-SocietyRobot crawler" - "eApolloBot search engine" - "EasyDL/3.04" - "EdisterBot crawler" - "ejupiter.com search engine" - "ellerdale search engine" - "EnaBot crawler" - "envolk search engine" - "ePochta_Extractor spam / email grabbing" - "ETS  translation bot" - "europarchive" - "Exabot crawler" - "Exabot-Thumbnails" - "exactseek-crawler-2.63" - "Exalead NG" - "exooba crawler" - "Ezooms" - "facebookexternalhit" - "Factbot search engine" - "Falconsbot search engine" - "FAST crawler" - "FAST Enterprise Crawler" - "FAST FirstPage retriever" - "fast-search-engine" - "FAST-WebCrawler" - "FAST MetaWeb Crawler" - "FavOrg Link checker" - "favorstarbot Advertising" - "FeedBot" - "FeedBurner" - "FeedFetcher-Google" - "Fetch API Request" - "Filangy bookmark managing crawler" - "Findexa crawler" - "findfiles.net search engine" - "findlinks" - "flatlandbot" - "fleck" - "Flight Deck" - "FlightDeckReports" - "Fluffy (searchhippo) search engine" - "flyindex search engine" - "Focal crawler" - "FollowSite" - "Friend search engine" - "FurlBot search engine" - "Gaisbot/3.0 search engine" - "Galbot crawler" - "Generalbot" - "genevabot search engine" - "geniebot search engine" - "GeoBot" - "Gigabot crawler" - "Gigamega.bot search engine" - "GingerCrawler" - "Girafabot" - "Gnomit crawler" - "GOFORITBOT search engine" - "gold crawler" - "Google Desktop RSS monitoring" - "Google-Site-Verification" - "Google-Sitemaps" - "Googlebot crawler" - "Googlebot-Image" - "Googlebot-Mobile" - "Google Web Preview" - "grub search engine" - "grub crawler" - "grub.org" - "gsa-crawler" - "GT::WWW/1." - "gURLChecker Link checker" - "GurujiBot search engine" - "GUSbot" - "GVC-SPIDER" - "Hailoobot search engine" - "Haste" - "hclsreport crawler" - "Helix crawler" - "HenriLeRobotMirago crawler" - "Heritrix crawler" - "hoge" - "Holmes search engine" - "HooWWWer crawler" - "htdig" - "HuaweiSymantecSpider crawler" - "ia_archiver crawler" - "ICC-Crawler crawler" - "ichiro search engine" - "icsbot-0.1" - "IlTrovatore search engine" - "imbot" - "INA dlweb crawler" - "IndoCrew zombie" - "Indy Library  Internet Direct Library for Borland - often spambot" - "InelaBot crawler" - "inet library" - "inktomi Slurp crawler" - "InsiteRobot" - "integromedb.org crawler" - "InternetSeer Connectivity checker" - "Interseek" - "IntranooBot" - "IP*Works Link checker" - "IRLbot crawler" - "iSearch search engine" - "istarthere search engine" - "IXE Crawler" - "Jakarta Commons" - "Jetbot/1.0 crawler" - "JungleKeyBot search engine" - "Jyxobot search engine" - "KaloogaBot search engine" - "Killou.com search engine" - "KiwiStatus search engine" - "kmccrew Bot Search zombie" - "Knowledge.com search engine" - "knowmore" - "KomodiaBot" - "Lachesis" - "larbin crawler" - "ldspider" - "lemurwebcrawler" - "librabot search engine" - "libwww-perl" - "LinguaBot search engine" - "linkaGoGo crawler" - "LinkChecker" - "Link Commander bookmark manager" - "linkdex.com" - "Linkman Link checker" - "Links SQL" - "Link Valet Online Link checker" - "LiteFinder search engine" - "livemark.jp Link checker" - "lmspider crawler" - "Look.com search engine" - "Loopy.fr search engine" - "Loserbot" - "Lsearch/sondeur" - "lwp-request" - "lwp-trivial" - "LWP::Simple" - "MagpieRSS" - "Mail.Ru" - "MaMa CaSpEr zombie" - "MaMa CyBer zombie" - "MapoftheInternet search engine" - "Marvin search engine" - "Me.dium OneRiot crawler" - "Mediapartners-Google" - "Megaglobe search engine" - "Megite  news aggregator" - "MetaGeneratorCrawler" - "Metaspinner search engine" - "MileNSbot search engine" - "Mirago (HenriLeRobot) crawler" - "MJ12bot crawler" - "MLBot" - "MnogoSearch/3.2.11" - "MojeekBot search engine" - "Monrobot crawler" - "MOSBookmarks Link checker" - "mozDex crawler" - "Mozilla/4.0 (compatible; MSIE 6.0)" - "Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.0;)" - "Mp3Bot search engine" - "MQbot crawler" - "ms research robot" - "MSIE 4.5 log spam" - "MSIE 6.0 (compatible; MSIE 6.0;... log spam" - "MSIE 7.01 log spam" - "MSMOBOT crawler" - "msnbot crawler" - "MSNPTC  MSN search robot" - "MSR-ISRCCrawler" - "MSRBOT crawler" - "MultiCrawler search engine" - "mxbot" - "MyFamilyBot crawler" - "Nambu" - "NaverBot search engine" - "NaverRobot search engine" - "Nelian Pty Ltd" - "Netcraft survey" - "netEstate crawler" - "NetID Bot Advertising" - "NetResearchServer search engine" - "NetSprint search engine" - "NetWhatCrawler search engine" - "newsg8 RSS monitoring" - "NEWT ActiveX spam / email grabbing" - "NG-Search search engine" - "NG/1.0" - "NG/2.0 crawler" - "NGBot crawler" - "nicebot" - "Nigma search engine" - "NimbleCrawler search engine" - "NjuiceBot" - "Norbert the Spider search engine" - "NoteworthyBot" - "NPBot  NameProtect crawler" - "nrsbot search engine" - "NuSearch Spider search engine" - "Nutch crawler" - "Nutch (Princeton) crawler" - "ObjectsSearch search engine" - "oBot crawler" - "octopodus search engine" - "Octora crawler" - "ODP::/0.01 Link checker" - "ODP entries" - "ODP links test" - "OmniExplorer_Bot search engine" - "onalytica" - "onCHECK" - "OnetSzukaj search engine" - "OOZBOT search engine" - "Openbot search engine" - "OpenindexSpider" - "OpenISearch search engine" - "OpenTaggerBot  social bookmarks" - "OpenX Spider Advertising" - "OrangeBot-Mobile search engine" - "OutfoxBot" - "ozelot" - "page-store" - "Pagebull search engine" - "pagepeeker" - "page_verifier" - "Paleoweb crawler" - "PanopeaBot/1.0 (UCLA CS Dpt.)" - "panopta.com Connectivity checker" - "Pathtraq search engine" - "PEERbot search engine" - "PeerFactor crawler" - "Pete-Spider crawler" - "pflab" - "PHP/4." - "PHP version tracker web stats" - "PicSpider" - "PipeLine  spider" - "Pita crawler" - "plaNETWORK Bot Search zombie" - "Plukkie search engine" - "PollettSearch crawler" - "polybot crawler" - "Pompos - dir.com crawler" - "Popdexter crawler" - "PostFavorites" - "PostRank" - "Powermarks Link checker" - "PrivacyFinder search engine" - "PROBE! search engine" - "Program Shareware" - "psbot crawler" - "Python-urllib" - "QEAVis" - "QihooBot search engine" - "Qualidator.com Bot" - "quickobot crawler" - "RAMPyBot search engine" - "RankurBot" - "Rapid-Finder search engine" - "Reaper/2.06 search engine" - "RedBot crawler" - "RedCarpet" - "RixBot search engine" - "robotgenius  malware detection?" - "Robozilla/1.0" - "RSSMicro search engine" - "RTGI  Data Mining" - "RufusBot" - "sagool search engine" - "savvybot search engine" - "SBIder crawler" - "schibstedsokbot search engine" - "Scooter search engine" - "ScoutJet search engine" - "Scrubby search engine" - "search.updated.com search engine" - "Search17Bot search engine" - "SearchByUsa search engine" - "SearchIt.Bot search engine" - "SearchWebLinks" - "Seekbot crawler" - "Semager search engine" - "SemrushBot" - "Sensis search engine" - "SEOENGBot" - "SEOprofiler bot crawler" - "SETOOZBOT search engine" - "SeznamBot" - "ShablastBot search engine" - "Shelob" - "sherlock search engine" - "Shim-Crawler" - "ShrinkTheWeb crawler" - "ShunixBot crawler" - "silk search engine" - "Sindup RSS monitoring" - "SISTRIX crawler" - "SiteBot log spam" - "SiteIntel.net Bot" - "Skywalker / Anonymous" - "sledink Bot Search zombie" - "Slurpy Verifier" - "snap.com search engine" - "Snapbot search engine" - "SnapPreviewBot" - "socbay search engine" - "sogou spider" - "sohu-search search engine" - "sohu agent search engine" - "Solomono search engine" - "Sosospider search engine" - "SpeedySpider search engine" - "SpiderLing crawler" - "Spinn3r" - "sproose crawler" - "SpurlBot bookmark managing crawler" - "sSearch Crawler" - "statbot" - "StatusCheckBot Link checker" - "Steeler crawler" - "SuperBot search engine" - "Susie  bookmark manager link checker" - "sygol search engine" - "SynapticWalker spam / email grabbing" - "SynooBot search engine" - "Syntryx ANT Chassis crawler" - "Szukacz/1.5 search engine" - "T-H-U-N-D-E-R-S-T-O-N-E" - "TargetYourNews Link checker" - "Teemer" - "Teoma search engine" - "TerraSpider" - "test" - "TFC" - "Theophrastus" - "Thriceler search engine" - "Thumbnail.CZ robot" - "thumbshots-de-bot" - "TinEye crawler" - "TranSGeniKBot" - "trexmod" - "Tubenowbot Link checker" - "TurnitinBot crawler" - "TutorGigBot crawler" - "Tutorial Crawler" - "TweetmemeBot" - "TwengaBot crawler" - "Twiceler crawler" - "Twisted PageGetter" - "Twitterbot" - "Twitturl" - "TygoBot search engine" - "uberbot crawler" - "UnChaosBot search engine" - "Unicorn  Validator" - "updated search engine" - "Update Profile Bot search engine" - "Updownerbot" - "UptimeAuditor Connectivity checker" - "UptimeBot" - "URLBase bookmark manager" - "Valizbot crawler" - "VDSX.nl search engine" - "versus crawler" - "Visbot search engine" - "VoilaBot crawler" - "Voluniabot" - "Vortex crawler" - "voyager search engine" - "VSE/1.0 crawler" - "W3C-checklink" - "WASALive search engine" - "WebAlta crawler" - "WebarooBot crawler" - "WebCorp search engine" - "webcrawl search engine" - "WebFilter" - "WebIndexer search engine" - "WebRACE/1.1" - "Webscan" - "WebsiteWorth log spam" - "wikiwix search engine" - "Willow Internet Crawler" - "Windows-Live-Social-Object-Extractor-Engine" - "WinkBot search engine" - "Winsey search engine" - "WIRE" - "WongBot" - "woriobot search engine" - "WorQmada Link checker" - "Wotbox search engine" - "wume_crawler" - "www.almaden.ibm.com/cs/crawler" - "www.IsMySiteUp.Net" - "www.pisoc.com search engine" - "Xenu Link checker" - "Xerka  Data Mining" - "xirq search engine" - "XmarksFetch bookmark manager  search engine" - "yacybot search engine" - "Yahoo! Slurp crawler" - "Yahoo! Mindset" - "Yahoo-MMCrawler" - "Yahoo-Test crawler" - "YahooSeeker search engine" - "YahooVideoSearch search engine" - "Yandex search engine" - "Yanga search engine" - "yellowJacket Link checker" - "YesupBot" - "Yeti search engine" - "Yooda" - "yoono search engine" - "YottaCars search engine" - "YottaShopping search engine" - "YoudaoBot search engine" - "YRSpider" - "ZeBot search engine" - "zerxbot search engine" - "Zeus search engine" - "Zion crawler" - "ZipppBot search engine" - "ZyBorg/1.0 search engine" -

Ainsi que ceux qui ne s'identifient pas toujours (ils sont si nombreux que ne sont affichés que ceux repérés en 2021):
"Ask crawler" - "Baiduspider search engine" - "bloglines" - "Cox Communications" - "exabot thumb" - "IP 1.2.2\d+.\d{1,3} log spam" - "IP 5.34.\d{1,3}.\d{1,3} log spam" - "IP 5.39.\d{1,3}.\d{1,3} log spam" - "IP 5.248.\d{1,3}.\d{1,3} log spam" - "IP 5.249.\d{1,3}.\d{1,3} log spam" - "IP 23.19.\d{1,3}.\d{1,3} log spam" - "IP 23.94.\d{1,3}.\d{1,3} log spam" - "IP 23.95.\d{1,3}.\d{1,3} log spam" - "IP 23.231.\d{1,3}.\d{1,3} log spam" - "IP 27.123.\d{1,3}.\d{1,3} log spam" - "IP 31.6.\d{1,3}.\d{1,3} log spam" - "IP 37.187.\d{1,3}.\d{1,3} log spam" - "IP 41.140.\d{1,3}.\d{1,3} log spam" - "IP 41.225.\d{1,3}.\d{1,3} log spam" - "IP 46.4.\d{1,3}.\d{1,3} log spam" - "IP 46.29.\d{1,3}.\d{1,3} log spam" - "IP 46.118.\d{1,3}.\d{1,3} log spam" - "IP 46.249.\d{1,3}.\d{1,3} log spam" - "IP 49.49.\d{1,3}.\d{1,3} log spam" - "IP 58.22.\d{1,3}.\d{1,3} log spam" - "IP 62.102.148.69 log spam" - "IP 62.210.\d{1,3}.\d{1,3} log spam" - "IP 69.12.\d{1,3}.\d{1,3} log spam" - "IP 69.46.\d{1,3}.\d{1,3} log spam" - "IP 69.163.\d{1,3}.\d{1,3} log spam" - "IP 78.0.\d{1,3}.\d{1,3} log spam" - "IP 78.9.\d{1,3}.\d{1,3} log spam" - "IP 78.46.\d{1,3}.\d{1,3} log spam" - "IP 78.47.\d{1,3}.\d{1,3} log spam" - "IP 78.166.\d{1,3}.\d{1,3} log spam" - "IP 80.82.\d{1,3}.\d{1,3} log spam" - "IP 80.93.213.\d{1,3} log spam" - "IP 81.17.\d{1,3}.\d{1,3} log spam" - "IP 81.64.\d{1,3}.\d{1,3} log spam" - "IP 83.8.\d{1,3}.\d{1,3} log spam" - "IP 83.23.\d{1,3}.\d{1,3} log spam" - "IP 85.214.\d{1,3}.\d{1,3} log spam" - "IP 88.198.\d{1,3}.\d{1,3} log spam" - "IP 89.44.\d{1,3}.\d{1,3} log spam" - "IP 91.121.\d{1,3}.\d{1,3} log spam" - "IP 91.205.\d{1,3}.\d{1,3} log spam" - "IP 91.207.\d{1,3}.\d{1,3} log spam" - "IP 91.219.\d{1,3}.\d{1,3} log spam" - "IP 92.255.\d{1,3}.\d{1,3} log spam" - "IP 93.182.\d{1,3}.\d{1,3} log spam" - "IP 94.23.\d{1,3}.\d{1,3} log spam" - "IP 94.242.\d{1,3}.\d{1,3} log spam" - "IP 95.154.\d{1,3}.\d{1,3} log spam" - "IP 96.44.\d{1,3}.\d{1,3} log spam" - "IP 103.78.115.62 log spam" - "IP 104.160.2.\d{1,3} log spam" - "IP 107.158.\d{1,3}.\d{1,3} log spam" - "IP 107.172.99.21 log spam" - "IP 109.74.\d{1,3}.\d{1,3} log spam" - "IP 109.224.\d{1,3}.\d{1,3} log spam" - "IP 110.138.\d{1,3}.\d{1,3} log spam" - "IP 111.119.\d{1,3}.\d{1,3} log spam" - "IP 112.78.\d{1,3}.\d{1,3} log spam" - "IP 113.72.\d{1,3}.\d{1,3} log spam" - "IP 118.97.\d{1,3}.\d{1,3} log spam" - "IP 118.99.\d{1,3}.\d{1,3} log spam" - "IP 118.174.\d{1,3}.\d{1,3} log spam" - "IP 119.42.\d{1,3}.\d{1,3} log spam" - "IP 124.122.\d{1,3}.\d{1,3} log spam" - "IP 130.185.\d{1,3}.\d{1,3} log spam" - "IP 137.135.\d{1,3}.\d{1,3} log spam" - "IP 142.0.\d{1,3}.\d{1,3} log spam" - "IP 151.237.\d{1,3}.\d{1,3} log spam" - "IP 168.61.\d{1,3}.\d{1,3} log spam" - "IP 171.5.\d{1,3}.\d{1,3} log spam" - "IP 172.245.\d{1,3}.\d{1,3} log spam" - "IP 172.255.81.\d{1,3} log spam" - "IP 173.0.\d{1,3}.\d{1,3} log spam" - "IP 173.208.\d{1,3}.\d{1,3} log spam" - "IP 173.212.\d{1,3}.\d{1,3} log spam" - "IP 173.213.\d{1,3}.\d{1,3} log spam" - "IP 173.234.\d{1,3}.\d{1,3} log spam" - "IP 173.236.\d{1,3}.\d{1,3} log spam" - "IP 173.245.\d{1,3}.\d{1,3} log spam" - "IP 173.254.\d{1,3}.\d{1,3} log spam" - "IP 175.140.\d{1,3}.\d{1,3} log spam" - "IP 176.8.\d{1,3}.\d{1,3} log spam" - "IP 176.9.\d{1,3}.\d{1,3} log spam" - "IP 176.31.\d{1,3}.\d{1,3} log spam" - "IP 176.192.\d{1,3}.\d{1,3} log spam" - "IP 177.69.\d{1,3}.\d{1,3} log spam" - "IP 178.32.\d{1,3}.\d{1,3} log spam" - "IP 178.33.\d{1,3}.\d{1,3} log spam" - "IP 178.63.\d{1,3}.\d{1,3} log spam" - "IP 178.216.\d{1,3}.\d{1,3} log spam" - "IP 178.238.\d{1,3}.\d{1,3} log spam" - "IP 180.180.\d{1,3}.\d{1,3} log spam" - "IP 180.183.\d{1,3}.\d{1,3} log spam" - "IP 180.250.\d{1,3}.\d{1,3} log spam" - "IP 180.252.\d{1,3}.\d{1,3} log spam" - "IP 182.52.\d{1,3}.\d{1,3} log spam" - "IP 184.75.\d{1,3}.\d{1,3} log spam" - "IP 184.82.\d{1,3}.\d{1,3} log spam" - "IP 184.95.45.\d{1,3} log spam" - "IP 185.220.101.26 log spam" - "IP 186.42.\d{1,3}.\d{1,3} log spam" - "IP 188.138.\d{1,3}.\d{1,3} log spam" - "IP 188.163.\d{1,3}.\d{1,3} log spam" - "IP 188.165.\d{1,3}.\d{1,3} log spam" - "IP 188.240.\d{1,3}.\d{1,3} log spam" - "IP 190.144.2\d+.\d{1,3} log spam" - "IP 190.145.\d{1,3}.\d{1,3} log spam" - "IP 190.186.\d{1,3}.\d{1,3} log spam" - "IP 190.221.\d{1,3}.\d{1,3} log spam" - "IP 190.232.\d{1,3}.\d{1,3} log spam" - "IP 192.3.\d{1,3}.\d{1,3} log spam" - "IP 192.99.\d{1,3}.\d{1,3} log spam" - "IP 192.210.\d{1,3}.\d{1,3} log spam" - "IP 192.227.\d{1,3}.\d{1,3} log spam" - "IP 195.154.\d{1,3}.\d{1,3} log spam" - "IP 198.12.\d{1,3}.\d{1,3} log spam" - "IP 198.20.\d{1,3}.\d{1,3} log spam" - "IP 198.23.\d{1,3}.\d{1,3} log spam" - "IP 198.46.\d{1,3}.\d{1,3} log spam" - "IP 198.144.\d{1,3}.\d{1,3} log spam" - "IP 198.204.\d{1,3}.\d{1,3} log spam" - "IP 199.127.\d{1,3}.\d{1,3} log spam" - "IP 203.189.\d{1,3}.\d{1,3} log spam" - "IP 204.44.\d{1,3}.\d{1,3} log spam" - "IP 209.141.\d{1,3}.\d{1,3} log spam" - "IP 212.83.\d{1,3}.\d{1,3} log spam" - "IP 212.129.\d{1,3}.\d{1,3} log spam" - "IP 212.156.\d{1,3}.\d{1,3} log spam" - "IP 216.59.\d{1,3}.\d{1,3} log spam" - "IP 216.213.\d{1,3}.\d{1,3} log spam" - "MSNBot crawler" - "netsweeper" - "NOOS crawler" - "UUNET" - "webtrends" - "Yahoo crawler" - "www.dir.com"

Vous pouvez consulter les dernières visites ou les identificateurs complets annoncés (1432 User Agents) ou en télécharger la liste.

Quelques robots demandent régulièrement robots.txt mais les testeurs de validité des liens (vers votre site depuis d'autres sites ou des moteurs de recherche), les outils de validation de syntaxe et le log spamming ne lisent pas robots.txt.

Parmi ceux qui explorent le site

N'ont pas respecté les règles robots.txt :

  • Advista AdBot,alef/0.0, Alexa, BIGLOTRON(Beta 2), Asterias, boitho.com, Content Crawler, DTAAgent, fast-search-engine, Fetch API Request, Gigamega.bot, grub (looksmart & other users), Helix, ia_archiver (Alexa), IRLbot, INA dlweb, Jyxobot, libwww-perl, LiteFinder, Lsearch/sondeur, LWP (simple & trivial), msnbot/2.0b, MSR-ISRCCrawler, NetResearchServer, NOOS, OmniExplorer_Bot, Pompos (www.dir.com), Program Shareware, shunix (libwww-perl/5.803), TygoBot, wbdbot, WebCrawler, Yahoo! Slurp/3.0, ZyBorg

- récemment :

  • Content Crawler, IP 89.122.57.185, LinguaBot, PollettSearch, SISTRIX, SolomonoBot, TwengaBot

Ont utilisé le maximum de la bande passante :

  • appie, Ask Jeeves, Exalead ou NG/1.0, Fetch API Request, msnbot/0.1, msnbot/0.11, NaverRobot, Pompos (www.dir.com), Program Shareware, shunix (Xun), TygoBot, WebCrawler

- récemment :

  • Cityreview, e-SocietyRobot, INA dlweb, LWP (simple & trivial), NG/2 (Exalead), OmniExplorer_Bot, Seekbot

Ont suivi les règles robots.txt sauf pour les fichiers exe, pdf, tar et zip :
- récemment :

  • larbin, Sensis.com.au, sygol, ZyBorg

Récemment pour ce site :

Explorent uniquement la page d'accueil

  • Anonymous
  • Bazbot
  • Big Fish
  • BuzzRankingBot
  • CentiverseBot
  • Cherchonsbot
  • CMS Crawler
  • comBot
  • ContextAd Bot
  • Cosmix
  • Crawl Annu
  • Crawllybot
  • cybercity.dk
  • DataFountains/DMOZ Downloader
  • Declumbot
  • del.icio.us-thumbnails
  • DMOZ Experiment
  • DNSGroup
  • DomainTaggingbot
  • ejupiter.com
  • elefent
  • emefgebot
  • envolk
  • exooba
  • favorstarbot
  • flatlandbot
  • Flight Deck
  • Fluffy
  • flyindex
  • FollowSite
  • Gaisbot/3.0
  • Galbot
  • GeoBot
  • Gnomit
  • GOFORITBOT
  • google+
  • grub crawler
  • GT::WWW/1.02
  • GVC-SPIDER
  • Holmes
  • HooWWWer
  • HouxouCrawler
  • ICC-Crawler
  • Indy Library
  • InelaBot
  • InsiteRobot
  • InternetSeer
  • IP*Works
  • IP 67.15.68.85
  • IP 67.108.232.229
  • IP 193.109.173.79
  • IP 207.44.188.104
  • iSearch
  • JikeSpider
  • JungleKeyBot
  • KaloogaBot
  • KiwiStatus Update Profile
  • Knowledge.com
  • linkaGoGo
  • LinkPimpin
  • Links SQL
  • Look.com
  • Loopy.fr
  • Loserbot
  • MapoftheInternet
  • Marvin
  • MetaGenerator
  • Metaspinner
  • Monrobot
  • mozDex
  • MQBOT
  • MSIE 4.5; Windows 98;
  • MSIE 6.0 (compatible; MSIE 6.0;
  • MSIE 7.01
  • MSNPTC
  • MultiCrawler
  • NCBot
  • Netcraft
  • netEstate
  • NetID Bot
  • NetResearchServer
  • NetSprint
  • NetWhatCrawler
  • NimbleCrawler
  • nrsbot
  • ObjectsSearch
  • octopodus
  • ODP::/0.01
  • ODP links test
  • onCHECK
  • OnetSzukaj
  • OpenX Spider
  • PEERbot
  • PHP/4.2.2
  • PHP version tracker
  • PicSpider
  • PipeLiner
  • polybot
  • PrivacyFinder
  • PROBE!
  • RAMPyBot
  • REBOL View
  • Robotzilla
  • savvybot
  • Scrubby
  • search.updated.com
  • SearchByUsa
  • SearchIt.Bot
  • silk
  • Skywalker
  • Slurpy Verifier
  • snap.com
  • snipsearch
  • sogou spider
  • sohu-search
  • SynooBot
  • Syntryx ANT
  • T-H-U-N-D-E-R-S-T-O-N-E
  • Teoma
  • test
  • Thumbnail.CZ robot
  • thumbshots-de-bot
  • trexmod
  • updated
  • UUNET
  • VDSX.nl
  • WebAlta
  • webcrawl
  • WebRACE
  • WebsiteWorth
  • wectarbot
  • wikiwix
  • Willow Internet Crawler
  • WinkBot
  • Winsey
  • WIRE
  • WorQmada
  • www.IsMySiteUp.Net
  • xirq
  • yacybot
  • Yahoo-MMCrawler
  • Yandex
  • Yooda
  • YottaCars
  • YottaShopping
  • YoudaoBot
  • ZeBot
  • zerxbot
  • ZipppBot

Explorent les autres pages

  • 1Noonbot
  • 80legs
  • ABACHOBot
  • abcfr_robot
  • Accoona-AI-Agent
  • AcoonBot
  • ActiveBookmark
  • ADmantX
  • AdsBot-Google
  • Advista AdBot
  • aiHitBot
  • aipbot
  • alef
  • Aleksika
  • Alexa
  • amagit
  • Amfibibot
  • AnswerBus
  • AntBot
  • antibot
  • appie
  • Apple-PubSub
  • AraBot
  • archive.org_bot
  • Argus
  • Ask Jeeves
  • Asterias
  • atraxbot
  • BacklinkCrawler
  • Baiduspider
  • BecomeBot
  • Biglotron
  • Bing
  • binlar
  • bitlybot
  • bixolabs
  • BlogCorpusCrawler
  • Blogdimension
  • Bloglines (RSS)
  • Bluebot
  • bogospider
  • boitho
  • Bookdog
  • bot/1.0
  • BruinBot
  • BUbiNG
  • Butterfly
  • C4PC
  • CacheBot
  • Caliperbot
  • capek
  • CatchBot
  • CazoodleBot
  • CCBot
  • ccubee
  • cfetch
  • Chanceo
  • Cityreview
  • Claritybot
  • Combine
  • cometsystems
  • CompSpyBot
  • Content Crawler
  • ConveraCrawler
  • CorenSearchBot
  • COrpora from the Web
  • Covario
  • Cox Communications
  • CRAZYWEBCRAWLER
  • csci_b659/0.13
  • CydralSpider
  • Cyveillance
  • darxi
  • Dazoobot
  • DealGates
  • deepak-USC/ISI
  • del.icio.us
  • DepSpid
  • Diamond
  • Diffbot
  • discobot
  • Discovery Engine
  • DotBot
  • DTAAgent
  • Dumbot
  • e-SocietyRobot
  • eApolloBot
  • EasyDL
  • EdisterBot
  • ellerdale
  • EnaBot
  • ePochta_Extractor
  • ETS
  • Exabot
  • Exabot-Images
  • Exabot-Thumbnails
  • facebookexternalhit
  • Factbot
  • Falconsbot
  • FAST-search-engine
  • FAST-WebCrawler
  • FAST Enterprise Crawler
  • FAST MetaWeb Crawler
  • FavOrg
  • FeedBurner
  • FeedFetcher-Google (RSS)
  • Fetch API Request
  • Filangy
  • Findexa
  • findfiles.net
  • findlinks
  • fleck
  • Focal
  • Friend or Winsey
  • FurlBot
  • Gaisbot
  • Generalbot
  • genevabot
  • geniebot
  • Gigabot/1.0
  • Gigamega.bot
  • GingerCrawler
  • Girafabot
  • gold crawler
  • Google-Sitemaps
  • Googlebot
  • Googlebot-Image
  • Googlebot-Mobile
  • Google Desktop
  • GrapeshotCrawler
  • grub
  • grub.org
  • gsa-crawler
  • gURLChecker
  • GurujiBot
  • GUSbot
  • Hailoobot
  • hclsreport
  • Helix
  • HenriLeRobotMirago
  • Heritrix
  • hoge
  • htdig
  • ia_archiver
  • ichiro
  • IGBot
  • Iltrovatore-Setaccio
  • INA dlweb
  • inet library
  • interseek
  • IntranooBot
  • IP 63.247.72.42
  • IP 89.122.57.185
  • IP 217.74.99.100
  • IRLbot
  • istarthere
  • Jakarta Commons-HttpClient
  • Jetbot
  • Jyxobot
  • KiwiStatus
  • knowmore
  • larbin
  • ldspider
  • lemurwebcrawler
  • librabot
  • libwww-perl
  • LinguaBot
  • Link Commander
  • linkdex.com
  • Linkman
  • Link Valet Online
  • LiteFinder
  • livemark.jp
  • lmspider
  • Lsearch/sondeur
  • LWP (simple & trivial)
  • Mail.Ru
  • Me.dium
  • Mediapartners-Google
  • Megaglobe
  • Megite
  • MJ12bot
  • MLBot
  • MojeekBot
  • MOSBookmarks
  • Mozilla/4.0 (compatible; MSIE 6.0)
  • Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.0;)
  • Mp3Bot
  • MQbot
  • MSMOBOT
  • msnbot
  • MSR-ISRCCrawler
  • MSRBOT
  • mxbot
  • MyFamilyBot
  • Nambu
  • NaverBot
  • NaverRobot
  • Nelian Pty Ltd
  • netsweeper
  • newsg8 (RSS)
  • NEWT ActiveX
  • NG-Search
  • NG/2.0
  • NGBot
  • nicebot
  • Nigma
  • NjuiceBot
  • NOOS
  • Norbert the Spider
  • NoteworthyBot
  • NPBot
  • NuSearch Spider
  • Nutch
  • oBot
  • OmniExplorer
  • onalytica
  • OpenindexSpider
  • OpenISearch
  • OpenTaggerBot
  • OrangeBot-Mobile
  • OutfoxBot
  • ozelot
  • page-store
  • Pagebull
  • page_verifier
  • Paleoweb
  • panopta.com
  • Pathtraq
  • PeerFactor crawler
  • Pete-Spider
  • pflab
  • PollettSearch
  • PostFavorites
  • PostRank
  • Powermarks
  • Program Shareware
  • proximic
  • psbot
  • Python-urllib
  • QEAVis
  • QihooBot
  • Qualidator.com Bot
  • quickobot
  • Qwantify
  • RankurBot
  • Rapid-Finder
  • RedBot
  • RixBot
  • Rogerbot
  • RSSMicro
  • RTGI
  • RufusBot
  • Sagool
  • SBIder
  • schibstedsokbot
  • ScoutJet
  • ScSpider
  • SearchWebLinks
  • Seekbot
  • Semager
  • semetrical
  • SemrushBot
  • Sensis
  • SEOENGBot
  • SEOprofiler bot
  • SETOOZBOT
  • SeznamBot
  • ShablastBot
  • Shelob
  • sherlock
  • Shim-Crawler
  • ShrinkTheWeb
  • ShunixBot
  • SISTRIX
  • SiteBot
  • Snapbot
  • SnapPreviewBot
  • socbay
  • sohu agent
  • Solomono
  • SpeedySpider
  • SpiderLing
  • sproose
  • SpurlBot
  • startmebot
  • statbot
  • StatusCheckBot
  • Steeler
  • SuperBot
  • Susie
  • sygol
  • Synapse
  • SynapticWalker
  • Szukacz
  • TargetYourNews
  • Teemer
  • TerraSpider
  • TFC
  • Theophrastus
  • Thriceler
  • TinEye
  • Toplistbot
  • Tubenowbot
  • TurnitinBot
  • TutorGigBot
  • Tutorial Crawler
  • TweetmemeBot
  • TwengaBot
  • Twiceler
  • Twisted PageGetter
  • Twitterbot
  • Twitturl
  • TygoBot
  • uberbot
  • UnChaosBot
  • Unicorn
  • UptimeAuditor
  • URLBase
  • Valizbot
  • versus crawler
  • Visbot
  • VoilaBot
  • Voluniabot
  • Vortex
  • voyager
  • WASALive
  • wbdbot
  • WebarooBot
  • WebCorp
  • WebFilter
  • WebNL
  • WebSense
  • Winsey or Friend
  • WongBot
  • woriobot
  • Wotbox
  • wume_crawler
  • www.almaden...
  • www.pisoc.com
  • Xenu
  • Xerka
  • XmarksFetch
  • XoviBot
  • Yahoo! Mindset
  • Yahoo! Slurp
  • Yahoo-Test
  • YahooSeeker
  • YahooVideoSearch
  • Yanga
  • yellowJacket
  • YesupBot
  • Yeti
  • yoono
  • YRSpider
  • Zion
  • ZyBorg
avec des requêtes parfois anormales
  • curl
  • Pompos
  • shunix (Xun)
A la recherche de vulnérabilités
  • DataCha0s
  • libwww-perl
  • LWP (simple & trivial)
  • Mozilla/3.0 (compatible; Indy Library)
  • Mozilla/5.0
hautHaut de la page

Repérer un robot

A partir de son identificateur

Ci dessous, le script PHP qui permet de repérer si la requête est due à un robot ou un moteur de recherche et qui est utilisé pour les statistiques du site :

Un script utilisant l'identificateur est maintenant disponible ici

Il est plus difficile de détecter les robots qui ne s'identifient pas :

A partir de son hôte

Un bon exemple semble être le robot de www.dir.com (référencement) qui utilisait en mai 2003 les adresses IP 212.27.33.164 à 212.27.33.173 (212.27.41.18 en novembre 2003) et dont l'activité est filtrée dans la page relevant les serveurs.
Une fois ce type de robot repéré, voici la routine PHP qui fait suite à la précédente :

if (!$robot)
{
$robot=strchr(gethostbyaddr($no_ip),".dir.com");
}
//en sortie, si c'est le robot de www.dir.com alors $robot contient .dir.com...

A partir de son IP

Un robot qui n'utilise que quelques IP peut être repéré de la même manière :

if (!$robot)
{
$robot=strchr($no_ip,"208.53.138.");
}
/*
en sortie, si l'IP est comprise entre 208.53.138.0 et 208.53.138.255
$robot contient 208.53.138.
*/

Dans tous les cas il est nécessaire de constituer et d'actualiser une liste des identificateurs, des hôtes et des IP dont le comportement lors d'accès au site est anormal.

A partir de la méthode utilisée pour la requête

Il semble qu'actuellement (juin 2005) seuls les robots et utilitaires de téléchargements utilisent une requête HEAD (puis GET si la page existe ou a été modifiée). $_SERVER["REQUEST_METHOD"] peut donc permettre de repérer un robot avec un identificateur de navigateur. (Voir fil RSS pour les essais en cours) :

/*cette méthode doit précéder les autres*/
if ($_SERVER["REQUEST_METHOD"]=="HEAD") {$robot="robot";};
/*en sortie, $robot n'est plus vide*/

Toutes ces méthodes semblent plutôt fiables, moins de 2% d'erreurs dans mon cas.

hautHaut de la page

Bloquer un robot avec PHP

Quand l'accès à .htaccess est limité (mon cas) ou si on souhaite réduire la taille d'un fichier .htaccess et laisser le serveur s'occuper de ce qui est utile, PHP permet de rediriger ou bloquer un robot.

Pour un robot (ici Fetch API Request) qu'on souhaite bloquer, il suffit alors de débuter toutes nos pages (avant toute sortie vers le navigateur) par le script suivant qui redirige vers la page bye.html, toute autre page ou envoyer un message de statut 403 Access Denied :

<?php
$UA=getenv("HTTP_USER_AGENT");
if (stristr($UA,"Fetch API Request")!="")
{
header("Location:http://mydomain/bye.html");
die(); /*ligne à ôter si on place ici la redirection HTML*/
}
?>

Cette page ne contenant aucun lien, l'aspiration s'arrête aussitôt.
On peut en faire autant avec une IP, on utilise alors getenv("REMOTE_ADDR");.
Des techniques plus sophistiquées sont disponibles plus haut.

Environ deux tiers des robots suivent la redirection si le nom de domaine ne change pas, presque aucun s'il change.
Il faut donc prévoir une redirection en HTML si on souhaite qu'il soient tous redirigés ou qu'ils sachent où se trouve la nouvelle page :

<?php
echo"<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
 "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<title>Redirection</title>
<meta http-equiv="Refresh" content="0;URL=http://mydomain/bye.html">
</head>
<body>
<p>
Redirection: <a href="http://mydomain/bye.html">http://mydomain/bye.html</a>
</p>
</body>
</html>";
die();
?>

Autoriser certains robots et en bloquer d'autres

Une fonction à inclure et appeler en début de chaque page peut permettre de gérer les robots.

/*début de la fonction*/
function redirige_robots()
{
$requested_page=$_SERVER["REQUEST_URI"];
if (preg_match("/([enptux\d]|\b)(ftp|https?|php)(:\/\/|%3A%2F%2F)/i",$requested_page))
   {die();} /*bloque la majorité des zombies*/

Quand on a la malchance d'être visité par des zombies, ou quand on utilise un CMS, autant rejeter toutes ces requêtes.

if ($_SERVER["REQUEST_METHOD"]=="HEAD") return;

Pourquoi bloquer ce type de requête ? Le "mal" est fait, les testeurs de liens vers votre site (Xenu, Powermarks, Link Commander, HTTrack, IRLbot...) et les moteurs de recherche (Speedy Spider, sygol...) auront une réponse positive et, s'ils reviennent avec une requête GET ou POST, verront leur cas traité ensuite.
Il est possible de stocker l'IP dans une table MySQL pour bloquer tout retour de l'utilitaire ou du robot.

$UA=getenv("HTTP_USER_AGENT");
if (preg_match("/Googlebot|Yahoo|VoilaBot|Ask Jeeves|SpeedySpider/i",$UA)) return;

Pas de problème pour les robots autorisés : ceux qui s'annoncent et qui sont cités dans l'expression rationnelle (régulière) ci-dessus. On peut contrôler que l'hôte corresponde bien à ce qui est déclaré par l'User Agent.

/*
Inclure bot dans l'expression bloquera aipbot, antibot, boitho, OmniExplorer...
Pour ce site, jusqu'à 408 robots !
*/
if (preg_match("/[^e]crawler|spider|bot|custo |web(cow|moni|capture)|wysigot|httrack|wget|xenu/i",$UA))
{
header("Location:http://mydomain/bye.html");die();
/*une autre option c'est d'envoyer un message 403 Access Denied
header("Status: 403 Forbidden");die();*/
}

Même si je ne suis pas convaincu par la nécessité de bloquer ceux qui n'exagèrent pas, tous ceux qui sont dans l'expression rationnelle (régulière) seront redirigés.
attentionPlusieurs utilitaires comme Wysigot laissent leur empreinte dans l'identificateur même lorsqu'ils ne sont pas actifs.

$no_ip=getenv("REMOTE_ADDR");
$hote=gethostbyaddr($no_ip);
if (preg_match("/(becquerel|66-132|64-225)\.noos\.(net|fr)/i",$hote) && (strchr($UA,"MSIE 4.01"))
 {
 header("Location:http://mydomain/bye.html");die();
 }
if (preg_match("/exabot|lehigh/i",$hote))
 {
 header("Location:http://mydomain/bye.html");die();
 }

On peut tester l'hôte et exclure quelques robots mal élevés ou la lecture des pages par l'intermédiaire d'un moteur de recherche. Est-ce bien nécessaire ?

//$no_ip=getenv("REMOTE_ADDR");
if (preg_match("/63\.247\.72\.42|208\.53\.138\.1/",$no_ip))die();

On peut exclure une IP ou un groupe d'IP, récupérer dans une base MySQL les IP à exclure...

return;
}
/*fin de la fonction*/

Ceux qui ont passé toutes les étapes peuvent accéder à la page.
On peut optimiser le code, ajouter d'autres règles pour le referrer, le nombre de pages lues en liaison avec MySQL... Il sera facile d'effectuer des modifications, mais combien d'erreurs ?

hautHaut de la page

Quelques pistes...

Etant entendu qu'il ne faut pas exclure les robots de référencement (même si personne ne peut empêcher un utilisateur d'aspirateur de site d'envoyer l'identificateur d'un de ces robots), il reste à savoir si les accès sont dus à des êtres humains ou pas.
Ce site comporte deux pièges à robots dans la page d'accueil en français (et un seul piège à robots dans la page d'accueil en anglais) sous forme de liens que l'oeil ne peut repérer :
- le premier me sert à savoir si j'ai affaire à un robot, il se trouve dans un répertoire autorisé et me permet de mettre la liste ci-dessus à jour.
- le deuxième se trouve dans un répertoire interdit par le fichier robots.txt ( Disallow: /interdit/ ). Même si tous les robots de référencement ne sont pas très respectueux des règles, à moi de décider lorsque cette page est atteinte de ce qu'il faut faire.
Comme il est bien rare que le site soit copié, et même si les utilisateurs d'aspirateurs ne respectent pas souvent les règles, ces deux pièges ne servent à rien.
Si le site est suffisamment intéressant pour être "photographié", qu'il le soit.
Si la copie me gênait, je pourrais alors utiliser les scripts cités en début de page, les méthodes commentées à la suite du script de détection, un script PHP anti-capture, limiter le nombre de pages accessibles par session ou par IP (les robots téléchargeront à chaque fois les mêmes fichiers), ou encore m'assurer qu'aucune activité anormale ne vient empêcher l'accès aux autres visiteurs en comptant le nombre de fichiers lus par seconde et ralentir le chargement de chaque page, ce qui ne pose problème qu'aux robots et à ceux qui ne prennent pas le temps de lire.
Utiliser l'adresse IP pour bloquer toutes les pages ou ralentir les accès fonctionne à condition que le prestataire affecte une adresse unique. Ce n'est pas le cas d'AOL ou des grosses entreprises (SNCF, France Télécom, RATP, Alcatel ...) qui font tourner les adresses IP dont elles disposent.
Reste le choix de l'hébergeur : certains bloquent les aspirateurs de site (comme parfois www.free.fr!!!).

Il est donc bien difficile ou bien risqué de vouloir protéger son site des copies.

Comme free.fr filtre parfois HTTrack, si vous préférez la consultation hors ligne, vous pouvez télécharger la partie statique du site au 31/12/05 ( fichiers compressés avec extension : exe~714k ou bz2~828k - seul le plan du site permet d'accéder à toutes les pages).

hautHaut de la page
Valid CSS! Valid XHTML 1.0!