Derniers passages de robots au 25/09/25

nom		accès à		Pays
IP 198.235.24.8	Zombie	1 page		ÉTATS-UNIS
IP 198.235.24.12	Zombie	1 page		ÉTATS-UNIS
IP 198.235.24.238	Zombie	1 page		ÉTATS-UNIS
IP 141.94.194.132		1 page		FRANCE
IP 205.210.31.254	Zombie	1 page		ÉTATS-UNIS
IP 216.73.216.56		1 page		ÉTATS-UNIS
IP 96.9.210.17	Zombie	1 page		SINGAPOUR
IP 216.73.216.56		1 page		ÉTATS-UNIS
DotBot	crawler	1 page		ÉTATS-UNIS
DotBot	crawler	1 page		ÉTATS-UNIS
AhrefsBot	crawler	1 page		ROYAUME-UNI
DotBot	crawler	1 page		ÉTATS-UNIS
IP 216.73.216.4		1 page		ÉTATS-UNIS
IP 176.126.103.21		26 pages en  3min 19s	n'a pas suivi les règles de robots.txt	RUSSIE, FÉDÉRATION DE
IP 1.92.211.43	Zombie	1 page		CHINE
IP 112.65.211.195	Zombie	1 page		CHINE
IP 180.153.197.154	Zombie	1 page		CHINE
IP 23.19.99.185	Zombie	1 page		ÉTATS-UNIS
IP 141.94.194.132		1 page		FRANCE
IP 216.73.216.47		1 page		ÉTATS-UNIS
525 326 visites de robots identifiés environ 96 par jour en 2025 41 aujourd'hui à 5:28 (+0 visiteur) zombies : 9 visites / 9 requêtes - spammeurs : 16 visites

D'où proviennent ces informations ?

Elles ont été obtenues à partir de $_SERVER["HTTP_USER_AGENT"] -$HTTP_USER_AGENT avec PHP 3-, $_SERVER ["QUERY_STRING"], $_SERVER ["SCRIPT_NAME"] et gethostbyaddr().
Elles sont faussées par le filtre parfois mis en place par l'hébergeur (free.fr).
Dans les statistiques du site, les robots ne sont pas considérés comme des visiteurs, le navigateur et le pays d'origine qu'ils annoncent sont ignorés.
S'ils consultent plusieurs pages, ils ne sont pris en compte qu'une fois (sauf s'ils ne reviennent qu'après plus de 10 minutes - plus de 30 minutes pour Google Desktop, semrush, Bytespider).
La liste des visites est indicative car elle suppose une connexion parfaite avec MySQL, ce qui n'est pas le cas pour ce site. Mais l'hébergement est gratuit, alors ...

Les robots représentent au moins 79 % des visites en 2025 répartis ainsi :

•  29,64% de ces visites sont les robots de moteurs de recherche, d'indexation de pages, d'analyse des informations, de vérification des liens ou du code, d'optimisation SEO...
•  17,11 % proviennent de spammeurs (56,37 % tentent d'envoyer des emails, les 43,63 % restants spamment les fichiers journaux).
•  53,25 % recherchent des vulnérabilités.

Détection du robot

Cette routine est commentée dans la page sur les pièges à robots.
Il est nécessaire de stocker les identificateurs des autres visiteurs pour compléter la liste des robots qui fréquentent le site et celle de leurs "User Agents".
$UA=$_SERVER["HTTP_USER_AGENT"]; $no_ip=$_SERVER["REMOTE_ADDR"]; $brow = strtolower($UA);//en minuscules pour toutes les versions $bots = array ("googlebot","webcrawler","grub.org","slurp","openfind","antibot", "netresearchserver","nutch","ia_archiver","scooter","fluffy"); /* grâce à la liste des identificateurs, on ajoute la partie significative du nom des autres robots en minuscules dans le tableau $bots Comme la connexion à MySQL ne fonctionne pas 100% du temps, j'utilise un tableau afin que les robots reçoivent toujours une page allégée. */ $n=0; do { $robot = strchr($brow,$bots[$n]); $n=$n+1; }while ((!$robot) && ($n<count($bots))); //pour robots qui ne s'identifient pas avec $HTTP_USER_AGENT if (!$robot) { $robot=strchr(gethostbyaddr($no_ip),".dir.com"); //etc } //

La base de données

Voici la structure de la table robots que j'utilise :

#
# Structure de la table `robots`
#
CREATE TABLE `robots` (
  `heureacces` int(10) unsigned NOT NULL default '0',
  `heurearrivee` int(10) unsigned NOT NULL default '0',
  `nom` varchar(64) NOT NULL default '',
  `dernierepage` varchar(30) NOT NULL default '',
  `nombrepages` mediumint(8) unsigned NOT NULL default '0',
  KEY `heureacces` (`heureacces`),
  KEY `heurearrivee` (`heurearrivee`),
  KEY `nom` (`nom`),
  KEY `nombrepages` (`nombrepages`)
) TYPE=MyISAM;

En fonction de la place occupée par chaque champ chez votre prestataire, choisissez double ou datetime pour les heures, double ou int pour nombrepages, si nécessaire augmentez le nombre de caractères pour dernierepage.

Mise à jour de la base de données

//connexion au serveur $serveur=mysql_connect("votre hôte","votre nom d'utilisateur","votre mot de passe"); $base=mysql_select_db("votre base",$serveur); //on initialise les heures $heureacces=time(); $heureaccesmoinsdix=$heureacces-600; if ($robot!="") { $result=@mysql_query ("SELECT COUNT(`heureacces`) FROM `robots`"); $test=@mysql_fetch_row ($result); //On fait le ménage de temps en temps if ($test[0]>100) { $result=@mysql_query ("SELECT `heureacces` FROM `robots` ORDER BY `heureacces` LIMIT 80,1"); $test=@mysql_fetch_row ($result); $result=@mysql_query ("DELETE FROM `robots` WHERE `heureacces`<'$test[0]'"); $result=@mysql_query ("OPTIMIZE TABLE `robots`"); } /* Beaucoup de robots ont une adresse IP allouée dynamiquement, il vaut mieux s'appuyer sur le nom trouvé même si plusieurs versions peuvent arriver en même temps. Le robot a-t-il chargé une page dans les 600 dernières secondes ? */ $result=@mysql_query ("SELECT * FROM `robots` WHERE `nom`='$robot' AND `heureacces`>$heureaccesmoinsdix"); $test=@mysql_fetch_row ($result); $page_self=$_SERVER["REQUEST_URI"];//$PHP_SELF pour PHP 3 if (empty($test[0])) { //C'est la première page lue $result=@mysql_query ("INSERT INTO `robots` (`heureacces`,`heurearrivee`,`nom`,`dernierepage`,`nombrepages`) VALUES ('$heureacces','$heureacces','$robot','$page_self','1');"); } else { //On met à jour l'heure d'accès $result=@mysql_query ("UPDATE `robots` SET `heureacces`=$heureacces WHERE `nom`='$robot' AND `heureacces`>$heureaccesmoinsdix"); //On récupère dernierepage et nombrepages $result=@mysql_query ("SELECT * FROM `robots` WHERE `nom`='$robot' AND `heureacces`='$heureacces'"); $res=@mysql_fetch_row ($result); if ($page_self!=$res[3]) { //C'est une nouvelle page qui a été chargée //On met donc à jour $result=@mysql_query ("UPDATE `robots` SET `dernierepage`='$page_self',`nombrepages`=nombrepages+1 WHERE `nom`='$robot' AND `heureacces`='$heureacces'"); } //Et voilà ! On peut sans doute faire mieux. } } else { /* on peut faire de même pour les autres visiteurs avec l'adresse IP ou enregistrer les $HTTP_USER_AGENT pour une mise à jour du tableau $bots. */ }

Affichage des données

Nous disposons donc du nom du robot, de l'heure d'arrivée, de l'heure de la dernière page lue et du nombre de pages lues.
S'il n'y a qu'une page et des heures différentes, c'est que la page a été actualisée.
J'ai choisi d'afficher le nombre de pages lues et le temps passé à les lire.
//connexion au serveur $serveur=mysql_connect("votre hôte","votre nom d'utilisateur","votre mot de passe"); $base=mysql_select_db("votre base",$serveur); //sélection des 20 derniers enregistrements $result=@mysql_query ("SELECT COUNT('heureacces') FROM `robots`"); $nombre_enreg=@mysql_fetch_row ($result); $depart=$nombre_enreg[0]-20;if ($depart<0){$depart=0;} $result=@mysql_query ("SELECT * FROM `robots` ORDER BY `heurearrivee` LIMIT $depart,20"); // while ($tableau=@mysql_fetch_row ($result)) { //calcul du temps de lecture $tpslect=$tableau[0]-$tableau[1]; if ($tpslect>60) { $tpslect=Floor($tpslect/60)."'".$tpslect % 60; } //affichage du nom nombre et temps echo "$tableau[2] $tableau[4] pages en $tpslect''<br>"; }

Voilà pour le principe, à vous de voir ce que vous voulez afficher ou calculer.

Un script du même type est maintenant disponible ici