HTTP, le protocole de transfert Hypertext, permet l’échange d’informations entre votre navigateur web et un serveur web dans un format spécifique orienté requête / réponse. Lorsque vous appelez une url depuis votre navigateur, une requête HTTP vous permet d’obtenir une demande de ressources.

Illustration de l'User Agent Googlebot qui crawle un serveur web

Exemple de réponse d’un serveur pour l’url http://www.iceranking.com :

HTTP/1.1 200 OK
Date: Sun, 05 Jul 2009 10:04:20 GMT
Server: Apache/2.2.X (OVH)
X-Powered-By: PHP/4.4.9
Vary: Cookie,Accept-Encoding
X-Pingback: http://www.iceranking.com/xmlrpc.php
Connection: close
Content-Type: text/html; charset= »UTF-8″

Il y a trois parties dans cette réponse fournie par le serveur web. Dans un premier temps, le code d’état HTTP (200 OK dans l’exemple ci-dessus) est renvoyé par le serveur suite à la requête. Ensuite, une section contient les entêtes HTTP, et pour finir, on peut lire le contenu de la ressource demandée (HTML, images,…).

Voici un résumé des principaux codes d’état HTTP d’un serveur web :

Vous trouverez la liste complète des codes d’état HTTP sur le centre d’aide du Google Webmaster Tools.

Dans une série d’articles sur GoogleBot part1, part2, l’équipe de Google nous explique comment sont pris en compte les codes d’état HTTP et les entêtes HTTP par l’user agent GoogleBot.

Lire la suite >