DIGITAL SOP 057 : Comment configurer le fichier Robots.txt parfait

Dernière mise à jour / révision : 15 août 2023

Temps d'exécution : 30 minutes

Objectif : Pour créer ou optimiser correctement votre fichier robots.txt.

Résultat idéal : Vous disposez d'un excellent fichier robots.txt sur votre site web qui permet aux moteurs de recherche d'indexer votre site web exactement comme vous le souhaitez.

Pré-requis ou exigences :

• Vous devez avoir accès à la propriété Google Search Console du site web sur lequel vous travaillez. Si vous n'avez pas encore configuré de propriété Google Search Console, vous pouvez le faire en suivant la procédure suivante SOP 020.

Pourquoi c'est important : Votre fichier robots.txt définit les règles fondamentales que la plupart des moteurs de recherche liront et respecteront lorsqu'ils commenceront à explorer votre site web. Il indique aux moteurs de recherche les parties de votre site que vous ne voulez pas (ou qu'ils n'ont pas besoin) d'explorer.

Où cela se fait-il ? Dans un éditeur de texte et dans Google Search Console. Si vous utilisez Wordpress, dans votre panneau d'administration Wordpress.

Lorsque cela est fait : En règle générale, vous devriez vérifier votre fichier robots.txt au moins tous les six mois pour vous assurer qu'il est toujours à jour. Vous devez disposer d'un fichier robots.txt approprié lorsque vous créez un nouveau site web.

Qui fait cela ? La personne responsable du référencement dans votre organisation.