Optimiser son Robots.txt : Les Ressources bloquées

Vous avez une alerte Google Webmaster Tools sur les Ressources bloquées ? Optimisez votre robots.txt et donnez l'accès à Google à vos fichiers CSS et JS !

Partagez :

Partager sur facebook
Partager sur linkedin
Partager sur twitter
Partager sur email

Aujourd’hui dans ce billet nous allons parler Robots.txt. Qui dit robots.txt dit crawl et qui dit crawl dit Google (vous savez la société appartenant à Alphabet!).

 

Google lit le JavaScript et les CSS

Depuis maintenant quelques mois, Google propose dans son outil pour les webmasters, Search Console, une fonction permettant d’analyser les ressources qui empêchent ses spiders d’analyser et de comprendre parfaitement une page. Vous ne le savez peut-être pas, mais Google lit de mieux en mieux les fichiers CSS et JS. Il est difficile de savoir jusqu’à quel point mais vous pouvez vous faire une idée en utilisant la fonction « Explorer et Afficher comme Google » dans Google Webmaster Tools.

 

Maintenant que Google sait lire, il parait logique qu’il ne souhaite plus être bloqué. Apprenez la lecture à un enfant et retirez-lui tous ses livres ! D’autant qu’ici l’enfant c’est Google. Et vous n’êtes pas sans savoir que son désir de connaissances ne peut être assouvi. Google a donc mis en place de nouvelles alertes sur Search Console permettant de prévenir un site que certaines ressources CSS et JS ne lui sont pas accessibles (Index Google > Ressources bloquées). Altérant alors sa compréhension de sa page et donc ses capacités à l’indexer et à bien la positionner.

Ressources bloquées - Google Webmaster Tools

 

Libérer les ressources bloquées via le robots.txt

Ces ressources sont généralement bloquées au niveau de votre Robots.txt. Souvenez-vous, il fut un temps où nous interdisions l’accès aux robots aux dossiers comprenant JS et CSS afin de limiter le crawl et l’orienter. En même temps, à quoi bon donner un livre à une personne qui ne peut le lire ? Mais ce temps est révolu, Google sait lire et veut lire ! Alors il est grand temps d’ouvrir les vannes.

 

Mais ATTENTION !

Il est possible que certains fichiers JS aient été mis en place justement dans le but de bloquer l’accès aux robots. Il serait alors dommage de réduire à néant la maitrise de votre indexation. D’autant que quand il s’agit d’indexation, souvenez-vous qu’il est toujours plus facile d’indexer que de désindexer un contenu (N’est-il pas plus simple de ne pas savoir quelque chose que de s’efforcer à oublier ?).

Les consignes de Google Webmaster Tools

 

Maîtriser son indexation

La méthode la plus simple est d’analyser l’impact du JS et du CSS sur votre indexation. Puis de maintenir le Disallow dans votre fichier robots.txt et d’ajouter la fonction Allow sur certains fichiers ou sous-répertoires. Permettant ainsi d’ouvrir progressivement les yeux de Google. (N’hésitez pas à utiliser la fonction « Outil de test du fichier robots.txt »).

 

Et puis rappelez-vous, si vous avez des doutes ou besoin d’aide, je connais une agence SEO très compétente qui se fera un plaisir de vous aider !

Partagez :

Partager sur facebook
Partager sur linkedin
Partager sur twitter
Partager sur email
Charles Lemerle

Charles Lemerle

Inscrivez-vous à notre newsletter !

C’est l’occasion pour vous de recevoir régulièrement un concentré d’infos qualitatives sur les dernières tendances du digital, ainsi que les nouveautés de l’agence.

Encore plus d'actualités SEO :

Boostez votre trafic web grâce au Coaching SEO !

Grâce à l’utilisation de l’email, du téléphone et de sessions de partage d’écran, nous pouvons vous fournir rapidement et efficacement l’accompagnement dont vous avez besoin !