Si vous avez payé une agence pour "optimiser votre site pour l'IA" ces derniers mois, asseyez-vous bien confortablement car Google a publié son guide officiel sur le sujet, et le résumé tient en une phrase, le SEO pour l'IA c'est du SEO. Voilà... Tout ce qui est hacks GEO, c'est direction la poubelle en tout cas pour Google !

Le doc est sorti le 15 mai sur Search Central, et il met les pieds dans le plat direct. Google y explique que ses fonctionnalités IA, les AI Overviews (les fameux résumés générés en haut des résultats) et le mode IA, ne tournent pas sur un moteur à part. Elles piochent tout simplement dans l'index normal, avec le classement habituel. En gros, y'a pas de porte dérobée réservée aux plus malins malgré ce que les auto-proclamés experts GEO peuvent dire.

Le guide officiel Google, mis en ligne le 15 mai 2026

Ce qui est marrant, c'est que Google a surtout placé dans ce doc une section "mythbusting" qui va faire mal à pas mal de monde. Car oui les amis, pas besoin de fichier llms.txt, pas besoin de balisage spécial, pas besoin de découper votre contenu en petits morceaux pour aider les robots de Mister Google.

Et voilà comment toute une industrie de consultants qui vendait du llms.txt à prix d'or vient de se prendre un mur. Snif...

D'ailleurs, le truc rigolo avec le llms.txt, c'est son histoire. Ce fichier a été proposé en septembre 2024 par le co-fondateur de Fast.ai, et presque deux ans plus tard, ni Google, ni OpenAI, ni Anthropic ne vont vraiment le récupérer sur votre serveur. L'adoption reste donc hyper marginale, genre 6% des gros sites et ça n'est jamais devenu un vrai standard. Vous pouvez donc carrément supprimer le vôtre, ça ne changera strictement rien !

Alors c'est quoi la vraie recette ?

Hé bien du contenu "non-commodity", dit Google. En clair, des trucs que personne d'autre n'a écrits... Ils veulent du vécu et pas du réchauffé. Leur exemple est d'ailleurs très parlant... Un article du style "7 conseils pour acheter sa première maison", c'est de la soupe que tout le monde recopie. Alors que "Pourquoi on a zappé l'inspection et économisé, retour sur la canalisation d'égout", ça c'est du vécu qui sent bon le terroir et la sueur, et c'est ça que l'IA va citer !! C'est exactement ce que je raconte depuis des années .

En vrai, le boulot c'est surtout de revenir aux bases du SEO, et pas besoin d'outils payants dans cette équation mais juste du temps et du contenu honnête et humain. D'abord, faut vérifier que vos pages sont indexables et crawlables, et ça la Search Console vous le dit en deux clics.

Ensuite, arrêtez de générer 40 pages quasi identiques pour chaque variation de mot-clé, car Google appelle ça de l'abus de contenu à grande échelle et ça vous flinguera votre référencement ! Et n'oubliez pas que vous écrivez pour des humains, avec des titres et des paragraphes, et pas pour un parseur à la con.

Le seul vrai piège après, c'est l'éternel site full JavaScript des startupeurs d'école de commerce (ou des vibe-coders maintenant...). Là encore Google prévient que ça ne passera pas.

Après le hic c'est que les AI Overviews répondent direct dans la page de résultats, du coup le taux de clics vers votre site s'effondre . Et voilà comment le client repart sans jamais entrer... Plusieurs études indépendantes parlent même d'un taux de clic qui peut chuter de moitié quand un résumé IA s'affiche en haut. Ahrefs par exemple a mesuré près de 60% de clics en moins sur la position numéro un, Pew tourne autour de 47% et comme d'hab, avec son guide, Google vous dit "faites du bon contenu", mais ne vous promet jamais le trafic qui va avec. Faut donc bien en avoir conscience avant de se lancer !

Le guide glisse aussi un mot sur les agents IA qui visitent votre site tout seuls, lisent vos captures d'écran, votre DOM et votre arbre d'accessibilité pour comparer des produits ou réserver une table. D'ailleurs si ce sujet vous parle, y'a un scanner pour tester si votre site est prêt pour les agents IA .

Après moi ce que je retiens de tout ce bordel, c'est que Google vient surtout de couper l'herbe sous le pied à tous les vendeurs de poudre de perlimpinpin "AEO" et "GEO". Ces acronymes, comme l'écrit Google noir sur blanc dans son rapport, ce sont juste des mots et du marketing pour les pigeons. Le vrai métier derrière reste le SEO et basta !!

Après si vraiment vous voulez bosser votre visibilité pour les moteurs IA comme Perplexity, j'avais détaillé les vraies techniques , et spoiler, ça ressemble quand même beaucoup à du bon vieux contenu honnête qu'on fait à l'ancienne depuis que le web est web...

Bref, avant de lâcher du fric pour du GEO, allez lire le guide . C'est gratuit, et au moins ça dit la vérité.

Vous en avez marre de voir GPTBot, ClaudeBot et toute la bande de crawlers IA se servir sur votre site comme dans un buffet à volonté ? Perso, j'utilise Cloudflare qui propose des options pour ça directement mais tout le monde n'utilise pas ce service. Du coup ce projet ai.robots.txt est super pratique pour ceux qui gèrent leur propre serveur et qui veulent reprendre le contrôle sur ce qui se fait aspirer.

L'idée c'est de maintenir sur Github une liste exhaustive de tous les crawlers liés à l'IA, que ce soit pour entraîner des modèles ou alimenter des moteurs de recherche IA. On y retrouve les suspects habituels comme GPTBot (OpenAI), Claude-Web (Anthropic), Google-Extended, meta-externalagent, mais aussi des trucs plus obscurs comme img2dataset ou laion-huggingface-processor qui servent à aspirer des images.

Le truc cool, c'est que le projet ne se contente pas juste de fournir un robots.txt à copier-coller. Y'a aussi des fichiers de config prêts à l'emploi pour Apache (.htaccess), Nginx, Caddy et même HAProxy. Du coup vous pouvez carrément renvoyer une erreur HTTP aux crawlers au lieu de juste leur dire "non" poliment via robots.txt (qu'ils ignorent parfois de toute façon, les malotrus).

Pour Nginx par exemple, vous récupérez le fichier nginx-block-ai-bots.conf et vous l'incluez dans votre config de virtual host. Le fichier contient une regex qui matche tous les User-Agent connus des crawlers IA. Même principe pour Apache avec le .htaccess, ou pour HAProxy où vous ajoutez quelques lignes dans la section frontend pour détecter et bloquer ces bots.

Le projet est maintenu activement par une communauté de contributeurs qui surveille les nouveaux crawlers qui débarquent et dès qu'un nouveau bot IA se pointe, la liste est mise à jour et les fichiers de config sont regénérés automatiquement via GitHub Actions.

Après, le robots.txt ça reste un "gentlemen's agreement" et y'a que les crawlers sympas le respectent... Les autres font semblant de pas le voir. A voir maintenant si c'est une bonne idée ou pas de bloquer ces crawlers...

C'est à vous de voir mais si vous n'aimez pas l'IA je pense que vous adorerez cette liste de blocage . Après si vous vous inquiétez sur votre audience votre référencement et compagnie, peut-être que vous voulez quand même récupérer un peu de trafic en provenance de ces chatbots IA.

Donc à vous de voir...

Perplexity AI s’est fait épingler par Cloudflare, pris la main dans le sac à contourner allègrement les règles du web avec leurs bots masqués. Et le plus fort dans tout ça c’est qu’ils nient tout en bloc.

L’affaire a éclaté quand Cloudflare, qui s’occupe d’un cinquième du trafic internet mondial, a décidé de fouiner un peu dans les pratiques suspectes de certains bots IA. Et le verdict est tombé assez rapidement : Perplexity a recours à des crawlers furtifs qui se font passer pour de véritables navigateurs afin de s’emparer du contenu des sites web, même lorsque les propriétaires ont dit non par le biais du fameux fichier robots.txt.

Ce qui rend cette histoire encore plus énervante, c’est la technique utilisée. Plutôt que d’employer leur user agent officiel “PerplexityBot”, les bots se déguisent en Chrome sur Windows 10.

Cloudflare a mené ses propres expériences pour prouver la manœuvre. Ils ont conçu un site web accessible uniquement aux vrais user agents Chrome et Firefox, tout en bloquant explicitement PerplexityBot via le robots.txt. Les bots officiels de Perplexity sont bien arrêtés, mais étrangement, quand un utilisateur fait une requête sur Perplexity.ai, le contenu est tout de même récupéré.

Comment ? Et bien grâce à des crawlers masqués, utilisant des ASN (Autonomous System Numbers) différents et des user agents trafiqués.

La défense de Perplexity ? Un véritable morceau de bravoure. Leur PDG, Aravind Srinivas, affirme qu’ils ne contournent pas le robots.txt, mais qu’ils recourent à des “fournisseurs tiers” pour le crawling. En gros, “C’est panoupanous, c’est les autres.” Sauf qu’il ne veut pas révéler l’identité de ces mystérieux partenaires, prétextant un accord de confidentialité. Pratique, non ?

Le problème dépasse largement le cadre de Perplexity car Wired et le développeur Robb Knight avaient déjà mené l’enquête en juin 2024 et découvert des indices similaires. Amazon Web Services a même lancé une investigation pour vérifier si Perplexity bafoue leurs conditions d’utilisation. Et en juin 2025, la BBC a menacé de poursuites judiciaires, exigeant que Perplexity cesse de scraper leur contenu et efface toutes les données collectées.

Pour situer l’ampleur du phénomène, Cloudflare a déterminé que les bots IA représentent désormais 5% de tout le trafic bot identifié. OpenAI avec GPTBot est en tête, suivi de… PerplexityBot en neuvième position. Mais ça, c’est uniquement pour ceux qui jouent cartes sur table. Combien passent sous le radar avec des identités truquées ?

La technique de contournement est d’ailleurs assez rusée car quand vous demandez à Perplexity d’explorer une URL spécifique, leur système prétend agir “au nom de l’utilisateur”, comme si vous copiez-collez vous-même le contenu. Sauf qu’en réalité, c’est un bot automatisé qui s’en charge, en utilisant des headless browsers pour paraître plus légitime.

TollBit, une startup spécialisée dans les accords de licence IA, a révélé que plus de 50 sites web choisissent délibérément d’ignorer le protocole robots.txt. Et surprise, selon une enquête de Business Insider, OpenAI et Anthropic (les créateurs de Claude) figureraient parmi eux. Mais au moins, ils ne se cachent pas derrière des user agents falsifiés.

Ce qui m’agace vraiment dans cette histoire, c’est l’hypocrisie ambiante. D’un côté, ces entreprises IA nous vendent du rêve sur l’éthique et la transparence et de l’autre, elles emploient des méthodes dignes de hackers des années 2000 pour aspirer du contenu sans permission. Et pendant ce temps, les créateurs de contenu se retrouvent pillés sans compensation.

Cloudflare propose bien quelques solutions pour se protéger, notamment leur outil AI Bots qui permet de gérer finement l’accès des différents crawlers IA. Ils ont aussi mis au point un “Bot Score” qui évalue la légitimité du trafic sur une échelle de 1 à 99. Plus le score est bas, plus y’a de chances que ce soit un bot. Les crawlers masqués de Perplexity obtiennent généralement un score en dessous de 30.

Donc, si vous gérez un site web, je vous recommande vivement de scruter vos logs. Repérez les schémas suspects du genre une même IP qui enchaîne les requêtes, des user agents identiques mais aux comportements différents, ou des accès à des URLs jamais publiées.

Quoiqu’il en soit, si même les plus grandes entreprises IA ne respectent pas des règles basiques comme le robots.txt, qu’est-ce qui les empêchera demain de franchir d’autres limites ?

C’est bien dommage, je trouve…

Source