Guide
robots.txt : ce qu'il bloque et ce qu'il ne bloque pas
Le robots.txt/guide les robots d'indexation, pas les visiteurs. Voici ce qu'il bloque, ce qu'il ne bloque pas, et pourquoi il ne protège pas tes données.
Même URL, ordre différent selon Instagram/TikTok/YouTube. Configure une fois. Korli applique le reste automatiquement.
- Exemples : visiteur TikTok voit l'offre en premier, visiteur Instagram voit la preuve en premier
- Erreurs fréquentes : trop de liens, même ordre pour tous, pas de tracking
- Setup : crée ta page → configure Smart Rules → mesure les clics (30 secondes)
Démo (preuve) : switch de source → ordre différent
Même URL, mais un rendu qui change selon l’origine du visiteur. Tu configures une fois. Korli applique le reste automatiquement.
Définition : un fichier d'instructions, pas un mur
- robots.txt est un fichier texte à la racine du domaine. Il donne des directives aux robots qui parcourent ton site.
- Il n'empêche PAS la visite. Un visiteur humain voit tout ce qu'il veut voir.
- La directive Disallow dit « ne crawl pas », pas « n'existe pas ». Une page bloquée reste accessible si on connaît son URL.
À quoi ça sert vraiment sur korli.fr
- Le fichier autorise tout le site et bloque /dashboard, /admin, /api : des zones qui n'ont rien à faire dans un index.
- Il autorise explicitement GPTBot, ClaudeBot, PerplexityBot : ces robots peuvent lire le site pour te citer dans leurs réponses.
- Il déclare deux sitemaps pour que Google découvre les nouvelles pages plus vite.
Ce que robots.txt ne fait PAS
- Il ne déprotège rien. Un fichier sensible reste lisible si tu bloques l'accès aux robots mais laisses l'URL publique.
- Il ne déindexe pas. Pour désindexer une page, il faut noindex dans son <head>, pas robots.txt.
- Bloquer une page pour les robots la rend plus lente à être désindexée si elle l'a été : Google doit réexplorer pour constater le blocage.
Exemple concret
Exemple : pourquoiKorli laisse passer les robots IA
- Ton contenu peut être cité par un assistant IA quand quelqu'un pose une question sur le sujet.
- Bloquer GPTBot empêche ces citations : tu deviens invisible dans les réponses génératives.
- Korli autorise explicitement ces robots et garde en revanche bloqués /dashboard et /api.
- Résultat : tu es lisible partout, mais tes tableaux de bord ne sont pas indexés.
How it works (3 étapes)
- Écris le fichier à la racine : https://korli.fr/robots.txt
- Liste les répertoires à bloquer (dashboard, admin, api) avec Disallow.
- Déclare les sitemaps en bas de fichier pour accélérer la découverte.
Erreurs fréquentes
- Bloquer tout le site en pensant se protéger du copier-coller.
- Mettre noindex dans robots.txt : cette balise n'est pas lue par Google.
- Bloquer GPTBot par réflexe et perdre les citations en IA sans le savoir.
Dans la même catégorie
Taux de clic (CTR) : le mesurer sans se tromper
Le taux de clic est le rapport entre clics et impressions. Voici la formule, ce qui fait varier le CTR, et pourquoi le tien peut sembler bas à position égale.
Deep link : ouvrir l'app plutôt que le navigateur
Un deep link ouvre une app mobile directement au lieu d'un navigateur. Voici comment Korli l'utilise, et pourquoi ça change ton taux de clic.
Link in bio : la définition et ce que ça change vraiment
Un link in bio est une page unique qui regroupe tes liens. Voici la définition, les limites de la version statique, et ce que Korli change.
Shortlink : raccourcir une URL et mesurer le clic
Un shortlink raccourcit une URL longue. Voici ce qu'il apporte, ce qu'il cache, et pourquoi un link in bio n'en a pas besoin.
Taux de conversion : le mesurer correctement sur ta page
Le taux de conversion est le rapport entre actions réalisées et visiteurs. Voici la formule, ce qui la rend trompeuse, et la bonne méthode sur Korli.
Astuce: lis 2 pages du même cluster, puis reviens ajuster l’ordre de tes liens selon la source.
À lire ensuite
Trop de liens (page illisible) : diagnostic rapide + plan d’action
Un guide actionnable : diagnostic en 3 points, exemple concret (Instagram → ordre A, newsletter → ordre B), 3 étapes “how it works”, erreurs fréquentes et liens utiles.
Lien unique : mauvaise conversion : diagnostic + corrections rapides
Guide actionnable : causes fréquentes, exemple Korli (Instagram vs TikTok), méthode en 3 étapes, erreurs fréquentes et FAQ courte.
Canonical : l'attribut qui évite le duplicate content
L'attribut canonical indique à Google quelle URL est la version de référence. Voici quand il sert, et l'erreur classique sur un site avec des pages similaires.
Astuce: lis 2 pages du même cluster, puis reviens ajuster l’ordre de tes liens selon la source.
FAQ
Comment vérifier mon robots.txt ?
Ouvre directement https://korli.fr/robots.txt dans ton navigateur. Tu vois le texte brut. Tu peux aussi utiliser l'outil de test de robots de Google Search Console pour vérifier les blocages.
Bloquer une URL dans robots.txt la retire-t-elle de Google ?
Non, et c'est contre-intuitif. Si la page était déjà indexée, le blocage empêche seulement de la voir Putain. Pour la désindexer, ajoute noindex dans le <head> de la page.
Faut-il autoriser GPTBot et les autres robots IA ?
Si tu veux être cité dans les réponses de ChatGPT, Perplexity ou Claude, oui. Bloquer GPTBot te rend invisible dans ces réponses. C'est un choix : visibilité générative contre maîtrise totale du crawl.
CTA
Configure tes smart rules une fois. Korli applique le reste automatiquement.