Générateur de robots.txt

Le robots.txt est le premier fichier que tout crawler consulte avant d'explorer votre site. Il indique aux moteurs de recherche (Google, Bing) et aux crawlers IA (GPTBot, ClaudeBot, PerplexityBot) ce qu'ils peuvent ou ne peuvent pas crawler. C'est aussi l'endroit où vous déclarez l'URL de votre sitemap. Sans robots.txt, vous laissez les bots décider seuls - c'est rarement ce que vous voulez.

Notre recommandation 2026 : oui, par défaut. Bloquer les LLMs vous rend invisible dans ChatGPT, Claude, Perplexity et Gemini, qui sont en train de devenir des canaux de découverte majeurs (jusqu'à 5-10 % du trafic qualifié pour certains secteurs B2B en 2026). Le seul cas pour bloquer : contenu propriétaire monétisable (cours payants, base de données premium) que vous ne voulez pas voir restitué gratuitement.

Disallow: / dans un bloc User-agent: * bloque tous les crawlers du monde - rarement ce que vous voulez. Bloquer un User-agent spécifique (ex: User-agent: AhrefsBot puis Disallow: /) ne cible que ce crawler. Notre outil construit ces blocs proprement pour vous, dans l'ordre standard : règles globales d'abord, puis règles spécifiques par bot, puis Sitemap en bas.

Pas avec Google, qui ignore complètement cette directive depuis des années (il préfère ses propres algorithmes de throttling). Mais Bing, Yandex et certains crawlers tiers la respectent. Utile uniquement si votre serveur est très limité et que vous voyez les bots faire monter votre charge CPU. Pour 95 % des sites TPE/PME, vous pouvez l'ignorer.

Oui, vous pouvez ajouter plusieurs lignes Sitemap: à la suite. Utile si vous avez un sitemap général + un sitemap dédié aux images, à la vidéo ou aux actualités. Notre outil ne gère qu'un seul sitemap par défaut pour rester simple, mais vous pouvez éditer le fichier généré et y coller manuellement plusieurs lignes Sitemap si besoin.

Oui, totalement public. N'importe qui peut consulter votre robots.txt à l'adresse votresite.com/robots.txt. Conséquence : ne mettez jamais en Disallow des chemins sensibles que vous voulez cacher (genre /admin-secret), ça revient à publier la liste de vos zones cachées. Pour bloquer un accès, utilisez l'authentification HTTP côté serveur, pas le robots.txt.

Il parse votre robots.txt actuel et vous montre la structure : user-agents détectés, règles par bloc, sitemaps déclarés, erreurs de syntaxe (directive inconnue, format invalide), avertissements (chemin sans /, conflits Allow/Disallow). C'est un outil de debug : si Search Console vous remonte une erreur sur votre robots.txt, collez-le dans le validateur pour identifier la ligne fautive.