FR Google prend en charge une limite de 521 kilo-octets pour les fichiers robots.txt, et si le contenu dépasse cette taille maximale, il peut l'ignorer. Nous ne savons pas si d'autres moteurs de recherche fixent également une limite pour ces fichiers.