NL - Ze helpen het crawlbudget te optimaliseren, omdat de spider alleen bezoekt wat echt relevant is en de tijd die hij aan het crawlen van een pagina besteedt, beter benut. Een voorbeeld van een pagina die Google niet mag vinden is een "bedankpagina".