Jedná se o pojem související přímo se SEO. Zjednodušeně řečeno je to informace, jak velké množství času je robot vyhledávače ochoten strávit načtením konkrétního webu. Další údaje říkají, kolik stránek si projde a kolik jich ve výsledku uloží do indexu v rámci určité časové periody, například během jednoho dne nebo měsíčně. Čím důležitější je web z pohledu vyhledávače, tím více pozornosti mu bude robot věnovat. S tím souvisí i četnost návštěv v určitém časovém období. Například velké zpravodajské weby mají několik návštěv denně, zatím co drobná portfolia výtvarníků, kam není pravidelně přidáván obsah, navštíví jednou za čas. U webů s velkým množstvím obsahu, které disponují až několika tisíci stránek, se stává, že robot vyčerpá čas, který měl na stránku vymezený, na méně důležitý obsah. Aby se tomu zamezilo, nedůležité stránky se znepřístupní pro vyhledávače pomocí robots.txt, skrze které se vyřeší přesměrování a kanonizace URL stránek, tedy duplicitního obsahu.