Folosesc Webmaster Tools de la google... si vad ca nebunul de crawler tot incearca sa intre pe un link pe care eu nu-l mai am demult la site.. cum ii "spun" sa renunte ?
RCG
18th August 2009, 20:42
Vezi de unde se face poiting catre acel link si elimina "sursa". De altfel, poti folosi: Site configuration->Crawler access->Remove URL
Horsie
18th August 2009, 21:02
robots.txt
RCG
18th August 2009, 21:39
@Horsie: ii va aparea apoi ca URL-ul este blocat si va intreba cum il deblocheaza...e mai sigura metoda mea.