salutari.

in chinul meu de a realiza asta, m-am gandit sa folosesc in continuare sitemap gen de la google dar sa ii dau ca si intrare o lista de url-uri; iar lista asta sa o generez folosind un crawler, rulat local.
am cautat pe net una alta, dar ce am gasit au fost implementari slabute, majoritatea fara sa tina cont de robots.txt.

asa ca va intreb pe voi: stiti un astfel de program/script? nu e bai daca nu salveaza linkurile, numa sa aiba sursa disponibila ca il modific eu sa salveze url-urile, numa sa faca treaaba cu crawlul calumea.