Gsite Crawler

Forumul Softpedia > Professional Zone > Webmaster Corner > SEO Forum

Sergiu_Q
10th July 2006, 14:16


De ceva vreme folosesc Gsite Crawler ca sa imi fac site map-urile si am observat o chestie destul de dubioasa . Ieri i-am dat drumul sa fac site map la 2 subdomenii , mi-a aratat vreo ~40 mii de linkuri si a durat ~ 24 de ore ca sa termine treaba . Problema e ca traficul pe server mi-a aratat pe ziua de ieri
Pageviews:71457
Hits:90482
Transfer :8.55 GB

cum dracu sa se faca 8.5GB ?
subdomeniile sunt relativ noi si nu au fost decat cativa utilizatori inafara de mine , deci banuiesc ca de la Gsite se trage transferul asta . Este posibil ?
A mai patit cineva asa ceva ?

(sper ca nu am gresit postand pe forumul SEO ..doar e vb de site map smile.gif )
Expertu
10th July 2006, 15:29
Calculeaza asa :

71.000 afisari de pagini, la aprox 40Kb pentru fiecare pagina (desi cu imagini poti ajunge si la triplu) = aprox 3 GB de trafic.
 
Courage
11th July 2006, 16:49
Cred ca ti-ar trebui un script local care sa iti creeze pe server fisierele sitemap, pt ca in ritmul asta o sa innebunesti smile.gif
Expertu
11th July 2006, 16:58
Pot sa-ti spun asa:

1 website, 1,5 milioane pagini indexabile, numarate de scriptul Perl oficial oferit de Google Sitemaps, a durat aprox 28 ore, pe un server local, P4, 1Gb ram.

Severul local era si server web.
Sergiu_Q
11th July 2006, 17:10
biggrin.gif nu e prima data cand le fac ...le fac saptamanal biggrin.gif
deja m-am obisnuit . nu stiu daca mai conteaza asa mult pc-ul cat conteaza conexiunea la net in cazul meu . problema e ca mi-a crapat baza de date pe care a facut-o programul si a trebuit sa o iau de la capat smile.gif . acum am facut un "duplicate project" si sper sa ma tina mai mult biggrin.gif
Courage , voi cu ce va faceti site map-urile ?
Courage
11th July 2006, 20:21
Noi folosim un script home made, care genereaza din DB link-urile -> sitemap frumos si mare smile.gif
shpampy
11th July 2006, 21:13
recomad cu mare caldura un script numit "phpSitemapNG". Atasez si arhiva cu el. E super-simplu de instalat si face scripturile in minute in loc de ore, local pe server.
 
Reclama
A minute ago
Esti student? Beneficiaza acum de gratuitatile si reducerile de iarna!
Aceasta este o versiune simplificatã a paginii originale. Pentru a vizita versiunea originala click aici.