Fisiere restrictionate cu robot.txt

Salut,

Am inceput si eu sa utilizez robot.txt si am restrictionat toate paginile de produse care sunt intr-un director "cumpara" si am lasat pentru indexare doar paginile de categorie.

Problema este urmatoare: in sitemap am paginile de categorie cu linkuri catre paginile de produse.

Pe Google Webmaster Tols exista atentionari incadrate la "probleme" de genul ca fisierele blocate cu robot.txt se gasesc in sitemap.

Este in regula? Ce-i de facut?

Cu stima,

In opinia mea nu este in regula. De ce nu vrei sa indexeze produsele??? Adica restrictionezi keywordurile long tail?
Nu cumva canonical vrei sa folosesti? Poate ca nu am inteles intrebarea

crystycrystan, on 14 ianuarie 2013 - 17:01, said:

Salut,

Am un site cu 1000 de produse de la un furnizor unic pe tara care se mai regasec in alte 100 de site-uri. Paginile de produs le-am creeat cu copy-paste dupa paginile producatorului, deci e lesne de inteles ca se mai regsesc si pe alte n site-uri de pe piata.

Problema e ca Google penalizeaza continutul duplicat (copiat de pe alte site-uri), pentru aceasta m-am gandit sa dau dislow: /director produse si sa dau alow doar la vreo 20-30 de pagini de produs pe care am sa le creez total diferit de paginile producatorului.

Acum GoogleWebMaster la sitemap imi zice: "Sitemapul conţine adrese URL blocate de robots.txt" si afiseaza 978 de "probleme" -numarul de pagini blocate cu robot.txt.

Ce ma sfatuiti?

Cu respect.

Eu as lasa sa indexeze produsele, si la fiecare produs dau un title unic, si daca pot modific si textele. Problema cu unicitatea textelor e urmatorul (foarte simplificat): daca pagina ta contine o descriere care se regaseste de exemplu pe alte zece siteuri, pagina ta ca pagina noua aparuta va fi listata pe locul 11 in serp. Tu ai nevoie de un linkbuilding puternic, pe cuvinte long tail ca siteul tau "sa fie luat in serios". In acest fel, poti sa fii chiar in fata concurentei - insa asta dureaza. Si in acest fel nu vei fi penalizat.

Sa luam urmatorul caz: am un magazin online si vand anveloape. La cuvantul anveloape sa avem 5000 cautari pe luna (e un exemplu, nu am verificat), deci tot atata vizitatori pot sa am daca sunt in primele locuri in serp. Insa nu sunt acolo, fiindca concurenta e destul de mare. Pot sa fiu acolo insa asta necesita timp, si bani. Aici intervin keywordurile long tail, adica fraze (si nu cuvinte) de cautare, unde concurenta e mai mica (fiindca numarul de cautari pe luna este mai mic) si ai sanse mai mari sa fii intr-o pozitie acceptabila in serp intr-un termen mai scurt si cu investitie mai mica. Numarul total a cautarilor pe aceste fraze de obicei depaseste numarul cautarilor pe keywordul principal, deci in cazul nostru poate sa fie si 10.000 (exemplu). Adica: pe "anveloape" nu o sa am vanzari numai peste sase luni, dar pe "anveloare pireli" o sa am peste o luna. Iar pe "anveloape dunlop" (exista asa ceva?) peste doua luni. In acest fel nu trebuie sa astept luni de zile dupa keywordul principal, ci businessul merge - bazat pe keyworduri secundare. Pe langa optimizare pe long tail, bineinteles lucrezi si pe keywordul principal.

Deci daca eu vand anveloape, nici nu-mi trece prin cap ca paginile "anveloape pirelli", "anveloape dunlop" (ori dracu stie ce marci sunt) sa nu fie indexate (!!!), fiindca aceste cuvinte din google pot aduce vizitatori noi, deci potentiali clienti!

Nu stiu daca e destul de clar ce am scris - foarte simplificat c-am asa functioneaza.

Eu i-ti propun sa mai citesti despre long tail, de exemlpu aici


Problema cu sitemap: din robots.txt restrictionezi indexarea, din sitemap comunici ca vrei sa fie indexate. Deci ori urmezi sfatul meu de mai sus, ori scoti paginile respective din sitemap.

crystycrystan, on 15 ianuarie 2013 - 05:49, said:

Salut,

Am studiat un pic magazinele de pe prima pagina (care sunt prezente pe prima pagina la majoritatea cuvintelor cheie) ele au vreo 2000 de produse dar nu le indexeaza pe toate, indexeaza doar categoriile de produse (vreo 100) si vreo 50 de produse in rest blocheaza accesul in robot.txt. Intradevar la fiecare categorie de produse merg pe titluri lungi formate din 6-9 cuvinte.

Problema este ca nu stiu cum sa elimin linkurile din sitemap pentru fisierele restrictionate de robot.txt.
Daca acele linkuri nu sunt eliminate este o problema majora?

Astept si alte pareri!!!