Sitemap versus robots.txt

#1
Valentynus

Posted 26 February 2007 - 02:48

Member

Grup: Members
Posts: 290
Înscris: 21.12.2004

Am un wordpress(2.1) si un plugin pt google sitemap. Cand am fost la google webmasters sa adaug sitemapu mi-a spus ca robots.txt nu ii da voie ..fisierul robots.txt nu exista. Am dat pe robots.txt analyse si am vazut acolo un disalow /. Am pus fisierul robots.txt pe server "User-agent: * Disallow:" si nimic. Tool-ul ala de analiza tot / vede la robots. E adevarat ca am avut optiunea din wordpress care bloca botii activata la un moment dat, dar acum nu mai e.
Care e treaba ? Instalez wordpressu iar?

Back to top

#2
ciuly

Posted 26 February 2007 - 08:20

dus cu pluta pe apa sambetei

Grup: Senior Members
Posts: 7,848
Înscris: 17.03.2004

incearca sa iei robots.txt-ul din browser:
www.domeniul_tau/robots.txt
si vezi daca continutul e intr-adevar

User-agent: *
Disallow:

Back to top

#3
miromulus

Posted 26 February 2007 - 10:56

c'mon inner peace...!

Grup: Senior Members
Posts: 9,613
Înscris: 25.01.2006

Vezi cand a fost ultima oara citit robots.txt. Google nu tree sa-l reverifice la comanda ta ci doar din cand cand in, in functie de importanta site-ului.

Back to top

#4
Valentynus

Posted 26 February 2007 - 13:54

Member

Grup: Members
Posts: 290
Înscris: 21.12.2004

In browser imi arata fara "/" dar din google webmaster cu "/".
Acum insa e ok, il vede bine, multumesc pt raspunsuri, dar 2 zile m-am chinuit nu stiam ce se intampla.
Se pare ca a fost ce spunea Miromulus.

Back to top

#5
activinfo

Posted 24 May 2007 - 18:58

Junior Member

Grup: Members
Posts: 60
Înscris: 12.05.2007

Valentynus, on Feb 26 2007, 14:54, said:

In browser imi arata fara "/" dar din google webmaster cu "/".
Acum insa e ok, il vede bine, multumesc pt raspunsuri, dar 2 zile m-am chinuit nu stiam ce se intampla.
Se pare ca a fost ce spunea Miromulus.

Salutare ..
Ce trebuie sa contina fisierul robots.txt? Vreau si eu sa imi bag la site :D

Back to top

#6
cech

Posted 24 May 2007 - 19:10

Junior Member

Grup: Members
Posts: 186
Înscris: 06.03.2007

activinfo, on May 24 2007, 19:58, said:

Salutare ..
Ce trebuie sa contina fisierul robots.txt? Vreau si eu sa imi bag la site :D

User-Agent : *
Disallow :

Back to top

#7
DarkAngelBv

Posted 24 May 2007 - 20:49

=== Proud owner of === ++++ Audi & Opel ++++

Grup: Senior Members
Posts: 12,747
Înscris: 24.03.2006

Prin robots.txt poti face boti sa "nu vada"(indexeze) anumite fisiere ale site-ului tau... (.CSS-urile, .JS-urile, etc... )
Spre exemplu daca avem un fisier numit stil.css, care nu vrem sa fie indexata in robots.txt scriem ceva de genul:

User-agent: *
Disallow: /stil.css

Pentru alte fisiere procedam la fel.

Back to top

#8
ciuly

Posted 24 May 2007 - 20:55

dus cu pluta pe apa sambetei

Grup: Senior Members
Posts: 7,848
Înscris: 17.03.2004

si ca o masura de securitate, daca ai directoare, pagini care nu vrei sa fie vazute de nimeni (ma rog, exceptie x persone, problema ta) NU il baga in robots.txt. nu de alta dar asa o sa te asiguri ca toata lumea afla de ele ;)

Back to top

#9
dixy

Posted 25 May 2007 - 20:59

Senior Member

Grup: Banned
Posts: 3,910
Înscris: 06.09.2004

ciuly, on May 24 2007, 21:55, said:

si ca o masura de securitate, daca ai directoare, pagini care nu vrei sa fie vazute de nimeni (ma rog, exceptie x persone, problema ta) NU il baga in robots.txt. nu de alta dar asa o sa te asiguri ca toata lumea afla de ele ;)

Pentru aia are .htaccess.

Back to top

#10
ciuly

Posted 25 May 2007 - 22:34

dus cu pluta pe apa sambetei

Grup: Senior Members
Posts: 7,848
Înscris: 17.03.2004

eu ma refeream la altceva. pun pe server niste poze pe care vreau sa le impartasesc cu familia si cu nimeni altcineva. pot folosi htaccess? nu, pentru ca nu stiu ip-uri, nu stiu nimic.
la fel, am pagina pe care o folosesc sa imi dau access la server via ssh de unde vreau. nu e chestia ca n-am incredere in parole dar n-am incredere in serverul web sa fie fara gauri de securitate care sa permita cuiva sa acceseze pagina respectgiva si deci sa isi dea access la server. deci pe linga parola, e bine sa nici nu se stie de pagina ;)
nemaivorbind de alte multe cazuri cand vrei sa accesezi o pagina de oriunde, dar nu vrei sa se stie de ea. htaccess nu te ajuta, iar sa il pui in robots.txt dai liver la toata lumea.
la asta m-am referit -_-

Back to top

Anunturi

Second Opinion

Folosind serviciul second opinion ne puteți trimite RMN-uri, CT -uri, angiografii, fișiere .pdf, documente medicale.

Astfel vă vom putea da o opinie neurochirurgicală, fără ca aceasta să poată înlocui un consult de specialitate. Răspunsurile vor fi date prin e-mail în cel mai scurt timp posibil (de obicei în mai putin de 24 de ore, dar nu mai mult de 48 de ore). Second opinion – Neurohope este un serviciu gratuit.

www.neurohope.ro

Sitemap versus robots.txt

#1 Valentynus Posted 26 February 2007 - 02:48

#2 ciuly Posted 26 February 2007 - 08:20

#3 miromulus Posted 26 February 2007 - 10:56

#4 Valentynus Posted 26 February 2007 - 13:54

#5 activinfo Posted 24 May 2007 - 18:58

#6 cech Posted 24 May 2007 - 19:10

#7 DarkAngelBv Posted 24 May 2007 - 20:49

#8 ciuly Posted 24 May 2007 - 20:55

#9 dixy Posted 25 May 2007 - 20:59

#10 ciuly Posted 25 May 2007 - 22:34

Anunturi

▶ 0 user(s) are reading this topic

Sign In

#1
Valentynus

Posted 26 February 2007 - 02:48

#2
ciuly

Posted 26 February 2007 - 08:20

#3
miromulus

Posted 26 February 2007 - 10:56

#4
Valentynus

Posted 26 February 2007 - 13:54

#5
activinfo

Posted 24 May 2007 - 18:58

#6
cech

Posted 24 May 2007 - 19:10

#7
DarkAngelBv

Posted 24 May 2007 - 20:49

#8
ciuly

Posted 24 May 2007 - 20:55

#9
dixy

Posted 25 May 2007 - 20:59

#10
ciuly

Posted 25 May 2007 - 22:34