Jump to content

SUBIECTE NOI
« 1 / 5 »
RSS
Info Coronavirus/Vaccinare vs Fake News

Georgia.Cu masina.Camper.Moto.202...

Eroare gif Facebook

Epson, acuzat ca-si programeaza i...
 ExpertBook P2451FA

La multi ani @sftpdt!

Proiect garaj respins ca nu este ...

Casa parasita
 Discotecile anilor '90. Cine ...

Recuperare date dupa chkdsk

ce motor am pe opel ?

A inviat Florin Salam
 Tot inainte, sa ajunga si la noi&...

Este zoofilia legala in Romania ?

Zgomot ciudat in bloc

SSD Adata SU650
 

Cum sa imblanzesti un bot de cautare

- - - - -
  • Please log in to reply
10 replies to this topic

#1
Courage

Courage

    Founder

  • Grup: Senior Members
  • Posts: 21,095
  • Înscris: 26.11.2001
O mica recapitulare a cunostiintelor despre cum sa "imblanzesti" in bot care isi baga nasul pe unde nu ti-ai dori.

Bot Obedience: Herding Googlebot

Quote

I noticed a useful session at the upcoming Search Engine Strategies conference in San Jose. In exactly a month there will be a Bot Obedience class. People sometimes ask me about how to “sculpt” where Googlebot visits, and my only other post about this was pretty technical, so I’ll take a stab at a shorter, clearer post.

At a site or directory level, I recommend an .htaccess file to add password protection to part of a domain. I wrote a quick example of setting up an .htaccess file  about this time last year. I’m not aware of any bot (including Googlebot) that guesses passwords, so this is quite effective at keeping content out of search engines.

At a site or directory level, I also recommend a robots.txt file. Google provides a simple robots.txt checking tool to test out files before putting them live.

At a page level, use meta tags at the top of your html page. The noindex meta tag will keep a page from showing up in Google’s index at all. This tag is great on any page that’s confidential. The nofollow meta tag will prevent Googlebot from following any outgoing links from a page. This page shows the proper syntax.

At a link level, you can add a nofollow tag on the granularity of individual links to prevent Googlebot from crawling individual links (you could also make the link redirect through a page that is forbidden by robots.txt). Bear in mind that if other pages link to a url, Googlebot may find the url through those other paths. If you can, I’d recommend using .htaccess or robots.txt (at a directory level) or meta tags (at a page level) to be safe. I’ve seen people try to sculpt Googlebot visits at the link level, and they always seem to forget and miss a few links.

If the content has already been crawled, you can use our url removal tool. This should be your last resort; it’s much easier to prevent us from crawling than to remove content afterwards (plus the content will be removed for six months). This help page discusses how to remove other types of content from Google.

Update: Vanessa Fox pointed out this Googlebot help page which covers a ton of other Googlebot questions.


Sursa: Matt Cutts

#2
Expertu

Expertu

    Member

  • Grup: Members
  • Posts: 425
  • Înscris: 21.08.2004
Sa inteleg ca urmaresti frecvent site-ul ;)

#3
Krumel

Krumel

    Active Member

  • Grup: Members
  • Posts: 1,371
  • Înscris: 19.05.2004
Mai degraba, ca impartasesti cunostintele si informatiile cu membrii comunitatii.

#4
WeaselMan

WeaselMan

    Member

  • Grup: Members
  • Posts: 326
  • Înscris: 29.01.2004
"Hearding" s-ar traduce maidegraba prin "a indruma, a conduce, a manipula, a manevra" - daca stiti de la cow & chicken episodul in care cow vroia sa se duca cu celelalte cows ca sa "heard", numai ca pana la urma se plictiseste si revine acasa pentru ca celelalte cows erau prea plictisitoare. Iar "imblanzire" se traduce prin "taint"; ex: "Tainted Love".

Anyway, eu am folosit destul de mult "meta robots=noindex" pentru paginile in care aveam lucruri duplicate, de exemplu cautari, filtre, etc., sau un sitemap gigantic cu o multime de link-uri, dar fara continut. Dar daca ma gandesc acuma, nu stiu sigur daca a fost asa de bine, pentru ca vad mereu site-uri cu gramada de continut duplicat, cu indexari de sute de mii de pagini

Dar nu stiu ceva. De ex. la o pagina de genul asta http://archive.softpedia.com/ daca pui "meta robots=noindex,follow" va urma google link-urile pe pagina? Si daca le urmeaza si ai noindex, va reveni pe pagina asta data viitoare (a se revedea: noindex)?

Ca de exemplu eu nu vreau sa-mi indexeze continutul de pe pagina, nu ma intereseaza sa ajunga vizitatorii pe pagina aia. DAR vreau ca pagina respectiva sa aiba PR mare, sa o indexeze google frecvent ca sa pun eu link-urile noi care au aparut pe site ca sa fie indexate repede.

Intelege cineva ceva din ce am scris?

#5
Expertu

Expertu

    Member

  • Grup: Members
  • Posts: 425
  • Înscris: 21.08.2004

View PostWeaselMan, on Jul 13 2006, 14:31, said:

Dar nu stiu ceva. De ex. la o pagina de genul asta http://archive.softpedia.com/ daca pui "meta robots=noindex,follow" va urma google link-urile pe pagina? Si daca le urmeaza si ai noindex, va reveni pe pagina asta data viitoare (a se revedea: noindex)?

Da. Va reveni. Doar ca nu o va indexa.

Daca te vei uita in log-uri vei vedea ca GoogleBot te va vizita foarte frecvent, pentru a face spidering la link-urile de acolo, insa nu pt. a o indexa.

#6
WeaselMan

WeaselMan

    Member

  • Grup: Members
  • Posts: 326
  • Înscris: 29.01.2004

View PostExpertu, on Jul 13 2006, 20:52, said:

Da. Va reveni. Doar ca nu o va indexa.
Care este si ideea...

Danke.  :peacefingers:

#7
Dever

Dever

    Member

  • Grup: Members
  • Posts: 416
  • Înscris: 13.07.2005
Continuare imblanzire GoogleBot http://googleblog.bl...n-protocol.html

Edited by Dever, 23 February 2007 - 10:41.


#8
TociTox

TociTox

    Junior Member

  • Grup: Members
  • Posts: 61
  • Înscris: 27.08.2008
Pui o parola in .htacces pe folderele/subfolderele peste care nu vrei sa treaca crawlerii, daca totusi nu esti sigur folosesti meta-tag-uri gen "nofollow", "noindex" si un robots.txt costumizat.

#9
DarkAngelBv

DarkAngelBv

    === Proud owner of === ++++ Audi & Opel ++++

  • Grup: Senior Members
  • Posts: 12,747
  • Înscris: 24.03.2006

View PostTociTox, on Dec 4 2008, 21:36, said:

Pui o parola in .htacces pe folderele/subfolderele peste care nu vrei sa treaca crawlerii, daca totusi nu esti sigur folosesti meta-tag-uri gen "nofollow", "noindex" si un robots.txt costumizat.
Mai bine taceai. Pe viitor ti-am fi recunoscatori sa nu mai dai sfaturi acolo unde nu te pricepi.

#10
lord_ice

lord_ice

    SEO is ART

  • Grup: Banned
  • Posts: 4,100
  • Înscris: 20.06.2007

View PostTociTox, on Dec 4 2008, 21:36, said:

Pui o parola in .htacces pe folderele/subfolderele peste care nu vrei sa treaca crawlerii, daca totusi nu esti sigur folosesti meta-tag-uri gen "nofollow", "noindex" si un robots.txt costumizat.

Cum naiba sa parolezi folderele? pana si curl si alte cereri php de incluziune fisiere vor fi blocate  :lol:
http://www.robotstxt.org/

#11
james123612

james123612

    New Member

  • Grup: Members
  • Posts: 2
  • Înscris: 04.05.2010
Thank you for sharing with us.I am also looking for this from a long time.I want to ask some question regarding this.Please tell me some more about this.

Anunturi

Chirurgia endoscopică a hipofizei Chirurgia endoscopică a hipofizei

"Standardul de aur" în chirurgia hipofizară îl reprezintă endoscopia transnazală transsfenoidală.

Echipa NeuroHope este antrenată în unul din cele mai mari centre de chirurgie a hipofizei din Europa, Spitalul Foch din Paris, centrul în care a fost introdus pentru prima dată endoscopul în chirurgia transnazală a hipofizei, de către neurochirurgul francez Guiot. Pe lângă tumorile cu origine hipofizară, prin tehnicile endoscopice transnazale pot fi abordate numeroase alte patologii neurochirurgicale.

www.neurohope.ro

0 user(s) are reading this topic

0 members, 0 guests, 0 anonymous users

Forumul Softpedia foloseste "cookies" pentru a imbunatati experienta utilizatorilor Accept
Pentru detalii si optiuni legate de cookies si datele personale, consultati Politica de utilizare cookies si Politica de confidentialitate