Poate cineva sa-mi recomande un Crawler pentru un Search Engine Website (Site-Search button)

salut, prieteni. Am un website cu peste 5000 de pagini html. Trebuie sa-mi fac un Site-Search button care sa-mi gaseasca orice cuvinte cheie din paginile html de pe website. Am incercat aceasta varianta, face foarte bine indexarea paginilor, are panou de comanda in php. Nu am nevoie de baza de date in php. Imi indexeaza totul, apoi face cautarea in acest index. Totul este super ok,da pana la o limita. Se incarca foarte greu informatia cautata, fiindca sunt multe pagini html si fiindca am multe foldere separate (cu pagini html traduse in alte limbi). Nu am gasit calea sa-mi indexeze doar paginile din root, fara alta foldere (poate asa ar merge mai bine).

https://codecanyon.n...te/86875  (am cumparat pachetul)

Am incercat si programele "Search.Engine.Builder.Professional." si "Zoom Search Engine" (dar au restrictie de 500 pagini)

In orice caz,  poate cineva sa-mi recomande ceva mult mai bun? Ideea e ca n-am timp sa-mi fac baza de date si ca introduc 5.000 de pagini. Un asemenea crawler/indexer ar fi excelent.

Ai google custom search engine

https://programmable...ogle.com/about/

https://cse.google.com/cse/all

Adm, on 12 aprilie 2021 - 07:11, said:

e foarte bun google search engine, dar nu iti indexeaza paginile, ci trimite spre motoarele lui de cautare. Iar daca pagina ta n-a ajuns pe google, cautarea este degeaba, adica nu-l ajuta pe utilizator sa gaseasca informatia, chiar daca informatia exista la mine pe site (dar google n-a indexat-o inca)

Asa e, dar google indexeaza tot de obicei.
Daca tu iti inchipui ca poti avea locco un serviciu de indexare/cautare mai bun, esti fericit!

algolia ?

me_suzy, on 11 aprilie 2021 - 22:12, said:

Nu ai nevoie sau nu vrei baza de date?

Poti sa ii faci modificari codului. Sau ii poti scrie developerului, poate adauga optiunea.

me_suzy, on 11 aprilie 2021 - 22:12, said:

Manual !?


Altfel asta pare calea logica de urmat. Bineinteles, cu un script.
Cautarea in db o sa fie mult mai rapida.

Edited by bvygKLM, 12 April 2021 - 11:22.

me_suzy, on 11 aprilie 2021 - 22:12, said:

Daca  e web-site-ul tau nu ai access la fisiere direct ? Ce-ti trebuie web-crawler ?

Mutam la "Webmaster Corner" ?

bvygKLM, on 12 aprilie 2021 - 11:21, said:

developerul nu raspunde, am cam luat teapa cu acel cod. Iar eu nu am cunostinte super de php, desi am citit manualul si am facut configurarile de care spune acolo, dar tot degeaba.

MarianG, on 12 aprilie 2021 - 11:21, said:

eu am acces la fisiere, dar tu ca sa cauti o informatie la mine pe site, la butonul SEARCH, cum o cauti? Adica trebuie sa ai tu posibilitatea sa rasfoiesti paginile mele ca sa ajungi la informatie.

laffin, on 12 aprilie 2021 - 10:48, said:

ALGOLIA pare super bun, dar trebuie un developer care sa stie API.

me_suzy, on 11 aprilie 2021 - 22:12, said:

Doar in html e informatia, fara nici o baza de date din care sa fie generate acele htmluri?

me_suzy, on 11 aprilie 2021 - 22:12, said:

Acel index e o baza de date. Cum salveaza defapt programul rezultatul?

me_suzy, on 11 aprilie 2021 - 22:12, said:

Daca a creat index n-ar trebui sa se incarce greu. S-au defapt n-a creat nici un index si cauta manual in fiecare pagina mereu? Cat dureaza?

Poate inteleg eu gresit de ce ai nevoie, dar un tool care sa caute in fisiere nu te-ar ajuta? O librarie care face acest lucru este Apache Lucene. (desi un minus este ca va cauta si dupa tag-uri de html)

Edited by CryTeku, 12 April 2021 - 12:14.

AM GASIT SOLUTIA OPTIMA !! Cel mai brun index/crawler este Google Search Engine. Si este atat de usor de implementat, dar mi-a luat 2 zile ca sa pricep cum se face. L-am impementat acum pe , in 48 de ore se va indexa tot site-ul clientului meu.


PASUL UNU (Acesta este codul pentru cautare (buton + input). Copiaza acest cod oriunde vrei tu in pagina.

	 <form action="https://neculaifantanaru.com/search.html" method="get" id="site-search">
		 <fieldset>
			 <!-- <label for="search">Search in website</label> -->
			 <input type="text" name="q" id="q" value="" />
			 <button type="submit" class="btn btn-inverse">search</button>
		 </fieldset>
	 </form>

Pasul Doi. Creeaza o pagina noua search.html. Adauga acest cod in sectiunea <head> a fisierului.

<script>
(function() {
var cx = 'YOUR-NUMBER-CODE:wsmvvooowks';
var gcse = document.createElement('script'); gcse.type = 'text/javascript'; gcse.async = true;
gcse.src = (document.location.protocol == 'https:' ? 'https:' : 'http:') +
'//www.google.com/cse/cse.js?cx=' + cx;
var s = document.getElementsByTagName('script')[0]; s.parentNode.insertBefore(gcse, s);
})();
</script>

YOUR-NUMBER-CODE:wsmvvooowks poate fi gasit la aceasta pagina https://cse.google.com/cse/all (Adaugi o noua cautare, adaugi website-ul tau la setari.) De asemenea, tot aici pui OFF la optiunea "Search the entire web" ca sa obtii rezultatele cautarii doar din website-ul tau, nu din tot internetul.

Tot in pagina search.html adaugi acest cod in sectiunea <body>

<div class="main-content">
<h1>Search the site</h1><p>If you want to search for our articles on a specific topic, write the search term in the form below.</p>
<gcse:searchbox-only></gcse:searchbox-only>
<gcse:searchresults-only></gcse:searchresults-only>
</div>

Optional, poti adauga din nou codul de cautare:

	 <form action="https://neculaifantanaru.com/search.html" method="get" id="site-search">
	 <fieldset>
		 <!-- <label for="search">Search</label> -->
		 <input type="text" name="q" id="q" value="" />
		 <button type="submit" class="btn btn-inverse">Search</button>
	 </fieldset>
</form>

Asta a fost tot. Usor ca buna ziua, oricine poate.

Schimbati doar denumirea site-ului, adica puneti site-ul vostru in loc de

Edited by argonaut, 26 July 2022 - 15:49.