Colectare si afisare date/preturi de pe alte site-uri

Exista site-uri care afiseaza preturile de la aceleasi produse/servicii de pe mai multe site-uri. Cum se face asta? Exista aplicatii, trebuie facuta o intelegere cu cei care detin site-urile respective?

De exemplu: site-urile si aplicatiile care afiseaza preturile la benzina de la toate benzinariile din tara.
Exista si site-uri care fac comparatie de preturi la servicii: curent electric, gaze, credite, excursii, zboruri.

price.ro / compari.ro

Data scraping sau apelare de API-uri daca site-urile respective doresc colaborare .

Exista programe gata facute pentru data scraping sau fiecare firma le face de la zero?

Bursul, on 16 august 2023 - 11:25, said:

Strict pentru carburanti eu folosesc
https://www.consiliulconcurentei.ro/

(mpnitorul preturilor -> carburanti auto)

Edited by adisz, 16 August 2023 - 11:50.

Bursul, on 16 august 2023 - 11:47, said:

Exista si tool-uri/roboti create de alte companii insa tot trebuie configurati pentru scenariul specific care te intereseaza ; fiecare site e diferit in modul in care isi prezinta datele utilizatorului final deci e nevoie cel putin de "fine tunning" pt. fiecare caz in parte .
De asemenea trebuie avuta in vedere faptul ca utilizarea datelor proprietate ale site-urilor respective in scop comercial (cum fac site-urile date exemple mai sus) e in principiu ilegala conform legislatiei in domeniu si de aceea site-urile agregatoare pentru public functioneaza de obicei in baza unor intelegeri de colaborare ; pt. uzul tau personal (sau intern al unei companii) de obicei merge si "cu forta" via data scraping dar exista metode folosite de web devi pt. a face munca foarte grea (in cazul in care compania respectiva considera ca datele existente pe site reprezinta un avantaj comercial sau traficul pe site-ul propriu le genereaza un avanaj comercial in sine vs. referral links de la un agregator >> gen cum benzinariile evita sa puna POS-ul direct la pompa pt. ca intrat in benzinarie e foarte probabil sa cumperi si alte produse cu marje de profitabilitate mult mai mari decat combustibilul)

Bursul, on 16 august 2023 - 11:47, said:

De obicei sunt solutii custom, poate nu integral, dar cel putin partial, mai ales ca unele siteuri mai modifica structura astfel incat robotii sa nu mai poata colecta datele reale.
Ceva asemanator face si google cu youtube, ca sa strice aplicatiile terte din a functiona.

La fel cum de BF multi IT-isti isi fac roboti care fac comenzi automate la cele cateva produse reduse doar ca sa se poata lauda cu reclama, deaceea produsele dispar in cateva secunde de la start, ca roboteii stau de sase din secunda in secunda pana primesc raspuns ca serverul e ON. Mai fac si ei o bisnita, mai ales ca sunt salariile mici in IT, si sunt nevoiti sa mai ciupeasca si ei de pe unde apuca.

Site-urile respective plătesc să apară în comparatoarele de prețuri. Probabil că în platformele magazinelor, gen Shopify există și ceva tool ca să de accesul la comparatoarele de prețuri.
De asta nu o să vezi nicodată în ele emag de exemplu.

La gaze și curent există un singur comparator(or fi și altele, dar nu a auzit nimeni de ele) ale ANRE-ului. Acolo cel mai probabil furnizorii trebuie să încarce ofertele.
În schimb pentru mine PecoOnline e un mister, au datele actualizate zilnic de la toate benzinăriile din țară(cele aparținând marilor lanțuri). Dar din păcate a devenit irelevant, acum 2-3 ani existau diferențe de 10-20 de bani chiar și între benzinăriile aceluiași lanț, acum nu găsești diferențe de 10 bani nici între două benzinării aparținând lanțurilor diferite.
Pentru alimente există mizeria aia de Monitorul Prețurilor, un site ordinar cu o interfață tâmpită. Vrei să cauți cât costă 1kg de făină și te pune să alegi producătorul, în loc ză-ți arate cea mai ieftină făină. Că dacă o să alegi Proxi de exemplu, e clar că te trimite la Profi.
La zboruri sunt cu duiumul.
La produse online sunt așa: Compari, Price, Pricy, Shopmania, istoric-prețuri, 3Cheaps.
La oferte la serviciile de telecomunicații există veritel.ro.

Edited by Valy_User, 16 August 2023 - 14:06.

Asta este de exemplu procedura ca să devii coloaborator compari: https://www.compari....despre_noi.html
În legăură cu comparatoarele, em am ajuns să folosesc mai mult tool-ul celor de la Google, mi se pare mult mai ok ca să depistez produsul pe care-l caut.
Apropo, la PecoOnline îmi plăcea să mă uit mereu la minimile zilei.

Edited by Valy_User, 16 August 2023 - 14:15.

adisz, on 16 august 2023 - 11:47, said:

Și dacă e și cu 50 de bani pe litru mai ieftin în Dristor și tu stai în Chitila, mergi pana acolo? Ca diferența prea mare nu poate fi.
Esti dispus sa pierzi 1 ora 20 minute dus intors si sa faci 40 Km?
La un plin poate salvezi 20 lei dar ii dai înapoi cu dobânda cu uzura mașinii, timp pierdut și ai idee cât combustibil consumi sa faci 40 Km prin oraș?

Edited by AztecWarrior, 16 August 2023 - 18:17.

M-am uitat acum pe PecoOnline, diferența de preț între benzinării la motorină pe București este de maxim 15 bani.