Jump to content

SUBIECTE NOI
« 1 / 5 »
RSS
Ce parere aveti de viteza/ modul ...

Love Lies Bleeding - 2024

Cum sterg mails din Promotions

Vanzare cumparare fara transfer b...
 Receptie ciudata, in functie de t...

Donez medicamente renale ptr pisica

Ce componenta e asta si ce ziceti...

Dupa 20 ani de facultate, am uita...
 Mobile.de ofera imprumut de bani ...

problema test grila

Digi24 a disparut de pe TV Lg

Drept de proprietate intelectuala...
 Jante noi shitbox

Trinitas TV 4K

Dacia 1316 cu 6 usi ...

Frecventa modificata radio
 

web scrapping website

- - - - -
  • Please log in to reply
14 replies to this topic

#1
mcelbmag

mcelbmag

    Junior Member

  • Grup: Junior Members
  • Posts: 42
  • Înscris: 15.07.2018
Salut.

Am nevoie , cu un sfat :), sa rezolv urmatoarea problema:

*vreau sa fac webscrapping pe niste pagini de admin din gama office online.

Probleme intampinate:
-are acea logare cu un prim ecran pentru user, next parola, next keep signed. Nu stiu cum sa trec de ele
-am inteles eu care ar fi logica urlurilor in care ei tin data, DAR imi trebuie ceva sa invoc scroll down pe un div, ca sa pot lua toate datele.

Deci, mi ar trebui o librarie care ar putea rezolva logarea lor si acel scrol.

Am incercat ceva cu powershell si com internetexplorer, dar este si greu/lent si nu imi returneaza tot dupa cateva invocari de scroll...

Microsft nu are suport de rapoarte inca pentru ce vreau eu.

Nu conteaza limbajul, ii dau eu de capat. Doar sa pot face cele doua chestii.
Multumesc!

#2
dexterash

dexterash

    --something---

  • Grup: Senior Members
  • Posts: 22,912
  • Înscris: 19.08.2004

View Postmcelbmag, on 27 aprilie 2020 - 16:50, said:

DAR imi trebuie ceva sa invoc scroll down pe un div, ca sa pot lua toate datele.
Eu cred ca te depaseste complet domeniul. Si nu oricum, ci crunt. Si ca sa nu zici ca's baiat rau: foloseste un browser adecvat + developer tools ca sa faci track la network requests. Dupa, te prinzi tu cu ce sa le repeti.

#3
dionenina424

dionenina424

    Active Member

  • Grup: Members
  • Posts: 1,392
  • Înscris: 21.04.2020
AutoIt sau AutoHotKey
Astea simuleaza click, scroll.... tot ce vrei tu
Dezavantaj: sint sensibile, daca dai click 1 mm gresit sau apare ceva neprevazut... se strica tot

SAU

Scule deja facute, specializate pe asa ceva, de obicei pe bani.

#4
alx42

alx42

    Senior Member

  • Grup: Senior Members
  • Posts: 2,802
  • Înscris: 26.06.2014
asta ii trebuie
https://github.com/puppeteer/puppeteer

#5
mcelbmag

mcelbmag

    Junior Member

  • Grup: Junior Members
  • Posts: 42
  • Înscris: 15.07.2018
Eu cred ca ce zici tu merge, dar mai cred ca merge pentru cereri simple. Eu as avea nevoie de o logare ca sesiune. Asa daca ma uit la sa zic /page.aspx deja am sesiunea in browser si/sau server deci degeaba citesc geturi si posturi, cum sunt facute. Si singurul browser ce are suport com este ie.

La curl din ce stiu autentificarea o fac per pagina de exemplu

#6
alx42

alx42

    Senior Member

  • Grup: Senior Members
  • Posts: 2,802
  • Înscris: 26.06.2014
poti strange si cookies si le trimiti la fiecare cerere ca sa ramai logat, cum face si un browser.
dar ptr scraping a trecut vremea curl.
acum avem puppeteer (chrome headless).. care simplifica procesul :D

#7
mcelbmag

mcelbmag

    Junior Member

  • Grup: Junior Members
  • Posts: 42
  • Înscris: 15.07.2018
Multumesc , nu stiam de puppeter. Am sa incerc, pare promitator cand ma uit pe telefon



#8
dani.user

dani.user

    Guru Member

  • Grup: Senior Members
  • Posts: 30,239
  • Înscris: 24.02.2007
Posibil ca acea solutie office online sa-ti ofere un API pentru acces la date.

#9
mcelbmag

mcelbmag

    Junior Member

  • Grup: Junior Members
  • Posts: 42
  • Înscris: 15.07.2018
@dani
Nu are, exista ceva in testare, probabil peste doua luni va fi disponibila.
Graph api are multe facilitati doar beta

#10
aaaa4567

aaaa4567

    Senior Member

  • Grup: Senior Members
  • Posts: 9,524
  • Înscris: 18.10.2011
E vorba de office 365 or so? Nu are niciun API, ceva?

Edited by aaaa4567, 27 April 2020 - 18:13.


#11
fulgerul46

fulgerul46

    Junior Member

  • Grup: Members
  • Posts: 178
  • Înscris: 14.11.2011
Vezi python cu selenium, basically iti deschide un browser pe care il poti programa sa faca ce vrei, sa apesi pe chestii etc

#12
mcelbmag

mcelbmag

    Junior Member

  • Grup: Junior Members
  • Posts: 42
  • Înscris: 15.07.2018
multumesc pentru raspunsuri, puppeteer este ceea ce cautam si chiar nu auzisem de el

#13
dexterash

dexterash

    --something---

  • Grup: Senior Members
  • Posts: 22,912
  • Înscris: 19.08.2004
Ah, super fain, ne spui si noua pe unde vrei sa il folosesti, cum il folosesti, ce faci cu el si alte detalii?

#14
MarianG

MarianG

    be that as it may

  • Grup: Moderators
  • Posts: 31,445
  • Înscris: 10.08.2005
Chiar sunt si eu curios de ce ai nevoie de "scrapping" pe un panou de administrare.

#15
mcelbmag

mcelbmag

    Junior Member

  • Grup: Junior Members
  • Posts: 42
  • Înscris: 15.07.2018
Am inceput eu, dar nu prea ma ajuta csv cu readstream , am reusit pe cateva iduri dar cu niste settimeout

Inca nu au un export de activitati per user pentru ce vreau eu, cine cu cine. Doar chestii de average items. Eu ca admin pot verifica ce a facut fiecare. Si cum am 1000+ de useri caut ceva lejer

Oricum daca dureaza prea mult macar pot zice ca am invatat ceva:)

Anunturi

Chirurgia endoscopică a hipofizei Chirurgia endoscopică a hipofizei

"Standardul de aur" în chirurgia hipofizară îl reprezintă endoscopia transnazală transsfenoidală.

Echipa NeuroHope este antrenată în unul din cele mai mari centre de chirurgie a hipofizei din Europa, Spitalul Foch din Paris, centrul în care a fost introdus pentru prima dată endoscopul în chirurgia transnazală a hipofizei, de către neurochirurgul francez Guiot. Pe lângă tumorile cu origine hipofizară, prin tehnicile endoscopice transnazale pot fi abordate numeroase alte patologii neurochirurgicale.

www.neurohope.ro

0 user(s) are reading this topic

0 members, 0 guests, 0 anonymous users

Forumul Softpedia foloseste "cookies" pentru a imbunatati experienta utilizatorilor Accept
Pentru detalii si optiuni legate de cookies si datele personale, consultati Politica de utilizare cookies si Politica de confidentialitate