Webseiten automatisch durchsuchen

[Toooby]

Hallo,
Ich habe hier eine Excel-Liste mit ca. 800 Domain-Namen.
Nun möchte ich alle diese Domains (inkl. allen Unterseiten) nach stichworten durchsuchen, z.B. "Mercedes" und "Audi".
In der Excel Liste möchte ich nun die gefundenen Wörter ("Mercedes A-Klasse", "Audi A4" etc.) eintragen lassen.

Wie mache ich das am besten? Geht das allenfalls via VBA und Google APIs, oder gibt es andere / bessere / einfachere Wege?

Danke vielmal!

 

[duAffentier]

Du willst das die Homepage, welche du angegeben hast, durchsucht wird auf Inhalt und Pfad etc?


https://www.google.com/search?client=ubuntu&channel=fs&q=open+source+webcrawler&ie=utf-8&oe=utf-8

 

[BeBur]

Jo, Web-Scraping / Web-Crawler ist das Stichwort dazu. Es kann dir aber passieren, dass Webseiten dich sperren, wenn sie feststellen, dass du das machst oder es von vornherein nicht (ohne technischen Mehraufwand) zulassen. Wenn die Webseiten dynamisch generierte Inhalte haben, dann kann es sein, dass das Scraping Programm sehr viele Unterseiten findet und aufruft (tausende, bzw. zehntausende)

 

[madmax2010]

ich mag da gerne mechanical soup: https://mechanicalsoup.readthedocs.io/en/stable/

 

[Luna12]

BeautifulSoup, Selenium, Scrapy sind so die üblichen Verdächtigen.

 

[Toooby]

Danke für die Infos! Ich werd' mich da mal kundig machen!

 

[Micke]

evtl. tut's bereits curl wie s. computerbase thread #6
Ein Ausblick auf mehr enthält der Thread auch.