Web Scraping
Scraping von Google-Suchergebnissen mit Python
Google als eine der grössten Suchmaschinen enthält eine enorme Menge an wertvollen Daten, die für Unternehmen und Forscher von Interesse sind. Um jedoch effizient Google-Suchergebnisse zu scrapen, muss das Programm dafür robust, skalierbar und in der Lage sein, dynamische Veränderungen in Googles Struktur zu bewältigen.
Ob Sie ein eigenes LLM-Modell aufbauen oder Markteinblicke gewinnen möchten, ein Google-Scraper ist dafür unerlässlich. In einem Artikel zeigt Autor Manthan Koolwal lernen Sie, wie man einen Google-Suchergebnis-Scraper mit Python und der BeautifulSoup-Bibliothek erstellt.
Das Web-Scraping mit Python gehört 2025 zu den gefragtesten Fähigkeiten, da KI im Aufschwung ist. Um mit dem Scraping zu beginnen, müssen Sie sicherstellen, dass Python auf Ihrem Computer installiert ist und einige erforderliche Bibliotheken wie Selenium, BeautifulSoup und Pandas installiert sind.
Selenium wird verwendet, um den Google Chrome-Browser zu automatisieren, während BeautifulSoup dazu dient, wichtige Daten aus den Roh-HTML-Daten zu extrahieren. Da JavaScript-Rendering erforderlich ist, kommt nicht ein einfacher Download einer Seite zum Zug, sondern Selenium. Das schafft die nötige Headless-Browserumgebung, die wie ein echter Benutzer funktioniert und die Seite aufruft. Danach können Sie die HTML-Daten mit BeautifulSoup parsen und die benötigten Informationen wie Titel, Links und Beschreibungen extrahieren.
Da Google eine Vielzahl von Anti-Scraping-Massnahmen einsetzt, kann das einfache Scraping mit einem Standardansatz nicht skalierbar sein. Sie benötigen also fortgeschrittene Tools oder API-Dienste wie zum Beispiel Scrapingdog, die Proxy- und Header-Rotation übernehmen, um sicherzustellen, dass Sie nicht blockiert werden.
Das folgende Skript lädt die Seite in Selenium:
from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom selenium.webdriver.common.by import Byimport timefrom bs4 import BeautifulSoup# Set path to ChromeDriver (Replace this with the correct path)CHROMEDRIVER_PATH = "D:/chromedriver.exe" # Change this to match your file location# Initialize WebDriver with Serviceservice = Service(CHROMEDRIVER_PATH)options = webdriver.ChromeOptions()options.add_argument("--window-size=1920,1080") # Set window sizeoptions.add_argument("--disable-blink-features=AutomationControlled")driver = webdriver.Chrome(service=service, options=options)# Open Google Search URLsearch_url = "https://www.google.com/search?q=lead+generation+tools&oq=lead+generation+tools"driver.get(search_url)# Wait for the page to loadtime.sleep(2)page_html = driver.page_sourceprint(page_html) Und die folgenden Zeilen Code holen Titel, Link und Beschreibung aus der Datei:
page_html = driver.page_sourceobj={}l=[]soup = BeautifulSoup(page_html,'html.parser')allData = soup.find("div",{"class":"dURPMd"}).find_all("div",{"class":"Ww4FFb"})print(len(allData))for i in range(0,len(allData)): try: obj["title"]=allData[i].find("h3").text except: obj["title"]=None try: obj["link"]=allData[i].find("a").get('href') except: obj["link"]=None try: obj["description"]=allData[i].find("div",{"class":"VwiC3b"}).text except: obj["description"]=None l.append(obj) obj={}print(l) 
Kommentare