[How-To] Je eigen website-scraper met Screaming Frog

Een van die mogelijkheden leg ik stap-voor-stap uit in dit artikel: het verzamelen van (specifieke) gegevens uit websitecontent. Als je Screaming Frog slim inzet, kan je hem gebruiken als slimme ‘webscraper‘ voor het geautomatiseerd verzamelen van content op websites. Denk aan artikelnummers of andere data (zoals e-mailadressen of andere gegevens).

In dit voorbeeld maak ik een uitdraai met van alle producten op een webshop en de daarbij behorende artikelnummers. Maar het principe is toepasbaar voor elk type informatie.

Stap 1: Selector kopiëren met Google Chrome

Browse met Google Chrome naar een productpagina en selecteer de content, in dit geval het artikelnummer dat je wilt onttrekken uit de content en klik op je rechtermuisknop en op Inspecteren.

Je ziet nu een hoop HTML code, zorg ervoor dat je de juiste waarde geselecteerd hebt. Klik vervolgens nogmaals op de waarde met je rechtermuisknop en selecteer Copy > Copy Selector.

In ons geval is de selector “product_addtocart_form > div.product-shop.columns.medium-6.large-7 > ul.inline-list.bonus-info.hide-for-small > li > span“, sla deze selector op, deze hebben we later nodig in Screaming Frog.

Stap 2: Screaming Frog instellen

Open Screaming Frog en open het menu Configuration en selecteer Custom > Extraction.

Vul in het eerste veld de gewenste kolom naam in die terug komt in je uitdraai, in ons geval artikelnummer. Selecteer CSSPath in de dropdown en plak de selector uit stap 1 in het veld. Selecteer vervolgens Extract Text om alleen de waarde binnen de selector als tekst te selecteren.

Klik vervolgens op OK om de instellingen op te slaan.

Stap 3: Start Screaming Frog

Nu start je de Screaming Frog crawler zoals je dat normaal zou doen. Als je helemaal naar rechts scrolled in je resultaten zie je de nieuwe kolom die je in de vorige stap toegevoegd hebt. Als er een waarde is gevonden binnen de selector zal deze waarde in deze kolom terecht komen.

Op eenzelfde manier kun je al het denkbare uit de content halen van je website.

Geen waarde? Probeer XPath

Krijg je in geen gevallen de juiste waarde te zien? Probeer dan XPath in plaats van Selector. Selecteer in Stap 1 Copy XPath in plaats van Selector en selecteer in stap 2 XPath in plaats van CSSPath.

Hulp nodig?

Heb je hulp nodig of kan je wel wat assistentie gebruiken bij een specifieke use-case? We’ve got you covered! Neem contact met ons op. Wij kijken er alvast naar uit.