1

PIT Crawling Engine

Wir crawlen Daten von jeder Webseite

.
Daten parsen

We extrahieren Daten von jeder Webseite.s

.
Daten bewerten

Wir bewerten Daten auf Qualitätsbasis

.
Daten vernetzen

Wir vernetzen Daten

DATEN AUS WEBSEITEN EXTRAHIEREN

Mit unserem Web Scraper durchsurfen wir Webseiten und extrahieren die jeweilgien Daten. Mit verschiedenen Typselektoren die der Webscraper enthält extrahieren wir Text, Tabellen, Bilder, Links und vieles mehr.

left-image

GEBAUT FÜR WEB 2.0

Im Gegensatz zu anderen Web Scrapern crawlen wir auch Daten die mit Ajax etc nachgeladen werden.

Unser Web Scraper kann:

  • Auf dynamische Inhalte warten
  • Pagination Buttons auf Ajax Basis durchklicken
  • Auf Buttons klicken um mehr Daten zu laden
  • Webseiten durchscrollen

pc

DATEN IN CSV EXPORTIEREN ODER IN HADOOP Speichern

Unser Webscraper ermöglicht den Export der Daten in Hadoop aber auch einfaches speichern im CSV Format zur Weiterverarbeitung.

10