Özgür Işık Damar

Crawler-Plattform für Produkte, Preise und Bestände

Eine verteilte Crawler-Infrastruktur, die rund um die Uhr Produkt-, Preis- und Lagerdaten von mehreren Lieferanten und Marktplätzen abruft. Worker-Flotte, zentraler Endpoint-Manager, Live-Heartbeat – 7,8 Mio. Produkte und ~5 Mio. Transaktionen über ein Panel verfolgt.

Stack

Distributed crawlersWorker fleetEndpoint ManagerHeartbeat monitoringReal-time statsNormalizationMulti-source

Jeder Crawler-Worker auf einem Panel – IP, aktuelle Aufgabe, Heartbeat und Uptime live; ein langsamer oder abgestürzter Worker wird mit einem Klick neu gestartet.

1 / 1