Web & Desktop
Produkt-Preis & Lagerbestand Crawler-Plattform
Eine verteilte Crawler-Infrastruktur, die rund um die Uhr Produkt-, Preis- und Lagerdaten von mehreren Lieferanten und Marktplätzen abruft. Worker-Flotte, zentraler Endpoint-Manager, Live-Heartbeat — 7,8 Mio. Produkte und ~5 Mio. Transaktionen über ein Panel verfolgt.
Stack
Distributed crawlersWorker fleetEndpoint ManagerHeartbeat monitoringReal-time statsNormalizationMulti-source
Jeder Crawler-Worker auf einem Panel — IP, aktuelle Aufgabe, Heartbeat und Uptime live; ein langsamer oder abgestürzter Worker wird mit einem Klick neu gestartet.
1 / 1