De klant
- Online winkel
- 1500 werknemers
- Omzet 2022: €800 miljoen
Het probleem
- Naarmate de online winkel groeide, werd het in stand houden van hun open-source dataplatform arbeidsintensief en kostbaar.
- Het ontwikkelen van een in-house observability-pijplijn voor real-time stream processing resulteerde in aanzienlijke technische problemen.
- Het verwerken van dagelijks 2-3 TB aan weblogs leidde tot uitdagingen bij het configureren van bronnen, het up-to-date houden van systemen en het verbruiken van waardevolle engineeringtijd.
De oplossing
- Cribl Stream werd ingezet voor het verbergen van gevoelige patronen met behulp van redactie, hashing of randomisatie. Het introduceerde ook de Replay-functie voor het selectief opnieuw inlezen van data vanuit S3 naar analyseplatforms.
- Cribl Stream werd gebruikt voor het opvragen en aggregeren van logdata en statistieken
- Cribl Edge werd geïmplementeerd om duizenden edge nodes te beheren.
Het resultaat
- Aanzienlijke kostenbesparing op het gebied van infrastructuur, prestaties, engineeringtijd en downtime.
- Verbeterde efficiëntie en mogelijkheden voor het datateam, zelfs toen het dagelijkse datavolume verdubbelde.
- Maskeren van gevoelige patronen en data waardoor de beveiliging hiervan werd verhoogd.
- Gebruikersvriendelijke en intuïtieve dashboards konden worden gecreëerd voor waardevolle inzichten in systeemprestaties.