december 19, 2023 | 6 min

Modern Data engineering with software best practices

Jelle Vegter
Head of Data Management

Met meer transacties dan alle pintransacties van alle Nederlandse banken bij elkaar, word je als Data Engineer bij Nederlandse Loterij geconfronteerd met uitdagingen die zeldzaam zijn binnen het Nederlandse datalandschap. Dát vraagt natuurlijk om een sterke visie. Jelle Vegter, Head of Data Management, vertelt in dit blog o.a. over de datastrategie binnen Nederlandse Loterij, het datafundament en op welke manier de organisatie realtime data inzet.

 

Van marketing naar marketing-technologie

Het gebeurt niet elke dag dat er een nieuw bedrijf binnen een bestaand bedrijf opgezet wordt. Dit was precies wat er gebeurde met het opengaan van de onlinekansspelmarkt in oktober 2021. Om de ingrijpende verandering te ondersteunen die dit met zich meebrengt, is er op organisatieniveau een culturele verandering ingezet; van marketingbedrijf naar een marketing-technologie bedrijf. En die transitie is essentieel om de nieuwe, technologisch complexe uitdagingen aan te pakken die komen kijken bij het aanbieden van 24/7 spellen. “De technische en organisatorische uitdagingen die dit met zich meebrachten, waren voor mij de belangrijkste redenen om bij Nederlandse Loterij aan de slag te gaan.”

 

Datastrategie

Tot op directieniveau wordt ingezien dat data onwijs belangrijk is voor het succes van Nederlandse Loterij. “Steeds meer mensen herkennen het potentieel van data. Data slim inzetten, komt terug in bijna elk afdelingsplan. Onze datastrategie draait dan ook om het creëren van een data-ecosysteem waarbij elke afdeling snel met data aan de slag kan gaan om waarde toe te voegen. In de datastrategie van Nederlandse Loterij staat het democratiseren en toegankelijker maken van data centraal.”

“Per dataset maken we de beslissing of de realtime moet zijn of niet. Zo zijn we op dit moment bezig met de realtime monitoring op triggers voor de Responsible Gaming afdeling. Dit stelt ons in staat om sneller notificaties te sturen of in te grijpen, op het moment dat wij problematisch gedrag signaleren bij een van onze spelers.”

 

Een sterk datafundament

Het belang van een sterk datafundament kan niet worden onderschat, vooral in het huidige technologische landschap. Met de sterke groeiende aandacht voor artificial intelligence vanuit de mainstream media zoals ChatGPT, zie je dat veel bedrijven zich beginnen te realiseren dat ze niet de capaciteiten hebben om hier alles uit te halen. Simpelweg omdat ze de basis niet op orde hebben. “Alle leuke, glimmende parels – zoals mooie dashboards, speciale algoritmes en bots die overal naar kijken – werken alleen goed als je de hygiënische factoren goed gereld hebt. Dat bereik je onder andere door Data Engineering met dezelfde rigoureuze principes te behandelen als software engineering. Het betekent dat je software principes in het datalandschap toepast. Wat Jelle betreft doe je dat met de volgende best practices:

  1. Version control
  2. CI/CD
  3. Automated testing

“Naast deze drie punten, hebben we de architectuur van ons data-ecosysteem geconsolideerd door de verschillende datasystemen die we hebben gebouwd, verschillende verantwoordelijkheden te geven. Deze systemen laten we vervolgens nauw en effectief met elkaar samenwerken. We hebben een systeem dat heel goed is in realtime data, in big data en in het analytisch processen van data.” Vanuit de afdeling Data Management zorgen Jelle en zijn team ervoor dat de juiste applicaties de juiste dingen doen. En natuurlijk dat de complexiteiten van het proces verborgen blijft voor de eindgebruiker. “Onze gebruikers krijgen slechts een platform te zien.”

“De enorme hoeveelheden data, in combinatie met diverse realtime toepassingen en de noodzaak voor nabij perfecte datakwaliteit, maakt het werk zeer uitdagend.”

Jelle Vegter
Head of Data Management

 

Engineering culture

Werken bij Nederlandse Loterij, betekent werken in Agile omgeving. Jelle’s afdeling bestaat uit vier gespecialiseerde data-productteams. “Deze teams zijn samengesteld uit 3 tot 4 Engineers, 1 Tester, 1 Analist en 1 Product Owner. Dankzij de gebalanceerde samenstelling van deze teams kunnen ze grotendeels zelfsturend opereren. Mijn rol bestaat vooral uit het afstemmen van de bedrijfsdoelen aan onze activiteiten en het neerzetten van de lange termijnstrategie. Binnen deze kaders is er voor de teams veel vrijheid om de ‘hoe’ in te vullen en innovatieve, coole dingen te bouwen. Bij Nederlandse Loterij krijgen mensen én vertrouwen én verantwoordelijkheid.”

 

Technische uitdagingen

De technische uitdagingen binnen Nederlandse Loterij zijn complex. Door de livegang van de iGaming markt is het volume van de data explosief gestegen en worden er nu meer dan een miljard events per maand verwerkt. Deze enorme hoeveelheden data, in combinatie met diverse realtime toepassingen en de noodzaak voor nabij perfecte datakwaliteit, maakt het werk zeer uitdagend. En interessant!

“Om deze uitdagingen aan te pakken gebruiken we de modernste technologieën en zijn we continue op zoek naar het efficiënter, sneller, nauwkeuriger en goedkoper maken van de omgeving. Gelukkig staan we er niet alleen voor en werken we nauw samen met partners zoals Microsoft en Databricks. Regelmatig houden we gezamenlijk design- en brainstormsessies om de lopende architectuurveranderingen te begeleiden en bij te sturen.”

 

Data & AI

Een greep uit de topics waar je binnen Nederlandse Loterij mee te maken hebt zijn Compliance, antifraude, responsible gaming, en personalisatie. Deze thema’s bieden uitstekende kansen om streaming data en AI samen te voegen voor een aanzienlijke impact. “Zo kunnen we bijvoorbeeld fraude in realtime detecteren op basis van ingelegde weddenschappen en het speelgedrag van spelers monitoren om hen te waarschuwen voor escalerend speelgedrag. Bij de Nederlandse Loterij zetten we ons in voor het verantwoord aanbieden van kansspelen. Wij geloven dat door het intelligent gebruik van data, we een significante bijdrage kunnen leveren.”

Om al deze ideeën mogelijk te maken, wordt er een future-proof platform neergezet dat hier uitermate voor geschikt is. “Ons data-ecosysteem stelt ons in staat om AI-modellen te trainen met omvangrijke data sets. We hebben een applicatielandschap waarin echte spelers aan het spelen zijn. Om onze AI-modellen echt impact te laten maken, brengen wij de dataomgeving dichter bij het applicatielandschap om interactie te faciliteren. Dit stelt ons in staat om modellen te kunnen trainen om vervolgens vanuit het applicatielandschap data inferences te maken naar de modellen. Realtime data-interactie stelt ons in staat proactief te reageren in plaats van reactief te handelen.”

Lijkt het jou gaaf om te werken bij een organisatie met een uniek datalandschap? Bekijk hier de vacature voor data engineer.

Verhalen

Teamspelers aan het woord

Alle unieke talenten van onze collega’s komen samen in diverse teams. Zo werken we met elkaar aan een gelukkig, gezond en sportief Nederland. 
Ben jij benieuwd wie in jouw team zit?

Lees onze verhalen
Impact maken met data door alle lagen van de organisatie

Impact maken met data door alle lagen van de organisatie

Leer ons nog beter kennen