Data Engineer Kapitaalmarkten

Job description

Als allround Data Engineer binnen de afdeling Datagedreven Kapitaalmarkten (DAK) ontwerp, bouw en beheer je betrouwbare datapipelines en datasets voor het toezicht op de kapitaalmarkten. Daarnaast help je onze ontwikkel- en deploymentprocessen en het gebruik van Databricks verder te professionaliseren. Je ontsluit, structureert en prepareert gegevens voor data-analisten, toezichthouders en andere gebruikers. Binnen onze Azure-cloudomgeving werk je met grote hoeveelheden gestructureerde en ongestructureerde data, variërend van miljoenen tot miljarden records. De gegevens bevinden zich onder meer in Databricks, SQL-databases en Azure Storage. Je ontwikkelt herbruikbare ETL-processen en zorgt dat data vindbaar, controleerbaar en geschikt is voor analyse en toezicht. Je verbetert de ontwikkel- en deploymentprocessen met versiebeheer, geautomatiseerd testen en CI/CD in Azure DevOps. Met Declarative Automation Bundles leg je Databricks-code, configuraties en resources vast en deploy je deze gecontroleerd naar verschillende omgevingen. Hierbij werk je aan herhaalbare en beter beheersbare wijzigingen en deployments. Bij het ontwikkelen van dataoplossingen pas je de geldende kaders voor security, privacy en governance toe. Je draagt bij aan monitoring en kostenbewust gebruik van het Databricks-platform, in samenwerking met de verantwoordelijke platform-, architectuur- en securityspecialisten. Daarnaast ontwikkel je duurzame dataproducten en draag je actief bij aan kennisdeling, innovatie en standaardisatie binnen het team. Een greep uit je werkzaamheden: Ontwikkelen en beheren van processen voor data-ingestie, transformatie en verwerking binnen onze Azure-cloudomgeving en op het Databricks-platform met onder andere Databricks Jobs, Azure Data Factory en PySpark/SQL. Inrichten en verbeteren van geautomatiseerde ontwikkel-, test- en deploymentprocessen met CI/CD in Azure DevOps. Vastleggen en gecontroleerd deployen van Databricks-code, configuraties en resources met Declarative Automation Bundles. Ontwikkelen en beheren van datapipelines en deploymentprocessen voor machinelearningtoepassingen en bijdragen aan de verdere professionalisering van MLOps binnen het Databricks-platform. Toepassen van kaders en standaarden voor datakwaliteit, security, privacy en governance, waaronder het gebruik van Unity Catalog. Monitoren en verbeteren van de werking en betrouwbaarheid va…