Wat doet een Data Engineer?

Data engineers hebben als voornaamste taak het transformeren van data naar een formaat dat eenvoudig geanalyseerd kan worden. Zij doen dit door infrastructuren voor datageneratie te ontwikkelen, onderhouden en testen. Data engineers werken nauw samen met datawetenschappers en hebben grotendeels de leiding over het ontwerp van oplossingen voor datawetenschappers die hen toelaten hun werk te doen.

Data engineers hebben over het algemeen een bachelordiploma in computerwetenschappen, informatietechnologie, of toegepaste wiskunde, of een paar data engineering certificaten zoals IBM Certified Data Engineer of Google's Certified Professional. Daarnaast hebben data engineers een breed scala aan technische vaardigheden en het vermogen problemen op een creatieve manier aan te pakken.

Wat zijn veelvoorkomende verantwoordelijkheden voor de functie Data Engineer?
  • Optimale datapijplijn architectuur creëren en onderhouden,
  • Grote, complexe datasets samenstellen die aan functionele of niet-functionele bedrijfseisen voldoen.
  • Interne procesverbeteringen identificeren, ontwerpen en toepassen: het automatiseren van handmatige processen, het optimaliseren van gegevensverstrekking, infrastructuur herontwerpen voor betere schaalbaarheid, etc.
  • Infrastructuur opbouwen die noodzakelijk is voor de optimale extractie, transformatie, en inladen van data uit een breed scala aan databronnen met SQL en AWS 'big data' technologieën.
  • Analytische hulpmiddelen bouwen die de datapijplijn gebruiken om bruikbare inzichten in klantenwerving, operationele efficiëntie en andere kernwaarden voor bedrijfsresultaten te leveren.
  • Werk samen met belanghebbenden, waaronder directie-, product-, data-, en ontwerpteams, om ondersteuning te bieden met datagerelateerde technische problemen en hun behoeften wat betreft datainfrastructuur te ondersteunen.
  • Onze data veilig en gescheiden houden over nationale grenzen via meerdere datacentra en AWS regio's.
  • Ontwikkel datahulpmiddelen voor analyse- en datawetenschapperteams die hen helpen met het bouwen en optimaliseren van ons product tot een innovatieve marktleider.
  • Werk samen met data- en analyse-experts om te streven naar grotere functionaliteit in onze datasystemen.
Wat zijn de standaardkwalificaties voor de functie Data Engineer?
  • Gevorderde praktijkkennis over SQL en ervaring met het werken met relationele databases, query authoring (SQL), en werkervaring met een variëteit aan databases.
  • Ervaring met het bouwen en optimaliseren van 'big data' datapijplijnen, architecturen en datasets.
  • Ervaring met het uitvoeren van oorzakenanalyse op interne en externe data en processen om specifieke bedrijfsvragen te beantwoorden en mogelijkheden tot verbetering te identificeren.
  • Sterke analytische vaardigheden wat betreft het werken met ongestructureerde datasets.
  • Bouw processen op ter ondersteuning van datatransformatie, datastructuren, metadata, afhankelijkheden, en werklastmanagement.
  • Een succesvol verleden in het manipuleren, verwerken, en onttrekken van waarde uit grote losgekoppelde datasets.
  • Praktijkkennis over message queuing, stream processing, en goed schaalbare 'big data' dataopslag.
  • Sterke vaardigheden wat betreft projectmanagement en organisatie
  • Ervaring met het ondersteunen van en werken met een crossfunctioneel team in een dynamische omgeving.
  • We zoeken een kandidaat die 5+ jaar ervaring heeft in een rol als Data Engineer, die afgestudeerd is in computerwetenschappen, statistiek, informatica, informatiesystemen, of een ander kwantitatief vakgebied. U moet ook ervaring hebben met het gebruik van de volgende software/hulpmiddelen:
    • Ervaring met big data hulpmiddelen: Hadoop, Spark, Kafka, etc.
    • Ervaring met relationele SQL en NoSQL databases, waaronder Postgres en Cassandra.
    • Ervaring met datapijplijn en werkstroommanagement hulpmiddelen: Azkaban, Luigi, Airflow, etc.
    • Ervaring met AWS clouddiensten: EC2, EMR, RDS, Redshift
    • Ervaring met streamverwerkingssystemen: Storm, Spark-Streaming, etc.
    • Ervaring met object-georienteerde/objectfunctie scripttalen: Python, Java, C++, Scala, etc.
Werk/privé-balans
4,0 ★
Salarisbereik--
Carrièremogelijkheden
3,9 ★
Gem. ervaring2-4 jaar

Salarissen voor een Data Engineer

Gemiddeld basissalaris

€ 60.352 /jr
Hetzelfde als het landelijke gemiddelde
Exclusief compensatie in contanten
Meer analyses bekijken
€ 43K
Gemiddeld: € 60K
€ 82K
Meer analyses bekijken
Door Glassdoor geschat salaris

Loopbaanpad: Data Engineer worden

Lees hoe u Data Engineer kunt worden, welke vaardigheden en opleiding u nodig heeft om te slagen en welk salaris u kunt verwachten bij elke stap op uw loopbaanpad.

data engineer (M/V/X)
€ 60.352 per jaar
senior data engineer (M/V/X)
€ 85.000 per jaar
lead data engineer (M/V/X)
€ 72.000 per jaar
Data Engineer

Verdeling van het aantal jaren aan ervaring

0 - 1
6%
2 - 4
73%
5 - 7
15%
8+
6%
Exclusief jaren doorgebracht in opleiding en/of training

Sollicitatiegesprekken voor Data Engineer

Veelgestelde vragen over de rollen en verantwoordelijkheden van de functie Data Engineer

Als u werkt als Data Engineer, zijn SQL server, Big Data, Python, ETL en Shell script gebruiken de meest voorkomende vaardigheden die u nodig heeft om uw werk uit te voeren en voor een succesvolle loopbaan.

Beroepen die het meest lijken op dat van Data Engineer, zijn:
  • database administrator (M/V/X)

Gerelateerde loopbanen

database administrator (M/V/X)
€ 71.105
17% overlap van vaardigheden

Vacatures voor Data Engineer