Functieomschrijving data engineer

Wat doet een data engineer?

Data engineers hebben als voornaamste taak het transformeren van data naar een formaat dat eenvoudig geanalyseerd kan worden. Zij doen dit door infrastructuren voor datageneratie te ontwikkelen, onderhouden en testen. Data engineers werken nauw samen met datawetenschappers en hebben grotendeels de leiding over het ontwerp van oplossingen voor datawetenschappers die hen toelaten hun werk te doen.

Data engineers hebben over het algemeen een bachelordiploma in computerwetenschappen, informatietechnologie, of toegepaste wiskunde, of een paar data engineering certificaten zoals IBM Certified Data Engineer of Google's Certified Professional. Daarnaast hebben data engineers een breed scala aan technische vaardigheden en het vermogen problemen op een creatieve manier aan te pakken.

Sjabloon: Functieomschrijving voor data engineer

Overzicht vacatures

XYZ is een toonaangevend bedrijf in onze branche. Onze werknemers geven ons een 4,1 rating op Glassdoor. We zijn op zoek naar een ervaren data engineer om ons bestaande eersteklas team te versterken. Als u een hardwerkende professional bent is XYZ een geweldige plek om uw carrière te laten groeien.

Verantwoordelijkheden van data engineer

  • Optimale datapijplijn architectuur creëren en onderhouden,
  • Grote, complexe datasets samenstellen die aan functionele of niet-functionele bedrijfseisen voldoen.
  • Interne procesverbeteringen identificeren, ontwerpen en toepassen: het automatiseren van handmatige processen, het optimaliseren van gegevensverstrekking, infrastructuur herontwerpen voor betere schaalbaarheid, etc.
  • Infrastructuur opbouwen die noodzakelijk is voor de optimale extractie, transformatie, en inladen van data uit een breed scala aan databronnen met SQL en AWS 'big data' technologieën.
  • Analytische hulpmiddelen bouwen die de datapijplijn gebruiken om bruikbare inzichten in klantenwerving, operationele efficiëntie en andere kernwaarden voor bedrijfsresultaten te leveren.
  • Werk samen met belanghebbenden, waaronder directie-, product-, data-, en ontwerpteams, om ondersteuning te bieden met datagerelateerde technische problemen en hun behoeften wat betreft datainfrastructuur te ondersteunen.
  • Onze data veilig en gescheiden houden over nationale grenzen via meerdere datacentra en AWS regio's.
  • Ontwikkel datahulpmiddelen voor analyse- en datawetenschapperteams die hen helpen met het bouwen en optimaliseren van ons product tot een innovatieve marktleider.
  • Werk samen met data- en analyse-experts om te streven naar grotere functionaliteit in onze datasystemen.

Kwalificaties voor data engineer

  • Gevorderde praktijkkennis over SQL en ervaring met het werken met relationele databases, query authoring (SQL), en werkervaring met een variëteit aan databases.
  • Ervaring met het bouwen en optimaliseren van 'big data' datapijplijnen, architecturen en datasets.
  • Ervaring met het uitvoeren van oorzakenanalyse op interne en externe data en processen om specifieke bedrijfsvragen te beantwoorden en mogelijkheden tot verbetering te identificeren.
  • Sterke analytische vaardigheden wat betreft het werken met ongestructureerde datasets.
  • Bouw processen op ter ondersteuning van datatransformatie, datastructuren, metadata, afhankelijkheden, en werklastmanagement.
  • Een succesvol verleden in het manipuleren, verwerken, en onttrekken van waarde uit grote losgekoppelde datasets.
  • Praktijkkennis over message queuing, stream processing, en goed schaalbare 'big data' dataopslag.
  • Sterke vaardigheden wat betreft projectmanagement en organisatie
  • Ervaring met het ondersteunen van en werken met een crossfunctioneel team in een dynamische omgeving.
  • We zoeken een kandidaat die 5+ jaar ervaring heeft in een rol als Data Engineer, die afgestudeerd is in computerwetenschappen, statistiek, informatica, informatiesystemen, of een ander kwantitatief vakgebied. U moet ook ervaring hebben met het gebruik van de volgende software/hulpmiddelen:
    • Ervaring met big data hulpmiddelen: Hadoop, Spark, Kafka, etc.
    • Ervaring met relationele SQL en NoSQL databases, waaronder Postgres en Cassandra.
    • Ervaring met datapijplijn en werkstroommanagement hulpmiddelen: Azkaban, Luigi, Airflow, etc.
    • Ervaring met AWS clouddiensten: EC2, EMR, RDS, Redshift
    • Ervaring met streamverwerkingssystemen: Storm, Spark-Streaming, etc.
    • Ervaring met object-georienteerde/objectfunctie scripttalen: Python, Java, C++, Scala, etc.

Klaar om een data engineer aan te nemen?

Vacatureplaatsingen proberen

Werkgever: geweldige functiebeschrijvingen opstellen

  • Vergeet niet om aan te geven hoeveel jaar ervaring en welk onderwijsniveau vereist zijn
  • Laat werkzoekenden weten wat uw bedrijf en functie zo uniek maakt
  • De optimale lengte is enkele paragrafen of ongeveer 200 woorden
  • Voeg witregels en opsommingstekens toe, zodat de beschrijving prettig leesbaar is
Handleiding downloaden (Engels)