Wat doet een Hadoop Engineer?
Data engineers hebben als voornaamste taak het transformeren van data naar een formaat dat eenvoudig geanalyseerd kan worden. Zij doen dit door infrastructuren voor datageneratie te ontwikkelen, onderhouden en testen. Data engineers werken nauw samen met datawetenschappers en hebben grotendeels de leiding over het ontwerp van oplossingen voor datawetenschappers die hen toelaten hun werk te doen.
Data engineers hebben over het algemeen een bachelordiploma in computerwetenschappen, informatietechnologie, of toegepaste wiskunde, of een paar data engineering certificaten zoals IBM Certified Data Engineer of Google's Certified Professional. Daarnaast hebben data engineers een breed scala aan technische vaardigheden en het vermogen problemen op een creatieve manier aan te pakken.
- Optimale datapijplijn architectuur creëren en onderhouden,
- Grote, complexe datasets samenstellen die aan functionele of niet-functionele bedrijfseisen voldoen.
- Interne procesverbeteringen identificeren, ontwerpen en toepassen: het automatiseren van handmatige processen, het optimaliseren van gegevensverstrekking, infrastructuur herontwerpen voor betere schaalbaarheid, etc.
- Infrastructuur opbouwen die noodzakelijk is voor de optimale extractie, transformatie, en inladen van data uit een breed scala aan databronnen met SQL en AWS 'big data' technologieën.
- Analytische hulpmiddelen bouwen die de datapijplijn gebruiken om bruikbare inzichten in klantenwerving, operationele efficiëntie en andere kernwaarden voor bedrijfsresultaten te leveren.
- Werk samen met belanghebbenden, waaronder directie-, product-, data-, en ontwerpteams, om ondersteuning te bieden met datagerelateerde technische problemen en hun behoeften wat betreft datainfrastructuur te ondersteunen.
- Onze data veilig en gescheiden houden over nationale grenzen via meerdere datacentra en AWS regio's.
- Ontwikkel datahulpmiddelen voor analyse- en datawetenschapperteams die hen helpen met het bouwen en optimaliseren van ons product tot een innovatieve marktleider.
- Werk samen met data- en analyse-experts om te streven naar grotere functionaliteit in onze datasystemen.
- Gevorderde praktijkkennis over SQL en ervaring met het werken met relationele databases, query authoring (SQL), en werkervaring met een variëteit aan databases.
- Ervaring met het bouwen en optimaliseren van 'big data' datapijplijnen, architecturen en datasets.
- Ervaring met het uitvoeren van oorzakenanalyse op interne en externe data en processen om specifieke bedrijfsvragen te beantwoorden en mogelijkheden tot verbetering te identificeren.
- Sterke analytische vaardigheden wat betreft het werken met ongestructureerde datasets.
- Bouw processen op ter ondersteuning van datatransformatie, datastructuren, metadata, afhankelijkheden, en werklastmanagement.
- Een succesvol verleden in het manipuleren, verwerken, en onttrekken van waarde uit grote losgekoppelde datasets.
- Praktijkkennis over message queuing, stream processing, en goed schaalbare 'big data' dataopslag.
- Sterke vaardigheden wat betreft projectmanagement en organisatie
- Ervaring met het ondersteunen van en werken met een crossfunctioneel team in een dynamische omgeving.
- We zoeken een kandidaat die 5+ jaar ervaring heeft in een rol als Data Engineer, die afgestudeerd is in computerwetenschappen, statistiek, informatica, informatiesystemen, of een ander kwantitatief vakgebied. U moet ook ervaring hebben met het gebruik van de volgende software/hulpmiddelen:
- Ervaring met big data hulpmiddelen: Hadoop, Spark, Kafka, etc.
- Ervaring met relationele SQL en NoSQL databases, waaronder Postgres en Cassandra.
- Ervaring met datapijplijn en werkstroommanagement hulpmiddelen: Azkaban, Luigi, Airflow, etc.
- Ervaring met AWS clouddiensten: EC2, EMR, RDS, Redshift
- Ervaring met streamverwerkingssystemen: Storm, Spark-Streaming, etc.
- Ervaring met object-georienteerde/objectfunctie scripttalen: Python, Java, C++, Scala, etc.
Salarissen voor een Hadoop Engineer
Gemiddeld basissalaris
Loopbaanpad: Hadoop Engineer worden
Lees hoe u Hadoop Engineer kunt worden, welke vaardigheden en opleiding u nodig heeft om te slagen en welk salaris u kunt verwachten bij elke stap op uw loopbaanpad.
Verdeling van het aantal jaren aan ervaring
Sollicitatiegesprekken voor Hadoop Engineer
Veelgestelde vragen over de rollen en verantwoordelijkheden van de functie Hadoop Engineer
Als u werkt als Hadoop Engineer, zijn SQL server, Big Data, Python, ETL en Shell script gebruiken de meest voorkomende vaardigheden die u nodig heeft om uw werk uit te voeren en voor een succesvolle loopbaan.
- database administrator (M/V/X)