
Data Engineer
- Milano
- Tempo indeterminato
- Full time
- Creare e mantenere pipeline di dati ottimali progettando e implementando soluzioni di ingestione ed elaborazione dati su AWS.
- Utilizzare servizi AWS nativi (come Glue, Lambda, EMR) e/o tecnologie esterne per la gestione dei dati (come Apache Nifi, Apache Kafka, Apache Flink).
- Scrivere e ottimizzare job ETL con Spark/PySpark e query SQL.
- Sviluppare e ottimizzare codice per efficienza e scalabilità.
- Collaborare con team cross garantire -funzionali per garantire la qualità e l'efficacia delle soluzioni di gestione dati.
- Laurea in Ingegneria Informatica, Informatica o discipline affini.
- Conoscenza approfondita di PySpark e di SQL e delle best practice di coding per Data Engineer.
- Conoscenza di Apache Nifi e Apache Kafka
- Conoscenza degli strumenti AWS per la gestione dati e delle best practice (EMR, Glue, Athena, Lambda, Step Functions, ecc).
- Conoscenza di Python e scripting in Shell.
- Esperienza comprovata nel campo del Data Engineering.
- Esperienza nell'ottimizzazione del codice per migliorare le prestazioni.
- Esperienza di lavoro in ambienti Big Data.
- Spiccata attitudine al problem-solving.
- Capacità di lavorare in team cross-funzionali.
- Passione per il mondo dei dati e dell’ingegneria dei dati.
- Ottima conoscenza della lingua inglese
- Conoscenza di Apache Flink
- Conoscenza di strumenti di Data Visualization e BI