CYS - Data & Application Engineer - IDG
Leonardo Visualizza tutti gli annunci
- Roma
- Tempo indeterminato
- Full time
- Progettare e sviluppare componenti di RAG/LLM per risposte sintetiche e spiegabili su documenti interni (prompting, tool/function calling se previsto, gestione multi-turn).
- Definire e implementare metodologie di valutazione (offline/online) per qualità delle risposte: groundedness (aderenza alle fonti), completezza, coerenza, gestione incertezza e copertura del retrieval.
- Creare dataset di test e “golden set” di dominio (domande reali, query complesse, casi ambigui/contraddittori) e automatizzare la generazione di report di performance.
- Tuning del retrieval ibrido (BM25 + semantic): scelta top-k, pesi, filtri metadati, dedup/reranking e query rewriting per sigle/gergo tecnico.
- Sviluppare logiche di planning per query complesse (decomposizione in sotto-query/DAG) e criteri di stop/iterazione del ciclo retrieve→answer→critique.
- Collaborare con team di piattaforma per integrazione con inference backend e garantire requisiti di latenza/streaming (SSE) e robustezza in modalità degraded.
- Implementare strumenti e pipeline software (Python) per esperimenti riproducibili: tracking configurazioni, versioning prompt/modelli, ablation study, analisi errori e regressioni.
- Ottima programmazione in Python (design modulare, testing, packaging), uso di Git e code review.
- Esperienza con NLP/LLM e architetture RAG (embeddings, chunking, retrieval, grounding, citazioni).
- Capacità di costruire evaluation framework: metriche automatiche + human-in-the-loop, analisi qualitativa degli errori, definizione di soglie e criteri di accettazione.
- Familiarità con vector search e sistemi di ricerca (OpenSearch/Elasticsearch o equivalenti), BM25, KNN, reranking.
- Conoscenza di FastAPI/REST per integrazione servizi e debugging di flussi end-to-end.
- Buone basi di statistica sperimentale (A/B test concettuale, significatività, bias/variance), ottimizzazione e interpretazione risultati.
- Gradita esperienza con stack containerizzato (Docker/Kubernetes) e GPU inference (concetti di latenza, batching, timeouts).
- Forte orientamento al risultato e capacità di passare dal prototipo al software robusto.
- Attitudine al problem solving su dati/documenti complessi e requisiti stringenti di trasparenza.
- Autonomia nella conduzione di esperimenti, ma anche capacità di lavorare in team cross-funzionali (AI, backend, cybersecurity, domain expert).
- Comunicazione chiara: capacità di spiegare trade-off, limiti e incertezze in modo verificabile