Durata
Metodologia didattica
Presenza, Aula Virtuale
Attestato
Attestato di Frequenza e Profitto
Il corso di Fine-tuning dei modelli LLM fornisce competenze tecniche avanzate per adattare e specializzare i Large Language Models su task e domini specifici. A differenza del semplice Prompting o dei sistemi RAG, che si limitano a fornire contesto, il fine-tuning permette di modificare radicalmente lo stile, il formato di output e il comportamento strutturale del modello.
Durante la formazione, i partecipanti esploreranno le differenze tra il Full fine-tuning e i più moderni approcci PEFT (Parameter-Efficient Fine-Tuning) come LoRA e QLoRA, affrontando sfide concrete come l’ottimizzazione della memoria GPU, la gestione dei costi e il catastrophic forgetting. Attraverso un approccio laboratoriale e l’uso degli strumenti più attuali dell’ecosistema, il corso copre l’intero ciclo di vita del modello: dalla preparazione e pulizia del dataset di addestramento, all’addestramento vero e proprio, fino alla valutazione, all’allineamento delle preferenze (DPO) e al deployment finale in Ollama.
Il corso è pensato per Machine Learning Engineer, AI Developer e Data Scientist che vogliono padroneggiare la personalizzazione avanzata degli LLM per scenari reali di busines
A chi è rivolto il corso Fine tuning dei modelli?
Programma didattico
Quando e perché fare fine-tuning di un LLM
- Prompting, RAG o fine-tuning: il fine-tuning cambia stile, formato e comportamento sul task, non aggiunge conoscenza affidabile
- Full fine-tuning contro PEFT: memoria GPU, costi, catastrophic forgetting
- L’ecosistema: Transformers, PEFT, TRL, bitsandbytes, Unsloth; scelta del modello base (Qwen, Gemma, Mistral, gpt-oss; base o instruct) e licenze, con il caso Llama
- Laboratorio pratico
Il dataset di addestramento
- Formati instruction e chat, chat template, tokenizzazione, loss calcolata solo sulle risposte
- Dataset dai ticket risolti: pulizia, anonimizzazione dei dati personali, deduplica, split
- Dati sintetici generati da un LLM più grande (distillazione) e controllo qualità
- Laboratorio pratico
PEFT: LoRA e QLoRA
- LoRA: adattatori a basso rango; rank, alpha, target modules, dropout
- QLoRA: quantizzazione 4-bit NF4, double quantization, paged optimizer; panoramica degli altri metodi PEFT (DoRA, prompt e prefix tuning, IA³)
- Supervised fine-tuning con TRL SFTTrainer o Unsloth: learning rate, epoche, gradient accumulation, monitoraggio della loss
- Laboratorio pratico
Valutazione e allineamento
- Valutare un LLM fine-tunato: loss e metriche di task, LLM-as-a-judge, confronto con la baseline e con il RAG
- Overfitting, catastrophic forgetting, regressioni di sicurezza e bias
- Preference tuning: DPO con TRL; cenni a ORPO e GRPO
- Laboratorio pratico
Dal training a Ollama: progetto finale
- Merge dell’adapter nel modello, conversione in GGUF e quantizzazione (llama.cpp o Unsloth)
- Import in Ollama con un Modelfile (template, parametri, system prompt); pubblicazione su Hugging Face Hub
- Laboratorio pratico
- Manutenzione: aggiornare il modello quando cambiano i dati (data drift), costi GPU
Obiettivi del corso
Alla fine del corso, i partecipanti saranno in grado di:
- Scegliere e valutare strategicamente quando utilizzare Prompting, RAG o Fine-tuning in base al task, ai costi e ai limiti dei modelli
- Padroneggiare l’ecosistema LLM per orientarsi nella scelta del modello base più adatto e gestire i relativi vincoli di licenza, utilizzando framework moderni.
- Preparare dati in formato instruction e chat, gestire tokenizzazione e chat template, pulire/anonimizzare dati reali e creare dataset sintetici tramite distillazione da modelli più grandi.
- Eseguire il Parameter-Efficient Fine-Tuning (PEFT) grazie all’utilizzo di tecniche come LoRA e QLoRA per addestrare modelli in ambienti GPU limitati, impostando correttamente iperparametri come learning rate, epoche e gradient accumulation.
- Misurare le performance tramite metriche di task e LLM-as-a-judge, controllare overfitting e regressioni di sicurezza, e applicare il Preference Tuning (DPO) per allineare le risposte alle aspettative umane.
- Effettuare il Deployment su Ollama.
Compila il form per maggiori informazioni
Compila il form: ti risponderemo il più presto possibile. Puoi selezionare più corsi tenendo premuto il tasto CTRL. Non trovi il corso che cerchi? Contattaci per raccontarci le tue esigenze e costruire insieme un programma formativo su misura.
Formazione finanziata
I Fondi Paritetici Interprofessionali offrono alle aziende aderenti la possibilità di coprire i costi della formazione aziendale e individuale destinata ai propri dipendenti.
Kinetikon ti offre un supporto completo in ogni fase: dall’analisi di fattibilità alla presentazione della domanda, fino alla rendicontazione e all’ottenimento del finanziamento.
Compila il form qui sopra e scopri come finanziare questo corso.
FAQ – Domande Frequenti
In quali date si svolge il corso?
Non ci sono date programmate, ma puoi scegliere il periodo di partenza della formazione.
Il corso viene erogato in presenza o online?
Puoi scegliere la formazione online, in presenza o blended. Per quanto riguarda la formazione online, mettiamo a disposizione la nostra piattaforma dedicata e conforme ai requisiti di monitoraggio dei Fondi Interprofessionali.
Il corso è finanziabile?
Collaboriamo attivamente con i Fondi Interprofessionali e siamo specializzati nella gestione della formazione finanziata. Ti forniremo tutte le informazioni sulle opportunità di finanziamento disponibili per il corso di tuo interesse.
Il corso è adatto a professionisti con diversi livelli di esperienza?
Certo: durante la sessione di allineamento, adeguiamo i contenuti formativi in base al livello di esperienza dei partecipanti, garantendo un percorso adatto sia ai principianti, sia agli esperti.
Come viene strutturato il corso per garantire una formazione su misura per la mia azienda?
Il programma didattico che trovi in questa pagina è solamente una traccia. Prima dell’avvio del corso, organizziamo una sessione di allineamento con il consulente che condurrà la formazione, per definire insieme un programma completamente personalizzato.
In quali termini il corso è personalizzabile?
Il percorso formativo si adatta alle tecnologie e alle piattaforme già in uso nella tua azienda. In caso di prima adozione, Kinetikon offre anche consulenza per la scelta della piattaforma, del linguaggio, del vendor o dello strumento più idoneo. Inoltre, la formazione è modulare e focalizzabile sugli argomenti in cui il tuo team necessita di approfondimenti specifici.
Come posso richiedere maggiori informazioni o una consulenza personalizzata?
Contattaci via email all’indirizzo formazione@kinetikon.com, oppure utilizza il form dedicato su questa pagina o nella sezione contatti del nostro sito. Il nostro team è sempre pronto a fornire supporto e consulenza personalizzata.
