Programma di Analisi Di Impatto Delle Politiche E Dei Programmi Di Sviluppo:
PARTE PRIMA – INTRODUZIONE ALLA VALUTAZIONE D’IMPATTO
Settimana 1 – Perché valutare?
Giorno 1. Politiche basate sulle evidenze – Parte 1
• Che cos’è la valutazione d’impatto?
• Valutazione d’impatto prospettica rispetto a quella retrospettiva
• Studi di efficacia e studi di effettività
Giorno 1. Politiche basate sulle evidenze – Parte 2
• Approcci complementari
• Considerazioni etiche riguardanti la valutazione d’impatto
• Valutazione d’impatto per le decisioni di policy
• Decidere se effettuare o meno una valutazione d’impatto
Giorno 3. Prepararsi a una valutazione
• Passi iniziali
• Costruire una Theory of Change (teoria del cambiamento)
• Sviluppare una Results Chain (catena di risultati)
• Definire le domande di valutazione
• Selezionare indicatori di esito e di performance
• Lista di controllo: reperire i dati per i propri indicatori
PARTE SECONDA – COME VALUTARE
Settimana 2 – Inferenza causale, strategie di identificazione e metodi di stima
Giorno 1. Inferenza causale
• Inferenza causale
• Il controfattuale
• Due stime “contraffatte” del controfattuale
Giorno 2. Assegnazione casuale
• Valutare i programmi in base alle regole di assegnazione
• Assegnazione casuale del trattamento
• Lista di controllo: assegnazione casuale
Giorno 3. Variabili strumentali
• Valutare i programmi quando non tutti rispettano l’assegnazione
• Tipologie di stime d’impatto
• Compliance imperfetta
• Promozione randomizzata come variabile strumentale
• Lista di controllo: promozione randomizzata come variabile strumentale
Settimana 3 – Inferenza causale, strategie di identificazione e metodi di stima
Giorno 1. Disegno a discontinuità regressiva
• Valutare programmi che utilizzano un indice di idoneità
• Disegno a discontinuità regressiva “fuzzy”
• Verificare la validità del disegno a discontinuità regressiva
• Limiti e interpretazione del metodo di discontinuità regressiva
• Lista di controllo: disegno a discontinuità regressiva
Giorno 2. Difference-in-Differences
• Valutare un programma quando la regola di assegnazione è meno chiara
• Il metodo Difference-in-Differences
• In che modo il metodo Difference-in-Differences è utile?
• L’ipotesi di “trend paralleli” nella Difference-in-Differences
• Limiti del metodo Difference-in-Differences
• Lista di controllo: Difference-in-Differences
Giorno 3. Matching
• Costruire un gruppo di confronto artificiale
• Propensity Score Matching
• Combinare il Matching con altri metodi
• Limiti del metodo Matching
• Lista di controllo: Matching
Settimana 4 – Inferenza causale, strategie di identificazione e metodi di stima
Giorno 1. Affrontare le sfide metodologiche – Parte 1
• Effetti di trattamento eterogenei
• Effetti comportamentali non intenzionali
• Compliance imperfetta
Giorno 2. Affrontare le sfide metodologiche – Parte 2
• Effetti di spillover
• Attrition (abbandono dei partecipanti)
• Tempistica e persistenza degli effetti
Giorno 3. Valutare programmi complessi
• Valutare programmi che combinano diverse opzioni di trattamento
• Valutare programmi con livelli variabili di trattamento
• Valutare interventi multipli
PARTE TERZA – COME IMPLEMENTARE UNA VALUTAZIONE D’IMPATTO
Settimana 5 – Implementazione PIE (Policy Impact Evaluation)
Giorno 1. Scegliere un metodo di valutazione d’impatto
• Determinare quale metodo utilizzare per un dato programma
• Come le regole operative di un programma possono aiutare a scegliere il metodo di valutazione d’impatto
• Confronto tra metodi di valutazione d’impatto
• Identificare la più piccola unità di intervento fattibile
Giorno 2. Gestire una valutazione d’impatto
• Gestire il team, il tempo e il budget di una valutazione
• Ruoli e responsabilità dei team di ricerca e di policy
• Stabilire una collaborazione
• Tempistiche della valutazione
• Come definire il budget per una valutazione
Giorno 3. L’etica e la scienza della valutazione d’impatto
• Come gestire valutazioni etiche e credibili
• L’etica nella conduzione di valutazioni d’impatto
• Assicurare valutazioni affidabili e credibili tramite la “Open Science”
• Lista di controllo: una valutazione d’impatto etica e credibile
PARTE QUARTA – COME OTTENERE I DATI PER UNA VALUTAZIONE D’IMPATTO
Settimana 6 – Raccolta dati
Giorno 1. Scegliere un campione
• Campionamento e calcoli di potenza statistica (power calculations)
• Selezionare un campione
• Come decidere la dimensione del campione per la valutazione d’impatto: power calculations
Giorno 2. Trovare fonti di dati adeguate
• Tipologie di dati necessari
• Uso di dati quantitativi già esistenti
• Raccolta di nuovi dati attraverso sondaggi
Giorno 3. Diffondere i risultati e influenzare le politiche
• Una solida base di evidenze per la policy
• Adattare la strategia di comunicazione a diversi pubblici
• Diffondere i risultati