Convalida incrociata

La convalida incrociata ( " convalida incrociata " ) è, nell'apprendimento automatico , un metodo per stimare l'affidabilità di un modello basato su una tecnica di campionamento .

Utilità della convalida incrociata

Supponiamo di avere un modello statistico con uno o più parametri sconosciuti e un set di dati di addestramento su cui possiamo apprendere (o "addestrare") il modello. Il processo di addestramento ottimizza i parametri del modello in modo che corrisponda il più fedelmente possibile ai dati di addestramento. Se quindi prendiamo un campione di convalida indipendente, presumibilmente dalla stessa popolazione del campione di addestramento, generalmente risulterà che il modello non modella i dati di convalida così come i dati di addestramento: si parla di overfitting . Tuttavia, un campione di convalida indipendente non è sempre disponibile. Inoltre, da un campione di convalida a un altro, le prestazioni di convalida del modello possono variare. La convalida incrociata consente di derivare diversi set di convalida dallo stesso database e quindi di ottenere una stima più robusta, con bias e varianza, delle prestazioni di convalida del modello.

Tecniche di convalida

Esistono molte varianti di convalida ma possiamo prima distinguere:

Non-cross validation, " testset validation " o " holdout method " : dividiamo la dimensione del campione in due sottocampioni, il primo chiamato apprendimento (comunemente maggiore del 60% del campione) e il secondo detto validazione o test. Il modello è costruito sul campione di addestramento e convalidato sul campione di prova con un punteggio di prestazione di nostra scelta. $non$
La convalida incrociata blocca la " convalida incrociata k-fold " : dividendo i campioni originali campione (o "blocchi"), quindi seleziona uno dei campioni come un insieme di convalida mentre gli altri campioni sono tutti di apprendimento. Dopo l'apprendimento, è possibile calcolare una prestazione di convalida. Quindi l'operazione viene ripetuta selezionando un altro campione di validazione tra i blocchi predefiniti. Alla fine della procedura si ottengono così i punteggi delle prestazioni, uno per blocco. La media e la deviazione standard dei punteggi delle prestazioni possono essere calcolate per stimare la distorsione e la varianza delle prestazioni di convalida. $K$ $K$ $K$ $k-1$ $K$ $K$

Tabella di distribuzione dei dati per la convalida incrociata a k = 3 blocchi

K	blocco 1	blocco 2	blocco 3
1	convalida	apprendimento	apprendimento
2	apprendimento	convalida	apprendimento
3	apprendimento	apprendimento	convalida

La validazione incrociata di uno contro tutti, " leave-one-out cross-validation " (LOOCV): questo è un caso speciale di block cross validation dove . Vale a dire che ad ogni iterazione di apprendimento-convalida, l'apprendimento viene fatto sulle osservazioni e la convalida sulla singola osservazione rimanente. $K$ $k = n$ $n-1$

Dopo aver effettuato la validazione del modello, è quindi necessario passare alla prova con il test precedentemente accantonato.

Gestione di database sbilanciati

Nei compiti di classificazione , la distribuzione delle classi nel database può essere sbilanciata, cioè il numero di osservazioni per classe potrebbe non essere lo stesso da una classe all'altra: se denotiamo il numero di osservazioni della -esima classe, allora esiste tale quello . In questo caso, per evitare che le prestazioni di convalida (e apprendimento) siano influenzate da una distribuzione mutevole delle classi da un insieme di convalida (o apprendimento) a un altro, si consiglia di utilizzare una convalida incrociata stratificata ("convalida incrociata stratificata") . La stratificazione consiste nel garantire che la distribuzione delle classi sia la stessa in tutti i set di addestramento e convalida utilizzati. Vale a dire che se il database iniziale presenta, ad esempio, 3 osservazioni della classe 1 per 7 osservazioni della classe 2, allora ogni set di validazione (rispettivamente apprendimento) deve presentare questo rapporto di 3 per 7. $o$ $io$ ${\ displaystyle \ {i, j \}}$ ${\ displaystyle n_ {i} \ neq n_ {j}}$

Nel caso di convalida incrociata con blocchi, si tratta semplicemente di distribuire le classi allo stesso modo da un blocco all'altro. I set di convalida e addestramento che ne deriveranno erediteranno questa distribuzione. $K$

Vedi anche

Collegamenti interni

Riferimenti

Payam Refaeilzadeh, Lei Tang, Huan Liu, " Cross-Validation " ( Archive • Wikiwix • Archive.is • Google • Que faire? ) (Accesso 20 aprile 2020 )
Andrew W. Moore, Convalida incrociata per il rilevamento e la prevenzione dell'overfitting