Machine Learning: come minimizzare il rischio di errore

A questo punto per continuare a parlare con profitto di Machine Learning bisogna passare dalle argomentazioni alla strumentazione matematico-statistica necessaria. Abbiamo già visto qui le tipologie di machine learning implementabili. Qui invece è dove abbiamo visto le potenzialità del machine learning passivo.

Sappiamo che si impara sbagliando e questo vale anche per le macchine, il compito del nostro codice sarò minimizzare il rischio di errore trovando la funzione che meglio rappresenta la relazione tra input e output  dei training set. Il principio che seguiremo per ottenere questo risultato da qui in avanti lo chiameremo ERM che sta per Empirical Risk Minimization.

Il training set che abbiamo a disposizione possiamo definirlo così:
training set machine learning

 

L’obiettivo è quello di analizzare questi dati per trovare una funzione che si avvicini alla distribuzione originale
distribuzione originale machine learning

 

Nel caso ipotetico in cui conoscessimo già questa distribuzione (e quindi la nostra analisi sarebbe inutile) potremmo individuare facilmente il rischio associato all’ipotesi h ricavata dall’algoritmo
rischio associato all'ipotesi - machine learning

 

 

In un caso reale però questa formula è impossibile da risolvere perché non abbiamo a disposizione la distribuzione originale P. In questo caso invece di valutare il rischio reale possiamo valutare il rischio empirico
rischio associato all'ipotesi - machine learning
E cosa possiamo farcene di tutto questo? Semplice . . . arriviamo al principio dell’ERM che ci indica uno degli obiettivi primari da raggiungere, ovvero portare il rischio empirico al valore più basso possibile. Tutto questo si traduce formalmente così:
ERM - machine learning

 

Esiste anche un parametro indispensabile per valutare l’accuratezza dei risultati . . . al prossimo post!