Perceptron

Il perceptron è un algoritmo di apprendimento supervisionato di classificatori binari (cioè separando due classi). È stato inventato nel 1957 da Frank Rosenblatt presso l'Aeronautics Laboratory della Cornell University. È un neurone formale dotato di una regola di apprendimento che determina automaticamente i pesi sinaptici in modo da separare un problema di apprendimento supervisionato. Se il problema è separabile linearmente, un teorema assicura che la regola del perceptron permetta di trovare un separatore tra le due classi.

Definizione

Il perceptron può essere visto come il tipo più semplice di rete neurale . È un classificatore lineare . Questo tipo di rete neurale non contiene cicli (è una rete neurale a propagazione in avanti ). Nella sua versione semplificata, il perceptron è a strato singolo e ha un solo output (booleano) a cui sono collegati tutti gli ingressi (booleano). Più in generale, le voci possono essere numeri reali.

Un perceptron con n input e un singolo output o è definito dai dati di n pesi (o coefficienti sinaptici) e un bias (o soglia) da: $(x_ {1}, \ dots, x_ {n})$ ${\ displaystyle (w_ {1}, \ dots, w_ {n})}$ $\ theta$

{\ Displaystyle o = f (z) = \ left \ {{\ begin {matrix} 1 & \ mathrm {si} & \ sum _ {i = 1} ^ {n} w_ {i} x_ {i}> \ theta \\ 0 & \ mathrm {altrimenti} & \ end {matrix}} \ right.}

L'output o risulta quindi dall'applicazione della funzione Heaviside al potenziale postsinaptico , con: ${\ Displaystyle z = \ sum _ {i = 1} ^ {n} w_ {i} x_ {i} - \ theta}$

{\ displaystyle \ forall x \ in \ mathbb {R}, \ H (x) = \ left \ {{\ begin {matrix} 0 & \ mathrm {si} & x <0 \\ 1 & \ mathrm {si} & x \ geq 0. \ end {matrix}} \ right.}

Questa funzione non lineare è chiamata funzione di attivazione. Un'alternativa comunemente usata è la tangente iperbolica . ${\ displaystyle f = tanh ()}$

La regola di Hebb

Regola di Hebb, stabilito da Donald Hebb , è una regola di apprendimento delle reti neurali artificiali nel contesto delle assemblee di neuroni di studio.

Questa regola suggerisce che quando due neuroni sono eccitati insieme, creano o rafforzano un legame tra di loro.

Nel caso di un singolo neurone artificiale che utilizza la funzione segno come funzione di attivazione, ciò significa che:

W '_ {i} = W_ {i} + \ alpha (Y.X_ {i})

dove rappresenta il peso corretto e rappresenta la fase di apprendimento. $W '_ {i}$ $io$ $\alfa$

Questa regola purtroppo non è applicabile in alcuni casi, sebbene la soluzione esista.

Regola di apprendimento di Perceptron (legge di Widrow-Hoff)

Il perceptron di Frank Rosenblatt è molto vicino alla regola di Hebb , con la grande differenza che tiene conto dell'errore osservato in uscita.

Questa funzione è consigliata quando si utilizza la tangente iperbolica (tanh) come funzione di attivazione.

W '_ {i} = W_ {i} + \ alpha (Y_ {t} -Y) X_ {i}

$W '_ {i}$ = il peso corretto $io$

$Y_ {t}$ = output previsto

$Y$ = output osservato

$\alfa$ = il tasso di apprendimento

${\ displaystyle X_ {i}}$ = inserimento del peso per l'uscita prevista $io$ $Y_ {t}$

${\ displaystyle W_ {i}}$ = il peso attuale $io$

Note e riferimenti

" Rivista psicologica vol. 65, No. 6, 1958 "percettrone: una probabilistica MODELLO PER INFORMAZIONI CONSERVAZIONE E ORGANIZZAZIONE NEL CERVELLO" - F. Rosenblatt " su citeseerx.ist.psu.edu (accessibile 1 ° maggio 2018 )
The Perceptron , in Marc Tommasi, Machine learning: neural networks , course at the University of Lille 3
Donald Olding HEBB, The Organization of Behaviour, New York, Wiley & Sons, 1949

Vedi anche

Bibliografia

F. Rosenblatt (1958), The perceptron: a probabilistic model for information storage and organization in the brain ,

- ripreso in JA Anderson & E. Rosenfeld (1988), Neurocomputing. Fondamenti di ricerca, MIT Press