Teorema di Cox-Jaynes

Irving John Good ha utilizzato una variazione di questa idea per rendere più facile lavorare con queste nuove quantità. A differenza di Turing:

• ha usato un logaritmo decimale piuttosto che naturale, in modo che l' ordine di grandezza della probabilità associata appaia su una semplice lettura e
• ha adottato un fattore 10 per evitare la complicazione della gestione delle quantità decimali, dove era sufficiente una precisione del 25%.

Ha chiamato la misura corrispondente, W = 10 log 10 (p / (1-p)), peso dell'evidenza perché ha permesso di "pesare" la testimonianza dei fatti secondo le aspettative - manifestate da precedenti probabilità "soggettive" all'osservazione - indipendentemente da queste aspettative .

Per evitare qualsiasi connotazione parassitaria, Dehaene preferisce parlare di decibel, come Turing, piuttosto che di decibel come Good.

Le evidenze sono talvolta espresse anche in bit , in particolare nei test di validità delle leggi di scala .

Infatti, quando una legge come la legge di Zipf o di Mandelbrot si adatta ai dati meglio di un'altra legge che non richiede uno smistamento preventivo, si deve tenere conto del fatto che l' ordinamento di una sequenza di n termini seleziona arbitrariamente una permutazione tra n ! possibile. L'ordinamento rappresenta un input di informazioni (o ordine ) dell'ordine di n  log 2  n . Questo input di informazioni potrebbe essere sufficiente per la migliore regolazione. Ci si può aspettare di vedere una distribuzione decrescente per riflettere meglio ciò che si è appena ordinato in ordine decrescente.

Se il guadagno di prove portato dallo smistamento rappresenta un numero inferiore di bit rispetto al costo dello smistamento, le informazioni fornite dalla considerazione di una legge scalante sono zero. L'ordine fornito è semplicemente quello che abbiamo appena inserito: il modello non deve quindi essere mantenuto in questo caso. In altri, la sua validità è evidente: vedi legge Zipf-Mandelbrot .

Conseguenze del teorema

Unificazione dell'algebra booleana e teoria della probabilità

Notiamo che l'algebra booleana è isomorfa alla teoria delle probabilità ridotta ai soli valori 0 e 1.

• E logica = prodotto di probabilità
• Oppure logica = somma meno prodotto di due probabilità (p + p'-p.p ')
• Non logico = complemento di una probabilità (p → 1-p)

Questa considerazione portò all'invenzione negli anni '70 di computer stocastici promossi dalla società Alsthom (che all'epoca si scriveva con la h ) e che intendevano combinare il basso costo dei circuiti di commutazione con la potenza di elaborazione dei computer analogici. Alcuni sono stati realizzati in quel momento.

Abbandono del paradigma "frequentista"

Myron Tribus propone di considerare la probabilità come la semplice traduzione digitale di uno stato di conoscenza e non come il passaggio al limite della nozione di frequenza . A sostegno, prende la classica immagine dei dadi con uscita probabilità di ciascuna faccia è considerata è da 1/ 6 ° , anche se il dado è fatto di ghiaccio, quindi può essere eseguito su un paio di volte, che impedisce ogni passaggio al limite.

Poi immagina l'obiezione di un interlocutore: "Se immagino mentalmente mille dadi, posso effettivamente prevedere un passaggio al limite", a cui risponde: "Assolutamente. E se quindi li rappresenti solo mentalmente , è perché si tratta effettivamente solo di uno stato di conoscenza  "

Le divergenze tra l'approccio frequentista e quello bayesiano suscitarono molta passione negli anni '70, quando assunsero quasi l'aspetto di una "guerra di religione". "La loro" pacifica "convivenza è ormai accettata, ciascuno con il suo dominio di massima efficienza e le due impostazioni convergono comunque quando si passa a un gran numero di osservazioni. Non c'è conflitto per i piccoli numeri, metodi frequentisti ( statistici ) non rilevanti per quest'area di applicazione.

Fondamenti razionali dell'apprendimento automatico

Edwin Thompson Jaynes , nella sua ripresa e nell'approfondimento del teorema di Cox , lo usa per mostrare che qualsiasi apprendimento , compreso quello automatico, deve necessariamente utilizzare l'inferenza bayesiana (eccetto un omomorfismo se lo si desidera, come un passaggio attraverso una trasformazione logaritmica che semplifica la pratica calcoli) o forniscono risultati incoerenti e, di conseguenza, inadatti. Questo risultato estremamente forte richiede l'accettazione di cinque semplici desiderata , inclusa quella della continuità del metodo (non cambiare improvvisamente l'algoritmo semplicemente perché un dato viene modificato in modo infinitesimale) .

Vedi anche l'articolo su Logit .

Relazione con "logica fuzzy"

Gli approcci sono diversi: la cosiddetta logica fuzzy è di origine pragmatica (un esempio di "logica fuzzy" è la classificazione degli alunni in un esame generale mediante l'uso di coefficienti arbitrari per ciascuna materia) e senza teoremi reali: è una domanda di una tecnica semplice . L'apprendimento bayesiano è una teoria solida basata su un edificio matematico e nozioni quantitative, come la massimizzazione dell'entropia (MAXENT). È vero che i due approcci alla fine convergono (rilevamento automatico delle scene per fotocamere digitali, riconoscimento vocale e dei caratteri), ma solo perché gli approcci bayesiani hanno in gran parte assorbito il resto.

Importanti limitazioni del teorema

Il teorema presume che una scomposizione in proposizioni sia precedente ad essa e che resti solo da stimare il valore di ciascuna. Successivamente, Watanabe ha osservato che qualsiasi scomposizione in criteri è, per costruzione, arbitraria ( Teorema del brutto anatroccolo ) e quindi non può rivendicare alcuna impersonalità . Murphy e Medin lo hanno illustrato sarcasticamente nel 1985:

"Supponiamo di elencare gli attributi che hanno in comune prugne e tosaerba per giudicare la loro somiglianza. È facile vedere che l'elenco potrebbe essere infinito. Entrambi pesano meno di 10 tonnellate (e meno di 11), non esistevano 10 milioni di anni fa (né 11), entrambi non hanno organi uditivi, entrambi possono essere abbandonati, entrambi occupano spazio e così via. allo stesso modo, l'elenco delle differenze potrebbe essere infinito ... Le due entità possono essere considerate arbitrariamente simili o dissimili dalla semplice scelta degli attributi che si sceglie di considerare rilevanti "

Un apparente paradosso

Ogni disciplina ha le sue misurazioni preferite: se la termica si occupa principalmente di temperature , la termodinamica sarà più legata alle misurazioni della quantità di calore , o addirittura dell'entropia . L'elettrostatica è più interessata alle tensioni che alle intensità, mentre è vero il contrario per le correnti deboli, e nell'ingegneria elettrica è più in termini di potenza che tendiamo a ragionare. Secondo la sua disciplina di origine, ogni sperimentatore tenderà quindi a fare le sue stime sulle unità a cui è abituato .

Nel caso di un quadro elettrico, uno specialista in ingegneria elettrica farà forse una stima della potenza dissipata (Ri²) mentre uno specialista in correnti deboli preferirà stimare l'intensità stessa (i). Se la convergenza a lungo termine delle stime è assicurata in entrambi i casi, non sarà fatto allo stesso modo, anche con distribuzioni a priori identiche , perché l'aspettativa matematica di un quadrato non è matematicamente legata al quadrato d 'una speranza . Questo è il principale ostacolo per i metodi bayesiani .

Il ruolo della lingua (formattazione)

A prescindere dalle probabilità a priori che attribuiamo agli eventi, anche le nostre stime sono in parte "formattate" dal linguaggio e dalla "distorsione professionale" ad esso collegata. In concreto, questo ci ricorda che non c'è solo una, ma due fonti di arbitrarietà nei metodi bayesiani: quella della misurazione, che macchia le probabilità a priori scelte e quella del metodo, che corrisponde alla nostra rappresentazione del problema. D'altra parte, l'arbitrarietà è limitata a questi due elementi ei metodi bayesiani sono quindi completamente impersonali.

Appendici

Bibliografia

• (en) RT Cox, "Probability, Frequency, and Reasonable Expectation , Am. Jour. Phys. , 14, 1–13, (1946).
• (en) RT Cox, The Algebra of Probable Inference ', Johns Hopkins University Press, Baltimore, MD, (1961).
• (en) Edwin Thompson Jaynes , Teoria della probabilità: la logica della scienza , Cambridge University Press ,2003, 727  p. ( ISBN  978-0-521-59271-0 , leggi online ). In accordo con la richiesta di Jaynes, morto nel 1998, il suo lavoro è leggibile pubblicamente in PDF sul Web:
  • (en) Edwin Thompson Jaynes , Teoria della probabilità: la logica della scienza , Cambridge University Press ,1994( leggi online )( Edizione frammentaria del giugno 1994 );
  • (en) Edwin Thompson Jaynes , Teoria della probabilità: la logica della scienza , Cambridge University Press ,1996( leggi online ) (Capitoli da 1 a 3 della versione pubblicata);
  • Cox-Jaynes (PDF)
• (en) Edwin Thompson Jaynes , "How Does the Brain Do Plausible Reasoning" , in GJ Erikson e CR Smith (a cura di), Maximum Entropy and Bayesian Methods in Science and Engineering , vol.  1, Kluwer Academic Publishers,1988( leggi online )

• Myron Tribus ( trad.  Jacques Pézier), Decisioni razionali in incerte ["Descrizioni, decisioni e progetti razionali"], Parigi, Masson,1974( 1 °  ed. 1969).
• (de) Niels Henrik Abel , "  Untersuchung der Functionen zweier unabhängig veränderlichen Gröszen x und y , wie f ( x , y ), welche die Eigenschaft haben, dasz f [ z , f ( x , y )] eine symmetrische Function von z , x e y ist  " , J. queen angew. Matematica. , vol.  1,1826, p.  11-15.
• (en) Janos Aczél  (en) , Lectures on Functional Equations and their Applications , Academic Press, New York, 1966.
• (en) Stefan Arnborg e Gunnar Sjödin, Sulle fondamenta del bayesianesimo , Preprint: Nada, KTH (1999) ps , pdf
• (en) Stefan Arnborg e Gunnar Sjödin, Una nota sui fondamenti del bayesianesimo , Preprint: Nada, KTH (2000a), ps , pdf
• (en) Stefan Arnborg e Gunnar Sjödin, "Bayes rules in finite models", in European Conference on Artificial Intelligence , Berlin, (2000b), ps , pdf
• (en) Pierre Baldi e Søren Brunak, Bioinformatics: The Machine Learning Approach , MIT Press , 2.2 The Cox-Jayes approach, pagine 50-57
• (en) Terrence L. Fine, Theories of Probability: An Examination of Foundations , Academic Press, New York, 1973.
• (it) Michael Hardy, "Scaled Boolean algebras", Advances in Applied Mathematics , vol. 29, n .  2, 2002, pag.  243-292 , DOI : 10.1016 / S0196-8858 (02) 00011-8 , arXiv : math.PR/0203249
• (en) Joseph Y. Halpern, "  Un controesempio ai teoremi di Cox e Fine  ", Journal of AI research , vol. 10, 1999, p.  67-85
• (en) Joseph Y. Halpern, "  Technical Addendum, Cox's theorem Revisited  ", Journal of AI research , vol. 11, 1999, p.  429-435
• (it) Myron Tribus , Rational Descriptions, Decisions and Designs , Pergamon Press ,1969, 479  p.
• (en) Kevin S. Van Horn, "Costruire una logica di inferenza plausibile: una guida al teorema di Cox", International Journal of Approximate Reasoning , vol. 34, n °  1, 2003, pag.  3-24 , DOI : 10.1016 / S0888-613X (03) 00051-3 .

Articoli Correlati

• Probabilità
• Teorema di Bayes
• Inferenza bayesiana
• Bertrand russell
• Apprendimento automatico
• Logica fuzzy

link esterno

• (en) Alcuni riferimenti chiave sulla prova di Cox del bayesianesimo Elenco bibliografico più dettagliato e annotato.
• P. Bessière et al. , Fondamenti matematici dell'approccio F + D [PDF]  : dettagli sul teorema di Cox, implicazioni e applicazione.
• Università di Valenciennes, E-Diagnosis  : corso di sensibilizzazione in tecniche diagnostiche; metodi deduttivi, induttivi e abduttivi.

Note e riferimenti

1. "  Supponiamo di voler elencare gli attributi che hanno in comune prugne e tosaerba per giudicare la loro somiglianza. È facile vedere che l'elenco potrebbe essere infinito: entrambi pesano meno di 10.000 kg (e meno di 10.001 kg), entrambi non esistevano 10.000.000 anni fa (e 10.000.001 anni fa), entrambi non si sentono bene, entrambi possono essere lasciati cadere entrambi occupano spazio e così via. Allo stesso modo, l'elenco delle differenze potrebbe essere infinito ... due entità qualsiasi possono essere arbitrariamente simili o dissimili cambiando il criterio di ciò che conta come attributo rilevante  »
2. La scelta di una distribuzione di entropia massima ("MAXENT") tra quelle che soddisfano i vincoli garantisce di scegliere la meno arbitraria . La legge normale gaussiana, la legge esponenziale decrescente, la legge di Zipf- Mandelbrot sono rispettivamente la massima entropia quando fissiamo la media e la deviazione standard, solo la media o solo il rango medio

1. Tribes 1969 , Tribes 1974 .
2. (in) Edwin Thompson Jaynes, Probability Theory: The Logic of Science, Cambridge University Press,2003, 753  p. ( ISBN  978-0521592710 , leggi online ) , p.  Capitoli da 1 a 3
3. Irving John Good , "  Speculazioni riguardanti la prima macchina ultraintelligente  " , Advances in Computers , vol.  6,1965( leggi online [ archivio di4 marzo 2016] , consultato il 26 marzo 2016 ).
4. Corso al Collège de France (2011-2012) , 10 gennaio 2012: Introduzione al ragionamento bayesiano e alle sue applicazioni .
5. Jaynes 1988
6. Bertrand Russell , Skeptical Essays , Paris, Les Belles Lettres ,2011( 1 a  ed. 1928), cap.  3.
7. ( Tribes 1969 , p.  5-6).
8. S. Dehaene, "  I meccanismi bayesiani di induzione nei bambini  " , sul Collège de France ,17 gennaio 2012.
9. Léon Brillouin , La scienza e la teoria dell'informazione , Parigi, Masson,1959( 1 °  ed. 1955), p.  45-48.
10. Descrizioni, decisioni e progetti razionali , Myron Tribus, inizio pagina 60. L'autore menziona anche di essere stato ispirato da Probability and Scientific Inference di GS Brown (1957)
11. (in) Jordi Vallverdú , "  The False Dilemma: Bayesian vs. Frequentist  " , E-Logos ,2003( leggi online , consultato il 20 ottobre 2013 )
12. Jaynes 2003
13. (a) GL Murphy e DL Medin , "  Il ruolo delle teorie in Concettuale Coherence  " , Psychological Review , vol.  92, n o  3,1985, p.  289-316