Minimi quadrati: Tecniche di ottimizzazione per la visione artificiale: metodi dei minimi quadrati

Di Fouad Sabry

Che cosa sono i minimi quadrati

Il metodo dei minimi quadrati è un metodo di stima dei parametri nell'analisi di regressione basato sulla minimizzazione della somma dei quadrati dei residui ottenuti nei risultati di ogni singola equazione.

Come trarrai vantaggio

(I) Approfondimenti e convalide sui seguenti argomenti:

Capitolo 1 : Minimi quadrati

Capitolo 2: Teorema di Gauss-Markov

Capitolo 3: Analisi di regressione

Capitolo 4: Regressione di Ridge

Capitolo 5 : Minimi quadrati totali

Capitolo 6: Minimi quadrati ordinari

Capitolo 7: Minimi quadrati ponderati

Capitolo 8: Regressione lineare semplice

Capitolo 9: Minimi quadrati generalizzati

Capitolo 10: Minimi quadrati lineari

(II) Rispondere alle principali domande del pubblico sui minimi quadrati.

(III) Mondo reale esempi dell'utilizzo dei minimi quadrati in molti campi.

A chi è rivolto questo libro

Professionisti, studenti universitari e laureati, appassionati, hobbisti e tutti coloro che che vogliono andare oltre le conoscenze o le informazioni di base per qualsiasi tipo di Minimi Quadrati.

 

 

• Lingua: Italiano
• Editore: Un Miliardo Di Ben Informato [Italian]
• Data di uscita: 11 mag 2024

Anteprima del libro

Capitolo 1: Minimi quadrati

Il metodo dei minimi quadrati è un approccio standard nell'analisi di regressione che viene utilizzato per approssimare la soluzione di sistemi sovradeterminati (insiemi di equazioni in cui ci sono più equazioni che incognite). Ciò si ottiene minimizzando la somma dei quadrati dei residui realizzati nei risultati di ogni singola equazione. Un residuo è la differenza tra un valore osservato e il valore adattato fornito da un modello.

L'utilizzo più significativo si riscontra nel campo dell'adattamento dei dati. Quando il problema presenta notevoli incertezze nella variabile indipendente (la variabile x), i metodi della regressione semplice e dei minimi quadrati hanno problemi; In questi casi, la metodologia richiesta per l'adattamento dei modelli di errori nelle variabili può essere considerata al posto di quella per i minimi quadrati. [Caso in questione:] quando il problema ha incertezze sostanziali nella variabile indipendente (la variabile x), la regressione semplice e i metodi dei minimi quadrati hanno problemi.

Ci sono due tipi di problemi che rientrano nella categoria dei minimi quadrati: i minimi quadrati lineari o ordinari e i minimi quadrati non lineari. La distinzione tra i due tipi si basa sul fatto che i residui siano lineari o meno in tutte le incognite. Nell'analisi di regressione statistica, uno dei problemi da risolvere è chiamato problema dei minimi quadrati lineari e ha una soluzione in forma chiusa. Il metodo di raffinamento iterativo viene spesso utilizzato per risolvere il problema non lineare. Durante ogni iterazione, il sistema viene approssimativamente modellato su uno lineare e, di conseguenza, il calcolo fondamentale è lo stesso per entrambi gli scenari.

La varianza in una previsione della variabile dipendente in funzione della variabile indipendente e le deviazioni dalla curva adattata sono entrambe descritte dai minimi quadrati polinomiali.

Quando le osservazioni provengono da una famiglia esponenziale con l'identità come statistica naturale sufficiente e le condizioni lievi sono soddisfatte (ad esempio, per distribuzioni normali, esponenziali, di Poisson e binomiali), le stime standardizzate dei minimi quadrati e le stime di massima verosimiglianza sono le stesse. Questo è il caso di tutte le famiglie esponenziali che hanno come statistica naturale sufficiente l'identità. La tecnica dei minimi quadrati può essere sviluppata a sé stante come metodo di stima dei momenti.

Il ragionamento che segue è formulato quasi interamente in termini di funzioni lineari; Ciononostante, l'uso dei minimi quadrati non è solo accettabile, ma anche fattibile per famiglie di funzioni più generiche. Inoltre, l'approccio dei minimi quadrati può essere utilizzato per adattare un modello lineare esteso applicando iterativamente l'approssimazione quadratica locale alla verosimiglianza (utilizzando le informazioni di Fisher). Ciò è possibile quando si utilizzano le informazioni di Fisher.

Adrien-Marie Legendre è accreditato come colui che per primo sviluppò e pubblicò la tecnica dei minimi quadrati (1805), Durante l'Età delle Scoperte, scienziati e matematici si sforzarono di dare risposte ai problemi di attraversamento delle acque della Terra utilizzando il concetto di minimi quadrati. Questo approccio è emerso dalle scienze dell'astronomia e della geodesia come risultato dei loro sforzi. La descrizione precisa del comportamento dei corpi celesti era la chiave per consentire alle navi di viaggiare in mari vasti, dove i marinai non potevano più dipendere dagli avvistamenti terrestri per la navigazione. Questo è stato il caso poiché gli avvistamenti a terra non erano più disponibili.

L'approccio rappresentò l'apice di una serie di sviluppi che avevano avuto luogo nel corso del XVIII secolo:

L'aggregazione è il processo di combinazione di più osservazioni al fine di arrivare alla stima più accurata possibile del valore effettivo; Gli errori tendono a ridursi piuttosto che a crescere come risultato di questo processo, che forse è stato originariamente articolato da Roger Cotes nel 1722.

Il processo di combinare molte osservazioni fatte nelle stesse circostanze, invece di fare solo uno sforzo per osservare e registrare una singola osservazione nel modo più preciso possibile. La strategia è stata spesso definita come la tecnica delle medie. Tobias Mayer, che stava studiando le librazioni della Luna nel 1750, e Pierre-Simon Laplace, che stava lavorando per spiegare le variazioni di moto di Giove e Saturno nel 1788, furono due persone notevoli che impiegarono questa tecnica nelle loro rispettive ricerche.

La combinazione di una serie di osservazioni distinte effettuate in una varietà di circostanze. Il nome di metodo di minima deviazione assoluta è stato dato alla tecnica nel corso del tempo. Nel 1757, Roger Joseph Boscovich lo utilizzò nel suo lavoro sulla forma della terra, e Pierre-Simon Laplace lo utilizzò nel 1799 per lo stesso numero. Entrambi gli uomini sono noti per il loro contributo al campo.

La costruzione di un criterio che può essere esaminato per identificare se è stata ottenuta la soluzione con il minor numero di errori è ciò che viene definito sviluppo del criterio. Laplace tentò di proporre un approccio alla stima che avrebbe comportato il minor numero di errori di stima e avrebbe fornito una forma matematica della densità di probabilità per gli errori. Laplace ha modellato la distribuzione degli errori utilizzando una distribuzione esponenziale simmetrica a due lati, che ora chiamiamo distribuzione di Laplace. Egli utilizzò la somma della deviazione assoluta come errore di stima. Credeva che queste fossero le ipotesi più semplici che potesse fare, e aveva desiderato raggiungere la media aritmetica come la stima più accurata possibile. Invece, si è basato sulla mediana posteriore come stima.

Nel 1805, il matematico francese Legendre fornì la prima spiegazione della tecnica dei minimi quadrati che era sia completa che chiara. Questo, ovviamente, ha portato a un disaccordo sulla precedenza con Legendre. Tuttavia, è merito di Gauss che è andato oltre il lavoro di Legendre ed è stato in grado di combinare con successo la tecnica dei minimi quadrati con le leggi della probabilità e della distribuzione normale. Questo è un risultato che merita di essere lodato. Era riuscito a completare il programma di Laplace, che gli richiedeva di specificare una forma matematica della densità di probabilità per le osservazioni, in funzione di un numero finito di parametri sconosciuti, e di definire un metodo di stima che minimizzasse l'errore di stima. Inoltre, aveva specificato una forma matematica della densità di probabilità per le osservazioni che dipendevano da un numero finito di parametri incogniti. Gauss dimostrò che la media aritmetica è in realtà la migliore stima del parametro di posizione modificando sia la densità di probabilità che la tecnica di stima. Lo ha fatto per dimostrare che la media aritmetica è la migliore stima. Ha poi portato la questione in una nuova direzione, mettendo in discussione quale forma dovrebbe assumere la densità e quale tecnica di stima dovrebbe essere utilizzata per ottenere la media aritmetica come stima del parametro di posizione. Questo ha chiuso il cerchio. Come risultato di questo sforzo, ha ideato la distribuzione normale.

La potenza dell'approccio di Gauss è stata messa in mostra per la prima volta quando è stata utilizzata per determinare dove sarebbe finito in futuro l'asteroide Cerere, scoperto di recente. Questo è stato uno dei primi esempi dell'utilità del metodo. Giuseppe Piazzi, astronomo italiano, fece la scoperta di Cerere il 1º gennaio 1801. Fu in grado di osservare il suo movimento per un periodo di quaranta giorni fino a quando non fu oscurato dallo splendore del sole. Gli astronomi volevano identificare la posizione di Cerere una volta emersa da dietro il Sole, ma non volevano risolvere le difficili equazioni non lineari di Keplero del moto planetario per farlo. Utilizzando l'analisi dei minimi quadrati, le uniche previsioni che erano abbastanza accurate da consentire all'astronomo ungherese Franz Xaver von Zach di ricollocare con successo Cerere erano quelle fatte dal ventiquattrenne Gauss.

Nel 1810, dopo aver letto il lavoro di Gauss, Laplace dimostrò il teorema del limite centrale e lo utilizzò per stabilire una giustificazione campionaria per la tecnica dei minimi quadrati e la distribuzione normale. Questo è stato fatto dopo che l'opera di Gauss era stata tradotta in francese. Nell'anno 1822, Gauss fu in grado di dimostrare che il metodo dei minimi quadrati per condurre l'analisi di regressione è il metodo più efficace disponibile. Ciò è stato ottenuto dimostrando che in un modello lineare in cui gli errori hanno una media pari a zero, non sono correlati e hanno varianze uguali, lo stimatore dei minimi quadrati è il miglior stimatore lineare imparziale dei coefficienti. Il nome dato