Flusso ottico: Esplorazione di modelli visivi dinamici nella visione artificiale

Di Fouad Sabry

Che cos'è il flusso ottico

Il flusso ottico o flusso ottico è lo schema del movimento apparente di oggetti, superfici e bordi in una scena visiva causato dal movimento relativo tra un osservatore e una scena. Il flusso ottico può anche essere definito come la distribuzione delle velocità apparenti di movimento del modello di luminosità in un'immagine.

Come trarne vantaggio

(I) Approfondimenti e convalide sui seguenti argomenti:

Capitolo 1: Flusso ottico

Capitolo 2: Minimi quadrati

Capitolo 3: Ottica di Fourier

Capitolo 4: Segmentazione delle immagini

Capitolo 5: Metodo Lucas?Kanade

Capitolo 6: Metodo Horn?Schunck

Capitolo 7: Correlazione e tracciamento delle immagini digitali

Capitolo 8: Ricostruzione 3D

Capitolo 9: Odometria visiva

Capitolo 10: Rilevatore d'angolo Harris

(II) Rispondere al pubblico top domande sul flusso ottico.

(III) Esempi reali dell'utilizzo del flusso ottico in molti campi.

A chi è rivolto questo libro

Professionisti, studenti universitari e laureati, appassionati, hobbisti e coloro che desiderano andare oltre le conoscenze o le informazioni di base per qualsiasi tipo di flusso ottico.

 

 

• Lingua: Italiano
• Editore: Un Miliardo Di Ben Informato [Italian]
• Data di uscita: 13 mag 2024

Anteprima del libro

Capitolo 1: Flusso ottico

Quando un osservatore si muove rispetto a una scena, gli oggetti, le superfici e i bordi osservati sembrano muoversi in uno schema specifico noto come flusso ottico o flusso ottico.

Negli anni '40, lo psicologo americano James J. Gibson introdusse il concetto di flusso ottico per descrivere lo stimolo visivo fornito agli animali in movimento.

Le sequenze di immagini ordinate possono essere utilizzate per stimare il movimento sotto forma di velocità continue dell'immagine o di singoli spostamenti dell'immagine. Per confrontare l'efficacia di vari metodi di flusso ottico, John L. Barron, David J. Fleet e Steven Beauchemin presentano un'analisi completa. La precisione e la densità delle misurazioni sono enfatizzate.

I metodi del flusso ottico cercano di calcolare il movimento tra due fotogrammi dell'immagine che vengono presi a volte t e t+\Delta t in ogni posizione del voxel.

Le tecniche differenziali sono così chiamate perché approssimano il segnale dell'immagine con funzioni locali utilizzando la serie di Taylor; cioè, Per fare questo, prendono derivate parziali nello spazio e nel tempo.

Per un caso (2D + t)-dimensionale (i casi 3D o n-D sono simili) un voxel in posizione (x,y,t) con intensità I(x,y,t) si sarà spostato da \Delta x , \Delta y e \Delta t tra i due fotogrammi dell'immagine, e si può dare la seguente limitazione sulla fluttuazione dell'intensità della luce:

I(x,y,t) = I(x+\Delta x, y + \Delta y, t + \Delta t)

Assumendo che lo spostamento sia trascurabile, il vincolo dell'immagine in serie di I(x,y,t) Taylor può essere sviluppato per ottenere:

{\displaystyle I(x+\Delta x,y+\Delta y,t+\Delta t)=I(x,y,t)+{\frac {\partial I}{\partial x}}\,\Delta x+{\frac {\partial I}{\partial y}}\,\Delta y+{\frac {\partial I}{\partial t}}\,\Delta t+{}}

termini di ordine superiore

Poiché una linearizzazione si ottiene troncando i termini di ordine superiore, ne consegue che:

\frac{\partial I}{\partial x}\Delta x+\frac{\partial I}{\partial y}\Delta y+\frac{\partial I}{\partial t}\Delta t = 0

oppure, dividendo per \Delta t ,

{\displaystyle {\frac {\partial I}{\partial x}}{\frac {\Delta x}{\Delta t}}+{\frac {\partial I}{\partial y}}{\frac {\Delta y}{\Delta t}}+{\frac {\partial I}{\partial t}}{\frac {\Delta t}{\Delta t}}=0}

che si traduce in

\frac{\partial I}{\partial x}V_x+\frac{\partial I}{\partial y}V_y+\frac{\partial I}{\partial t} = 0

dove V_x,V_y sono le x componenti e y della velocità o del flusso ottico di I(x,y,t) e \tfrac{\partial I}{\partial x} , \tfrac{\partial I}{\partial y} e \tfrac{\partial I}{\partial t} sono le derivate dell'immagine nelle (x,y,t) direzioni corrispondenti.

I_{x} , I_y e I_t può essere scritto per le derivate nel seguito.

Così:

I_xV_x+I_yV_y=-I_t

o

{\displaystyle \nabla I\cdot {\vec {V}}=-I_{t}}

Poiché ci sono due variabili mancanti in questa equazione, è intrattabile. Il problema dell'apertura è un problema comune negli algoritmi di flusso ottico. Il flusso ottico può essere calcolato con un diverso insieme di equazioni determinate da un vincolo aggiuntivo. La stima del flusso effettivo richiede ulteriori assunzioni fatte da tutti i metodi di flusso ottico.

Correlazione di fase - l'inverso dello spettro di potenza incrociata in forma normalizzata

Minimizzare la somma delle differenze al quadrato o la somma delle differenze assolute, o ottimizzare la correlazione incrociata normalizzata, sono tutti esempi di metodi basati su blocchi.

Le derivate parziali del segnale dell'immagine e/o del campo di flusso ricercato, così come le derivate parziali di ordine superiore, possono essere utilizzate in metodi differenziali per stimare il flusso ottico:

L'approccio di Lucas-Kanade, che utilizza immagini patchate e un modello affine del campo di flusso, La tecnica di Horn-Schunck prevede la massimizzazione di un funzionale che tiene conto dei residui di un vincolo di costanza di luminosità e di uno specifico termine di regolarizzazione che caratterizza la levigatezza desiderata del campo di flusso.

La tecnica di Buxton-Buxton si basa su un modello di movimento dei bordi applicato a una serie di immagini.

Flusso ottico grossolano per correlazione, come nel metodo di Black-Jepson

Varie modifiche ed estensioni di Horn-Schunck che fanno uso di termini di dati aggiuntivi e termini di levigatezza costituiscono la categoria più ampia dei metodi variazionali generali.

Utilizzando tecniche di ottimizzazione discreta, quantifichiamo prima lo spazio di ricerca, quindi affrontiamo la corrispondenza delle immagini etichettando ogni pixel in modo che la deformazione risultante riduca al minimo la distanza tra le immagini di origine e di destinazione. KITTI e Sintel sono altri due set di dati di benchmark ampiamente utilizzati.

Una delle aree di studio più importanti del flusso ottico è la stima del movimento e la compressione video. Nonostante la sua somiglianza superficiale con un campo di moto denso derivato dalle tecniche di stima del movimento, il flusso ottico è lo studio non solo della determinazione del campo di flusso ottico, ma anche del suo utilizzo nella stima della natura e della struttura 3D della scena, nonché del movimento 3D degli oggetti e dell'osservatore rispetto alla scena.  con la stragrande maggioranza di queste stime che si basano sull'immagine stessa. Jacobiane.

Pensa a una sequenza di cinque fotogrammi in cui una palla viaggia dal basso a sinistra all'alto a destra dello schermo. Utilizzando metodi di stima del movimento, possiamo dedurre che la palla sta viaggiando in direzione verticale e laterale analizzando i fotogrammi nella sequenza. La sequenza è stata descritta nel modo più accurato necessario per la compressione video (come MPEG). Nella visione artificiale, tuttavia, sapere se la palla o l'osservatore si sta muovendo verso destra è un'informazione cruciale ma sconosciuta. Anche se in tutte e cinque le immagini fosse presente uno sfondo fisso e modellato, non saremmo comunque in grado di dire con certezza che la palla stia viaggiando in direzione destra, perché il modello potrebbe essere infinitamente lontano dalla fotocamera.

Sono disponibili diversi modelli di sensori di flusso ottici. Un chip sensore di immagine accoppiato a un processore che esegue un algoritmo di flusso ottico è una configurazione possibile. Un chip di visione è una configurazione alternativa; Si tratta di un circuito integrato che contiene sia il sensore di immagine che il processore sullo stesso die. Un mouse ottico con un sensore ottico generico per mouse è un buon esempio di questo tipo di dispositivo. Per ottenere un rapido calcolo del flusso ottico con un basso consumo di corrente, i circuiti di elaborazione vengono talvolta implementati con circuiti analogici o a segnale misto.

I sensori di flusso ottici potrebbero trarre vantaggio dai recenti sviluppi dell'ingegneria neuromorfica, che vengono utilizzati per creare circuiti che reagiscono al flusso ottico. L'ispirazione per questi circuiti potrebbe essere trovata nei circuiti neurali biologici che reagiscono anche al flusso ottico.

Come componente di rilevamento principale per tracciare il movimento del mouse su una superficie, i sensori di flusso ottici trovano ampia applicazione nei mouse ottici per computer.

Nelle applicazioni robotiche, i sensori di flusso ottici vengono generalmente utilizzati per misurare il movimento visivo o il movimento relativo tra il robot e altri oggetti nelle sue immediate vicinanze. Un'altra area di studio attiva è l'integrazione di sensori di flusso ottici in veicoli aerei senza pilota (UAV) da utilizzare per mantenere la stabilità del volo e aggirare gli ostacoli.

{Fine Capitolo 1}

Capitolo 2: Minimi quadrati

Il metodo dei minimi quadrati è un approccio standard nell'analisi di regressione che viene utilizzato per approssimare la soluzione di sistemi sovradeterminati (insiemi di equazioni in cui ci sono più equazioni che incognite). Ciò si ottiene minimizzando la somma dei quadrati dei residui realizzati nei risultati di ogni singola equazione. Un residuo è la differenza tra un valore osservato e il valore adattato fornito da un modello.

L'utilizzo più significativo si riscontra nel campo dell'adattamento dei dati. Quando il problema presenta notevoli incertezze nella variabile indipendente (la variabile x), i metodi della regressione semplice e dei minimi quadrati hanno problemi; In questi casi, la metodologia richiesta per l'adattamento dei modelli di errori nelle variabili può essere considerata al posto di quella per i minimi quadrati. [Caso in questione:] quando il problema ha incertezze sostanziali nella variabile indipendente (la variabile x), la regressione semplice e i metodi dei minimi quadrati hanno problemi.

Ci sono due tipi di problemi che rientrano nella categoria dei minimi quadrati: i minimi quadrati lineari o ordinari e i minimi quadrati non lineari. La distinzione tra i due tipi si basa sul fatto che i residui siano lineari o meno in tutte le incognite. Nell'analisi di regressione statistica, uno dei problemi da risolvere è chiamato problema dei minimi quadrati lineari e ha una soluzione in forma chiusa. Il metodo di raffinamento iterativo viene spesso utilizzato per risolvere il problema non lineare. Durante ogni iterazione, il sistema viene approssimativamente modellato su uno lineare e, di conseguenza, il calcolo fondamentale è lo stesso per entrambi gli scenari.

La varianza in una previsione della variabile dipendente in funzione della variabile indipendente e le deviazioni dalla curva adattata sono entrambe descritte dai minimi quadrati polinomiali.

Quando le osservazioni provengono da una famiglia esponenziale con l'identità come statistica naturale sufficiente e le condizioni lievi sono soddisfatte (ad esempio, per distribuzioni normali, esponenziali, di Poisson e binomiali), le stime standardizzate dei minimi quadrati e le stime di massima verosimiglianza sono