Stima del movimento: Progressi e applicazioni nella visione artificiale

Di Fouad Sabry

What is Motion Estimation

In computer vision and image processing, motion estimation is the process of determining motion vectors that describe the transformation from one 2D image to another; usually from adjacent frames in a video sequence. It is an ill-posed problem as the motion happens in three dimensions (3D) but the images are a projection of the 3D scene onto a 2D plane. The motion vectors may relate to the whole image or specific parts, such as rectangular blocks, arbitrary shaped patches or even per pixel. The motion vectors may be represented by a translational model or many other models that can approximate the motion of a real video camera, such as rotation and translation in all three dimensions and zoom.

How you will benefit

(I) Insights, and validations about the following topics:

Chapter 1: Motion_estimation

Chapter 2: Motion_compensation

Chapter 3: Block-matching_algorithm

Chapter 4: H.261

Chapter 5: H.262/MPEG-2_Part_2

Chapter 6: Advanced_Video_Coding

Chapter 7: Global_motion_compensation

Chapter 8: Block-matching_and_3D_filtering

Chapter 9: Video_compression_picture_types

Chapter 10: Video_super-resolution

(II) Answering the public top questions about motion estimation.

(III) Real world examples for the usage of motion estimation in many fields.

Who this book is for

Professionals, undergraduate and graduate students, enthusiasts, hobbyists, and those who want to go beyond basic knowledge or information for any kind of Motion Estimation.

 

 

• Lingua: Italiano
• Editore: Un Miliardo Di Ben Informato [Italian]
• Data di uscita: 12 mag 2024

Anteprima del libro

Capitolo 1: Stima del movimento

La stima della quantità di movimento tra due immagini 2D, in genere da fotogrammi successivi in una sequenza video, è nota come stima del movimento. Il movimento avviene in tre dimensioni, ma le immagini sono proiezioni della scena tridimensionale su un piano bidimensionale, il che rende questo un problema mal posto. La stima del movimento può essere eseguita sull'intera immagine (stima globale del movimento) o su regioni più piccole o singoli pixel. Il modello traslazionale è solo uno dei tanti che possono essere utilizzati per rappresentare i vettori di movimento, che possono includere elementi come la rotazione, la traslazione in tutte e tre le dimensioni e lo zoom avanti e indietro.

La stima del movimento e il flusso ottico sono spesso usati in modo intercambiabile, ma significano la stessa cosa. Anche la registrazione dell'immagine e la corrispondenza stereo sono correlate in questo modo. In realtà, ognuna di queste espressioni descrive un metodo per individuare le caratteristiche corrispondenti in foto fisse o fotogrammi video successivi. I punti in due fotografie (fotogrammi) della stessa scena o oggetto del mondo reale sono tipicamente lo stesso punto nello spazio e nel tempo. La metrica corrispondente, una misura di quanto sono simili due punti dell'immagine, deve essere definita prima di poter iniziare la stima del movimento. Non c'è una risposta universalmente corretta qui; Piuttosto, la metrica di corrispondenza ottimale dipenderà dallo scopo del movimento stimato e dall'approccio di ottimizzazione utilizzato durante la fase di stima.

In base alla posizione dello stesso macroblocco o di un macroblocco comparabile in un'immagine diversa, nota come immagine di riferimento, viene creato un vettore di movimento per rappresentare il macroblocco in questione nell'immagine originale.

Secondo lo standard H.264/MPEG-4 AVC, il vettore di movimento è definito come:

Le coordinate dell'immagine decodificata sono sfalsate rispetto alle coordinate dell'immagine di riferimento tramite un vettore bidimensionale chiamato vettore di movimento, che viene utilizzato per la previsione inter.

Sia l'approccio basato su pixel (diretto) che quello basato su feature (indiretto) possono essere utilizzati per individuare i vettori di movimento (indiretti). Due documenti, uno per ogni lato di una controversia ben nota, sono stati scritti nel tentativo di raggiungere una soluzione.

Algoritmo per l'abbinamento dei blocchi

Tecniche basate sulla correlazione di fase e sul dominio della frequenza

Algoritmi ricorsivi di pixel

Flusso ottico

Le tecniche indirette impiegano funzionalità come il rilevamento degli angoli per trovare corrispondenze in fotogrammi adiacenti, in genere mediante l'applicazione di una funzione statistica su una regione piccola o grande. L'obiettivo della funzione statistica è quello di filtrare le corrispondenze di movimento errate.

RANSAC è un esempio di utile funzione statistica.

Si potrebbe obiettare che la definizione dei criteri di corrispondenza è un passo necessario praticamente in qualsiasi approccio. L'unica vera distinzione è tra il confronto di ogni pixel (come con il quadrato della differenza) e poi il riepilogo su una regione locale dell'immagine (come con gli approcci basati sulle caratteristiche) o viceversa (movimento di base del blocco e movimento basato sul filtro). Un nuovo metodo di corrispondenza dei criteri funziona riassumendo prima un'area locale dell'immagine in ogni posizione del pixel (usando una trasformazione di feature come la trasformazione laplaciana), quindi confrontando i due set di riepiloghi. Mentre alcuni criteri di corrispondenza possono eliminare coppie di elementi di dati che non appartengono realmente insieme pur avendo un punteggio di corrispondenza elevato, altri criteri di corrispondenza non possono.

Nella visione artificiale e nell'elaborazione delle immagini, la stima del movimento affine viene utilizzata per calcolare un'approssimazione approssimativa del movimento relativo di due immagini o fotogrammi. Presuppone che il movimento possa essere rappresentato da una trasformazione lineare seguita da una traslazione e rotazione (trasformazione affine).

La compensazione del movimento è il processo di utilizzo dei vettori di movimento di un'immagine per generare una nuova trasformazione.

La stima e la compensazione del movimento sono componenti essenziali della compressione video perché consentono l'uso della ridondanza temporale. Quasi tutti gli standard di codifica video, incluso il più recente HEVC, utilizzano la stima e la compensazione del movimento basate su blocchi.

La ricostruzione della geometria 3D di una scena a partire da immagini di telecamere in movimento è l'obiettivo della localizzazione e della mappatura simultanee.

{Fine Capitolo 1}

Capitolo 2: Compensazione del movimento

Quando si prevede il fotogramma successivo di un video in base ai fotogrammi precedenti e successivi, la compensazione del movimento è una tecnica algoritmica utilizzata per tenere conto del movimento della fotocamera e/o dell'oggetto. Viene utilizzato per creare file MPEG-2 e altri formati di compressione video attraverso la codifica dei dati video. Utilizzando la trasformazione da un'immagine di riferimento all'immagine corrente, la compensazione del movimento fornisce una descrizione dell'immagine. Il periodo temporale dell'immagine a cui si fa riferimento non è limitato. L'efficienza di compressione è migliorata quando è possibile sintetizzare nuove immagini da quelle vecchie con elevata precisione.

Negli standard di codifica video, la compensazione del movimento e la trasformata discreta del coseno sono le due tecniche di compressione video (DCT) più importanti. La compensazione del movimento a blocchi (BMC) o la codifica ibrida DCT con compensazione del movimento (MC-DCT) è comunemente utilizzata nella maggior parte degli standard di codifica video, come i formati H.26x e MPEG (MC DCT).

La correzione del movimento sfrutta il fatto che la fotocamera o un oggetto nel fotogramma che cambia posizione è spesso l'unica differenza tra i fotogrammi successivi di un filmato. Ciò significa che è molto probabile che i dati utilizzati per rappresentare un fotogramma in un clip video siano identici ai dati utilizzati per rappresentare il fotogramma successivo.

Quando si utilizza la compensazione del movimento, un flusso video avrà alcuni fotogrammi completi (di riferimento) e i fotogrammi rimanenti conterranno solo i dati necessari per trasformarli in uno nell'altro.

Di seguito è riportata una descrizione grafica semplificata del funzionamento della compensazione del movimento. Sono state scattate due fotogrammi consecutivi dal film Elephants Dream. Poiché include meno informazioni, la differenza inferiore (compensata dal movimento) tra due fotogrammi si comprime molto meglio delle altre immagini. Pertanto, i dati necessari per codificare un frame compensato saranno significativamente inferiori a quelli necessari per codificare un frame di differenza. Ciò significa anche che è anche possibile codificare le informazioni utilizzando l'immagine della differenza al costo di una minore efficienza di compressione, ma risparmiando complessità di codifica senza codifica compensata dal movimento; È un dato di fatto che la codifica compensata dal movimento (insieme alla stima del movimento, alla compensazione del movimento) occupa oltre il 90% della complessità della codifica.

Le immagini in MPEG sono anticipate all'indietro rispetto ai fotogrammi precedenti (fotogrammi P) o in avanti rispetto