Compressione dati: Sbloccare l'efficienza nella visione artificiale con la compressione dei dati

Di Fouad Sabry

Che cos'è la compressione dei dati

Nella teoria dell'informazione, la compressione dei dati, la codifica della sorgente o la riduzione della velocità in bit è il processo di codifica delle informazioni utilizzando meno bit rispetto alla rappresentazione originale. Qualsiasi compressione particolare è con perdita o senza perdita. La compressione senza perdite riduce i bit identificando ed eliminando la ridondanza statistica. Nessuna informazione viene persa nella compressione senza perdita di dati. La compressione con perdita riduce i bit rimuovendo informazioni non necessarie o meno importanti. In genere, un dispositivo che esegue la compressione dei dati viene definito codificatore e uno che esegue l'inversione del processo (decompressione) come decodificatore.

Come trarrai vantaggio

(I) Approfondimenti e convalide sui seguenti argomenti:

Capitolo 1: Compressione dei dati

Capitolo 2: Formato file audio

Capitolo 3: Codec

Capitolo 4: JPEG

Capitolo 5: Compressione con perdita

Capitolo 6: Compressione senza perdita

Capitolo 7: Immagine compressione

Capitolo 8: Codifica tramite trasformazione

Capitolo 9: Codec video

Capitolo 10: Trasformata coseno discreta

(II) Rispondere alla domande principali del pubblico sulla compressione dei dati.

(III) Esempi reali dell'utilizzo della compressione dei dati in molti campi.

A chi è rivolto questo libro

Professionisti, studenti universitari e laureati, appassionati, hobbisti e coloro che desiderano andare oltre le conoscenze o le informazioni di base per qualsiasi tipo di compressione dei dati.

 

 

• Lingua: Italiano
• Editore: Un Miliardo Di Ben Informato [Italian]
• Data di uscita: 5 mag 2024

Anteprima del libro

Capitolo 1: Compressione dei dati

Nella teoria dell'informazione, nella compressione dei dati, nella codifica della sorgente e in altri campi correlati: nel linguaggio comune, un dispositivo che si impegna nel processo di compressione dei dati è noto come codificatore, mentre un dispositivo che si impegna nell'inverso del processo, cioè la decompressione, è noto come decodificatore.

La compressione dei dati è il processo di riduzione delle dimensioni di un file di dati ed è un termine che viene utilizzato piuttosto spesso. La codifica di origine è un processo di codifica che avviene nell'origine dati originale, prima che i dati vengano archiviati o trasferiti. Questo processo viene definito nell'ambito della trasmissione dei dati. È importante non confondere la codifica sorgente con altri tipi di codifica, come la codifica dei canali, che viene utilizzata per il rilevamento e la correzione degli errori, o la codifica a linee, che è un metodo per mappare i dati su un segnale.

La compressione dei dati è vantaggiosa poiché riduce la quantità di spazio e larghezza di banda necessaria per archiviare e trasferire le informazioni. Le procedure di compressione e decompressione richiedono entrambe una quantità significativa di risorse computazionali. Il compromesso tra complessità spazio-temporale è qualcosa che deve essere considerato quando si comprimono i dati. Ad esempio, un metodo di compressione video potrebbe richiedere hardware costoso per consentire al video di essere decompresso abbastanza rapidamente da poter essere guardato durante la decompressione. Inoltre, l'opzione per decomprimere completamente il video prima di guardarlo potrebbe essere scomoda o richiedere spazio di archiviazione aggiuntivo. Quando si progettano schemi di compressione dei dati, i progettisti devono trovare un compromesso tra una serie di fattori diversi. Questi fattori includono il livello di compressione raggiunto, la quantità di distorsione introdotta (quando si utilizza la compressione dei dati con perdita di dati) e la quantità di risorse computazionali necessarie per comprimere e decomprimere i dati.

Al fine di rappresentare i dati senza perdere alcuna informazione nel processo, i metodi di compressione dei dati senza perdita di dati spesso utilizzano la ridondanza statistica. In questo modo si garantisce che il processo possa essere invertito. Poiché la stragrande maggioranza dei dati nel mondo reale ha una ridondanza statistica, la compressione senza perdita di dati è fattibile. Ad esempio, un'immagine può includere macchie di colore che non cambiano nel corso di più pixel; In questo caso, i dati possono essere registrati come 279 pixel rossi piuttosto che come la notazione tradizionale di pixel rosso, pixel rosso,... Questo è un esempio fondamentale della codifica run-length; Esistono molti altri metodi per ridurre le dimensioni di un file rimuovendo le informazioni ridondanti.

Le tecniche di compressione come Lempel-Ziv (LZ) sono oggi tra gli algoritmi più utilizzati per l'archiviazione dei dati senza perdita di dati. Le voci di tabella vengono sostituite per le stringhe ripetute di dati nella tecnica di compressione LZ, che è un modello di compressione basato su tabelle. Questa tabella viene creata dinamicamente per la maggior parte degli algoritmi LZ utilizzando i dati delle fasi precedenti dell'input. Nella maggior parte dei casi, la tabella stessa è codificata da Huffman. I codici basati sulla grammatica come questo sono in grado di comprimere con successo input sostanzialmente ripetitivi, come una raccolta di dati biologici della stessa specie o quasi imparentata, una massiccia raccolta di documenti versionati, archivi Internet e così via. Costruire una grammatica libera dal contesto che derivi una singola stringa è l'impresa fondamentale dei sistemi di codifica basati sulla grammatica. Sequitur e Re-Pair sono altre due tecniche per comprimere la grammatica che hanno applicazioni pratiche.

I modelli probabilistici, come la predizione per corrispondenza parziale, sono utilizzati nei più potenti compressori lossless sviluppati negli ultimi tempi. La modellazione statistica indiretta è un altro modo di pensare alla trasformata di Burrows-Wheeler, che si può anche prendere in considerazione.

Più o meno nello stesso periodo in cui le foto digitali si stavano diffondendo alla fine degli anni '80, sono stati sviluppati i primi standard per la compressione delle immagini senza perdita di dati. All'inizio degli anni '90, le tecniche di compressione lossy hanno iniziato a diventare più comuni. Queste distinzioni percettive sono utilizzate da una varietà di formati di compressione ben noti, come la psicoacustica e la psicovisiva, rispettivamente, per la compressione di suoni e immagini e video.

La codifica delle trasformate è alla base della maggior parte dei metodi di compressione con perdita di dati, in particolare la trasformata del coseno discreto (DCT). È stato ideato per la prima volta da Nasir Ahmed nel 1972 e ha continuato a costruire un algoritmo funzionante con l'assistenza di T. Natarajan e K. R. Rao nel 1973. Nasir Ahmed presentò l'idea per la prima volta nel gennaio 1974. audio e video (in formati come MPEG, AVC e HEVC) (come MP3, AAC e Vorbis).

Al fine di migliorare le capacità di archiviazione, le fotocamere digitali utilizzano un tipo di compressione dell'immagine nota come lossy. DVD, Blu-ray e video in streaming sono tutti esempi di formati video che utilizzano la codifica video con perdita di dati. La compressione lossy è ampiamente utilizzata nell'industria video.

Nel processo di compressione audio lossy, vengono utilizzate tecniche nel campo della psicoacustica per rimuovere il segnale audio dai componenti che sono inudibili o udibili in misura minore. La codifica vocale è considerata un campo diverso dalla compressione audio generica poiché la compressione del linguaggio umano spesso richiede l'uso di metodi ancora più specializzati. Ad esempio, la codifica vocale viene utilizzata nella telefonia via Internet. La compressione audio viene utilizzata per il ripping di CD e i lettori audio sono responsabili della decodifica dei file compressi.

La compressione con perdita di dati può causare la perdita di generazione.

La teoria dell'informazione e, più specificamente, il teorema della codifica sorgente di Shannon fungono da fondamento teorico per la compressione; Le teorie specifiche del dominio includono la teoria dell'informazione algoritmica per la compressione senza perdita di dati e la teoria della distorsione di velocità per la compressione con perdita di dati. Claude Shannon è per lo più accreditato con l'inizio di questi sottocampi di ricerca quando ha pubblicato una serie di articoli seminali sull'argomento durante la seconda metà degli anni '40 e l'inizio degli anni '50. La teoria della codifica e l'inferenza statistica sono due argomenti correlati ma distinti che riguardano anche la compressione.

I concetti di apprendimento automatico e compressione sono strettamente correlati tra loro. Al fine di ottenere il più alto livello possibile di compressione dei dati, è ideale un sistema in grado di prevedere la probabilità a posteriori di una sequenza alla luce della sua storia completa (utilizzando la codifica aritmetica sulla distribuzione di output). D'altra parte, un compressore perfetto può essere utilizzato a scopo predittivo (trovando il simbolo che comprime meglio, data la storia precedente). Questa comparabilità è stata usata come argomento per l'utilizzo della compressione dei dati come standard per l'intelligenza universale.

Secondo la teoria AIXI, che è una relazione che è più chiaramente enunciata in Hutter Prize, il più piccolo software possibile che crea x è la più grande compressione possibile di x che sia concepibile. Ad esempio, secondo tale modello, la dimensione compressa di un file zip tiene conto sia del file zip che del software necessario per decomprimerlo, dato che non è possibile decomprimerlo senza entrambi, anche se può esistere una forma combinata ancora più compatta.

Software come VP9, NVIDIA Maxine, AIVC e AccMPEG sono tutti esempi di programmi di compressione audio e video guidati dall'intelligenza artificiale.

Il processo di compressione dei dati può essere considerato come un sottoinsieme del processo di differenziazione dei dati. L'applicazione di patch ai dati è il processo di ricreazione della destinazione in base a un'origine e a una differenza, mentre la differenza dei dati è il processo di creazione di una differenza tra un'origine e una destinazione in base alla differenza. Poiché non esiste un'origine e una destinazione distinte nella compressione dei dati, si può pensare che i dati differiscano dai dati di origine vuoti. Ciò significa che il file compresso equivale a una differenza rispetto al nulla. Questo equivale a considerare l'entropia relativa, che corrisponde alla differenziazione dei dati, come un caso particolare di entropia assoluta, che corrisponde alla compressione dei dati, ma senza dati iniziali.

La relazione di differenziazione dei dati è enfatizzata dall'uso della frase compressione differenziale.

L'algoritmo di codifica Shannon-Fano è stato il precursore della codifica entropica, sviluppata negli anni '1940, La compressione dei dati audio, da non confondere con la compressione della gamma dinamica, ha la capacità di ridurre la larghezza di banda richiesta per la trasmissione dei dati audio e le esigenze di archiviazione dei dati audio. I metodi di compressione audio sono spesso indicati come codec audio quando vengono implementati nel software. È possibile ridurre la quantità di informazioni ridondanti sia nella compressione lossy che in quella lossless impiegando tecniche come la codifica, la quantizzazione, la DCT e la previsione lineare. Queste tecniche hanno lo scopo di ridurre la quantità di informazioni necessarie per rappresentare in modo accurato i dati originali non compressi.

Molti programmi audio diversi, come MP3 e Vorbis, utilizzano metodi di compressione audio lossy poiché forniscono una maggiore compressione e una migliore qualità. Questi algoritmi dipendono quasi interamente dalla psicoacustica per eliminare o ridurre la fedeltà dei suoni meno udibili, il