BI e Big Data Management

Di Ulrich Hambuch

L'importanza dell'informazione come fattore di produzione è aumentata notevolmente negli ultimi anni. Le aziende si rendono sempre più conto che l'analisi delle informazioni aziendali (business intelligence, big data, data science) può generare vantaggi competitivi decisivi. Inoltre, i requisiti legali, nel contesto dei requisiti di conformità BCBS 239, Basilea II e III, SOX e Solvency II, richiedono una qualità minima dei dati e dei processi nel reporting e nella pianificazione. Lo sviluppo di una gestione dei dati a livello aziendale continua quindi a essere una delle principali sfide che l'IT e il management dovranno affrontare nei prossimi anni. 
Il tema della qualità dei dati è un fattore di successo essenziale per la creazione di un'infrastruttura informativa ottimale. Secondo uno studio condotto nel 2002 dal "The Data Warehousing Institute" (TDWI), i costi della scarsa qualità dei dati negli Stati Uniti ammontano a circa 622 miliardi di dollari. Nel 2006 la società di ricerche di mercato Gartner ha dichiarato: "La scarsa qualità dei dati costa a un'organizzazione tipica il 20% del suo fatturato...". 
In retrospettiva, la crisi finanziaria ed economica globale dal 2007 in poi può essere vista anche come una crisi della qualità dei dati. Nonostante i requisiti di conformità di ampia portata, molte società del settore dei servizi finanziari non erano e non sono tuttora in grado di aggregare e preparare i propri dati sul rischio in modo tempestivo, per poterli gestire in modo adeguato. 
Nell'era dei Big Data, in cui i dati sono intesi come il nuovo petrolio e la quantità di dati disponibili a livello mondiale si moltiplica di anno in anno, i requisiti di trasparenza e qualità dei flussi di dati aumenteranno ancora di più, poiché si suppone che essi costituiscano la base per casi d'uso in parte completamente nuovi (non solo a supporto delle decisioni).
Ma a cosa servono montagne di dati sempre più grandi se la loro qualità e la loro origine non sono garantite e se i costi di sviluppo e operativi per l'archiviazione, l'integrazione e la valutazione dei dati sono correlati alla quantità di dati?
"La qualità dei dati non è tutto, ma senza la qualità dei dati tutto è niente".
I metadati e la loro gestione sono strumenti importanti per garantire un'adeguata qualità dei dati.
L'obiettivo di questo libro è, da un lato, quello di riprendere i termini e le tendenze attuali e di riportare il tema della gestione della qualità dei dati e della gestione integrata dei metadati nella coscienza di project manager, responsabili IT, architetti IT, analisti, sviluppatori e responsabili della gestione aziendale.

• Lingua: Italiano
• Editore: BadPress
• Data di uscita: 21 dic 2022
• ISBN: 9781667447407

Anteprima del libro

BI e Big Data Management

Ulrich Hambuch

––––––––

Traduzione di Nicole Canino 

BI e Big Data Management

Autore Ulrich Hambuch

Copyright © 2022 Ulrich Richard Hambuch

Tutti i diritti riservati

Distribuito da Babelcube, Inc.

www.babelcube.com

Traduzione di Nicole Canino

Babelcube Books e Babelcube sono marchi registrati Babelcube Inc.

Chi considera la fine come ha considerato l’inizio,non rovinerà nulla.

Lao Tse, VI secolo a.C.

Indice dei contenuti

Introduzione Error! Bookmark notdefined.

Business Intelligence eBigData 10

Definizionedeitermini Error! Bookmark not defined.

Importanzadellastrategiacompetitiva26Approcciarchitettonici 32

Analisi, valutazione e presentazionedeidati 50

Qualità dei dati 68

Definizionedeitermini 71Criteridiqualitàdeidati 76

QualitàdeidatinellaBusinessIntelligence 81Quadroorganizzativo  91

Gestione dei metadati 96

Metadati nellaBusinessIntelligence 102

Categoriedimetadati 104

Architetturedigestionedeimetadati 113

Potenzialivantaggidellagestionedeimetadati126Importanzadellagestionedeimetadatiperlaqualitàdeidati  136

Conclusionieprospettive 139

Introduzione

L'importanza dell'informazione come fattore di produzione è aumentata notevolmente negli ultimi decenni. Le aziende si rendono sempre più conto che l'analisi delle proprie informazioni commerciali (business intelligence) può generare vantaggi competitivi decisivi.

Di conseguenza, c'è una crescente ricerca di strategie e tecniche grazie alle quali i dati preziosi per i processi aziendali possono essere resi visibili, disponibili e interpretabili.

Inoltre,irequisitilegali,nelcontestodeirequisitidiconformitàBCBS239,BaselIIeIII,SOXeSolvencyII, richiedonounlivellominimodiqualitàdeidatiedeiprocessinel reporting enellapianificazione.Lacreazionediunagestionedeidatialivelloaziendalesarà,quindi,unadelleprincipalisfidechelatecnologiadell’informazioneeilmanagementdovrannoaffrontareneiprossimianni.

Laquestionedellaqualitàdeidatièunfattoredisuccessoperlacreazionediun'infrastrutturainformativaottimale. Secondounostudiocondottonel2002daTheData WarehousingInstitute(TDWI),icostidellascarsaqualitàdeidatinegliStatiUnitiammontanoacirca622miliardidi dollari.

I metadati svolgono un ruolo essenziale nell'approccio graduale di un'azienda alla gestione standardizzata e integrata dei dati e delle informazioni e ciò rappresenta un prerequisito fondamentale per un'adeguata qualità dei dati.

I metadati servono a descrivere i dati ma non dipendono dalla loro applicazione: conferiscono, quindi, neutralità ai dati. Ciò significa che questi ultimi possono essere integrati e utilizzati anche in altri contesti.

Un gran numero di progetti implementati nell'ambito di sistemiinformatividisupportoalledecisioni,odisistemidi business intelligence (BI) o di iniziative di big data, falliscono a causa della scarsa qualità dei dati. Le conseguenze delle carenze nella qualità dei dati variano dalle spese successive per la pulizia dei dati, alla riduzione dell’accettazione del sistema di BI, fino a decisioni non ottimali e al supporto insufficiente dei processi aziendali operativi.

Nel2006lasocietàdiricerchedimercatoGartnerhadichiaratochelascarsaqualitàdeidaticostaa un'organizzazioneil20%delsuofatturato....Unostudiodel2011dellasocietàdiricercaBARCdiWürzburgharilevatocheunascarsaqualitàdeidatihaunimpattonegativoindiversimodi.Adesempio,idipendentisonoinsoddisfattisedevonodedicaremoltotempoaunapuliziadeidatinon necessaria.Il61%degliintervistatihasegnalatoancheunaumentodeicostidovutoallascarsaqualitàdeidati.Il47% haregistratouncalodellasoddisfazionedeiclienti.

Aposteriori,lacrisifinanziariaedeconomicachenel2007hainteressatotuttoilmondopuòesserevistaanchecome unacrisidovutaallascarsaqualitàdeidati.Nonostantei requisitidiconformitàdivastaportata,permoltesocietàdelsettoredeiservizifinanziarinoneraenonèancorapossibileaggregareedelaborareinmodotempestivoipropridatidirischioinmanierataledapoterlicontrollare

adeguatamente. Oltre a fattori quali la comprensione omogenea dei termini, un’architettura di processo modernizzata e la data governance, anche la gestione dei metadati il più possibile integrata svolge un ruolo decisivo per una gestione dei dati efficiente e affidabile.

Nell'era dei Big Data, in cui i dati sono considerati come il nuovo petrolio e la quantità di dati disponibili nel mondo si moltiplica di anno in anno, i requisiti di trasparenza e qualità dei flussi di dati aumenteranno ulteriormente, poiché devono costituire la base per casi d'uso in parte completamente nuovi (non solo a supporto delle decisioni).

Figura 1: Prospetto del volume di dati digitali generati annualmente nel mondo dal 2005 al 2020 (in exabyte), Fonte: studio Digital Universe.

I metadati e la gestione dei metadati rappresentano strumenti importanti per un'adeguata qualità dei dati. I metadati possono essere approssimativamente suddivisi in due categorie:

––––––––

––––––––

Tabella 1: Categorie di metadati

––––––––

L'astrazione dei dati, ovvero la generazione e l'utilizzo di metadati adeguati, potrebbe essere un mezzo idoneo per controllare le crescenti montagne di dati. Tuttavia, le aziende e le istituzioni governative spesso non investono in progetti e infrastrutture utili ad una gestione efficace dei dati, ma rivolgono la loro l'attenzione principalmente alla quantità di dati e alle relative applicazioni aziendali, in particolare al potenziale di razionalizzazione e all’aumento dell'efficienza dei processi aziendali.

Maacheservonomontagnesemprepiùaltedidatiselaloro qualità e la loro origine non sono garantite e se i costi di sviluppo e di gestione per l’archiviazione, l’integrazione e la valutazione sono correlati alla quantità di quegli stessidati?

Figura 2: Interesse globale per il termine di ricerca big data da aprile 2007 ad aprile 2017, Fonte: Google Trends

Dopo il clamore iniziale dei big data e la successiva disillusione,èseguital'eradelladataqualityodeitrusted data.

Figura 3: Interesse mondiale per il termine di ricerca data quality da aprile 2007 ad aprile 2017, Fonte: Google Trends

Attualmente, tuttavia, questa tendenza non è ancora evidente. Forse il mondo deve ancora rendersi conto che le

nuove tecnologie e più dati da soli non portano valore aggiunto e che il principio GIGO (Garbage In, Garbage Out) resta valido anche in questo caso. Oppure, forse, è necessariaun'altracrisifinanziariaglobaleperpotertornare ad occuparci dei valoriessenziali.

L'obiettivo di questo libro è quello di discutere i termini e le tendenze attuali e di riportare il tema della gestione della qualità dei dati e della gestione integrata dei metadati nella coscienza di project manager, IT manager, architetti IT, analisti,sviluppatorieresponsabilidellagestioneaziendale.

––––––––

Troisdorf,aprile2017 UlrichHambuch

UNO

Business Intelligence e Big Data

La storia del supporto gestionale basato sulla tecnologia dell’informazione risale agli anni '60 del secolo scorso. Con l'inizio dell'utilizzo a livello commerciale dell'elaborazione