Big data: come gestirli e con quali strumenti?

Qual è la definizione di Big Data?

Possiamo definire i big data come un insieme di dati talmente grande e complesso che è difficile elaborarlo utilizzando database e tecniche software tradizionali.

Il termine Big non si riferisce solo all’aspetto quantitativo dei dati, ma è legato anche ad altre caratteristiche, definite per la prima volta nel 2001 da Doug Laney (allora vice presidente di Meta Group) come le 3V dei Big Data: Volume, Velocità e Varietà.

VOLUME

I numeri, con il passare degli anni, continuano a essere impressionanti: secondo le più recenti proiezioni di settore, nel corso del 2025 il volume complessivo dei dati generati, acquisiti e replicati a livello globale ha superato i 180 zettabyte, un valore più che raddoppiato rispetto al 2020. A spingere questa crescita non sono più solo social network e dispositivi mobili, ma soprattutto sensori IoT, applicazioni di intelligenza artificiale generativa e infrastrutture cloud, che moltiplicano sia i dati “umani” sia quelli generati da macchina a macchina. Una mole di informazioni che nessuna infrastruttura tradizionale può più gestire con efficienza.

VELOCITÀ

Queste incredibili quantità di dati vengono generate sempre più rapidamente. Ma soprattutto la velocità è quella che le aziende devono sostenere per raccogliere ed analizzare questi dati, in tempo reale, in modo da assecondare o addirittura prevedere le variazioni del mercato. Con la diffusione dell’edge computing e degli use case operativi in tempo reale, la velocità non è più solo una caratteristica dei dati, ma un requisito di business non negoziabile.

VARIETÀ

I dati oggi disponibili lo sono in una grande varietà di formati e provengono da fonti eterogenee. I Big Data infatti hanno a che fare con dati strutturati, non strutturati e semi-strutturati. Vediamoli nel dettaglio.

• Dati strutturati: questo termine è utilizzato per i dati già archiviati in database, nella tradizionale modalità riga/colonna, in maniera ordinata. Rappresenta una minoranza del totale esistente.
• Dati semi-strutturati: informazioni che non sono nel tradizionale formato di database come dati strutturati, ma contengono alcune proprietà organizzative che li rendono più facili da elaborare.
• Dati non strutturati: rappresentano la stragrande maggioranza dei dati generati oggi e non sono disponibili nel formato tipico e più facilmente interrogabile (campi di un database). Parliamo di immagini, video, dati radar, post sui social media, dati dai dispositivi mobili, messaggi di testo, contenuti dei siti web, output di modelli di AI generativa, e così via.

Alle 3V della definizione di Laney se ne aggiungono oggi altre 3: Veridicità, Variabilità e Valore.

VERIDICITÀ

L’affidabilità e l’integrità dei dati sono essenziali per garantire la qualità delle informazioni e delle analisi che si basano su tali dati. Con l’AI generativa che attinge sempre più spesso direttamente dai dati aziendali, la veridicità è diventata una condizione abilitante: un modello alimentato con dati sporchi o inconsistenti produce risposte inaffidabili, indipendentemente da quanto sia sofisticato l’algoritmo.

VARIABILITÀ

Il significato o l’interpretazione di uno stesso dato può variare in funzione del contesto in cui questo viene raccolto ed analizzato.

VALORE

Non possiamo accontentarci di memorizzare i dati con efficacia, dobbiamo anche utilizzarli con la stessa efficacia. Possiamo raccogliere quantità infinite di dati, ma non serviranno a nulla se non li utilizziamo per ricavare informazioni e generare valore. In altre parole, investire risorse solo nella strategia e nelle tecnologie di raccolta e archiviazione e non investire anche nelle corrette tecnologie e strategie di analisi e business intelligence è un errore che rischia di vanificare ogni investimento fatto.

Perché tutte le organizzazioni dovrebbero interessarsi ai Big Data?

Come detto, la raccolta, la gestione e l’analisi dei Big Data comportano problematiche che non possono essere risolte dalle tradizionali infrastrutture hardware e software presenti nella maggior parte delle realtà aziendali. Si tratta quindi di pianificare un investimento significativo, non solo in termini di tecnologie, ma anche in termini di figure e competenze.

E il mercato lo conferma: secondo l’Osservatorio Big Data & Business Analytics del Politecnico di Milano, nel 2025 la spesa delle organizzazioni italiane in infrastrutture, software e servizi legati alla gestione e all’analisi dei dati ha raggiunto 4,1 miliardi di euro, in crescita del 20% rispetto all’anno precedente. A trainare il mercato sono in particolare le componenti di Business Intelligence (+31%) e di soluzioni di intelligenza artificiale (+21%), mentre gli investimenti in Data Management crescono del 13%. Un segnale chiaro: le aziende italiane non stanno solo accumulando dati, stanno finalmente investendo per trasformarli in decisioni.

C’è però un rovescio della medaglia che lo stesso Osservatorio mette in luce: solo il 38% delle grandi aziende italiane ha definito una vera strategia di valorizzazione dei dati e appena una su cinque ha nominato una figura executive dedicata, come un Chief Data Officer. Il mercato cresce, insomma, ma la maturità organizzativa fatica a tenere il passo, soprattutto quando si tratta di rendere i dati davvero pronti per l’intelligenza artificiale.

Un esempio reale di cosa significhi usare bene i big data? Netflix raccoglie i dati sul comportamento degli utenti al fine di capire e anticipare cosa ogni singolo cliente vuole vedere. In base all’analisi consiglia film e programmi che lo spettatore adorerà guardare. Clienti soddisfatti = clienti fidelizzati = azienda di successo, che ha chiuso il 2025 superando i 325 milioni di abbonati a livello globale, confermandosi il punto di riferimento dello streaming mondiale.

Stiamo naturalmente parlando di una multinazionale, ma è chiaro che i risultati ottenuti sono legati alla capacità dell’azienda di cogliere i desideri dei propri clienti e di evolvere costantemente, oggi anche grazie all’intelligenza artificiale applicata ai propri dati.

Nonostante il clamore e questi casi d’uso di successo, restano ancora numerose le realtà aziendali che non hanno colto appieno i problemi e le opportunità rappresentate dalla Big Data Analytics.

In genere le organizzazioni iniziano a rendersi conto della necessità di “ragionare” in termini di Big Data quando i database e le applicazioni esistenti non riescono più a supportare aumenti di volume, varietà e velocità dei dati. Intervenire a posteriori tuttavia può portare a maggiori costi e ad una perdita di produttività e competitività.

In quali campi e settori le aziende traggono vantaggio dai Big Data?

I Big Data hanno centinaia di applicazioni diverse in centinaia di campi differenti.

Nei servizi finanziari e assicurativi vengono usati per studiare il comportamento dei clienti al fine di migliorare l’offerta, prevenire le frodi, potenziare la sicurezza.

Nel settore sanitario vengono usati per ottimizzare le risorse, monitorare gli effetti collaterali dei farmaci, trovare modelli che aiutino a definire trattamenti e procedure con risultati migliori per i pazienti. Quando i dati sui casi di specifiche malattie vengono incrociati con i dati geografici, è possibile prevedere l’intensificarsi di determinate patologie in determinate aree, così da pianificare al meglio la risposta sanitaria.

Nelle vendite online così come nei negozi fisici, i dati sui comportamenti degli utenti incrociati con i dati provenienti dai social media e dai dispositivi mobili, confrontati con dati storici e trend di mercato, consentono alle aziende di prevedere la domanda, ottimizzare l’offerta, migliorare l’esperienza del consumatore con un brand, identificare nuovi mercati e ridurre il time to market.

Gli enti pubblici e le comunità locali possono applicarli per semplificare la gestione e ridurre i costi di attività come la gestione del traffico, la risposta alle emergenze, la prevenzione del crimine, l’ottimizzazione dei servizi al cittadino e la lotta all’evasione fiscale.

Dall’Hadoop al data lakehouse: come si è evoluta l’architettura dei dati

Come anticipato, la principale sfida dei Big Data è sempre stata memorizzare una mole enorme di dati ed elaborarli in tempo utile per trasformarli in informazioni e conoscenza a supporto delle decisioni aziendali.

Sembrerebbe una sfida recente, ma è già dal 2005 che sono comparsi i primi strumenti per la loro gestione, quando le organizzazioni hanno iniziato a rendersi conto dell’impossibilità di gestire con i sistemi tradizionali i dati creati quotidianamente dagli utenti dei vari social network. È in quegli anni che si affermano Hadoop, il framework open source creato per archiviare e analizzare set di Big Data su cluster distribuiti, e i database NoSQL, con i loro modelli di dati flessibili. Sono stati strumenti fondamentali: hanno reso i big data più economici da archiviare e più facili da lavorare, aprendo la strada a tutto ciò che è venuto dopo.

Vent’anni dopo, però, lo scenario tecnologico è profondamente cambiato. Gestire cluster Hadoop on premise, con i relativi costi di infrastruttura, manutenzione e competenze specialistiche, è oggi la scelta di pochissime organizzazioni: la gran parte del mercato si è spostata verso le piattaforme dati in cloud, che promettono scalabilità elastica, separazione tra storage e potenza di calcolo, e un time-to-value molto più rapido.

Il concetto più rilevante di questa evoluzione è il data lakehouse: un’architettura che unisce la flessibilità e il basso costo di storage tipici dei data lake (dove è possibile archiviare dati strutturati, semi-strutturati e non strutturati senza doverli prima modellare) con l’affidabilità, la governance e le performance di query tipiche dei data warehouse. In pratica, un lakehouse permette di avere un’unica fonte di verità su cui far girare tanto la BI tradizionale quanto i carichi di lavoro di data science e machine learning, senza dover duplicare i dati tra sistemi diversi.

A questo si affianca un secondo cambio di paradigma, più organizzativo che tecnologico: il data mesh. Invece di concentrare la responsabilità dei dati in un unico team centrale di data engineering (spesso un collo di bottiglia quando l’azienda cresce), il data mesh distribuisce la proprietà dei dati ai singoli domini di business, che li trattano come veri e propri “data as a product”: dataset documentati, affidabili, con owner chiari e SLA di qualità, pensati per essere consumati facilmente da altri team. È un approccio che richiede maturità organizzativa, ma che risolve alla radice molti dei problemi di silos e duplicazione che affliggono le architetture dati centralizzate.

Un altro fronte in forte crescita è quello dell’edge analytics: con la diffusione di sensori IoT, impianti industriali connessi e dispositivi intelligenti, sempre più elaborazione dei dati avviene direttamente vicino alla fonte, invece che dopo un trasferimento verso un data center centrale o il cloud. Questo riduce la latenza, limita i costi di banda e consente decisioni quasi istantanee in scenari come manutenzione predittiva, controllo qualità in linea o monitoraggio ambientale, riservando al cloud le analisi più profonde e di lungo periodo.

La AI-readiness come nuova priorità

Con la diffusione dell’intelligenza artificiale generativa, alle organizzazioni non basta più “avere i dati”: serve avere dati pronti per l’AI, ovvero ben governati, integrati, accessibili in tempo reale e privi di ambiguità semantiche. È esattamente il tema al centro dell’ultima edizione dell’Osservatorio Polimi: il mercato italiano cresce, ma la vera sfida per molte aziende non è più tecnologica quanto organizzativa, tra architetture dati inadeguate e governance ancora poco strutturata. Un modello dati solido, con lakehouse, cataloghi dati e data quality integrata, è oggi la condizione abilitante perché i progetti di AI generativa producano risultati affidabili invece di amplificare errori esistenti.

È in questo contesto che piattaforme come Snowflake hanno spostato il proprio posizionamento da semplice cloud data warehouse a vera e propria AI Data Cloud: un ambiente unico in cui archiviare, condividere e governare i dati di tutta l’organizzazione, ed eseguire nello stesso luogo carichi di lavoro di BI, data engineering, data science e AI generativa, senza dover spostare i dati tra sistemi diversi e con un modello di governance e sicurezza condiviso.

Gli strumenti per gestire i Big Data oggi

Gli strumenti e le tecnologie coinvolte nella gestione dei Big Data sono numerosi e si suddividono, oggi come ieri, in alcune macro-categorie:

• strumenti per l’acquisizione e l’integrazione dei dati (data ingestion e ELT), che raccolgono dati da fonti eterogenee — CRM, ERP, applicazioni web, sensori IoT, API di terze parti
• strumenti per l’archiviazione e la gestione dei dati: dai database NoSQL come MongoDB, Cassandra e HBase, ai moderni cloud data warehouse e data lakehouse come Snowflake, pensati per scalare storage e calcolo in modo indipendente
• strumenti per la qualità e la governance dei dati, come i data catalog e le soluzioni di data quality e data lineage, sempre più richiesti dalle aziende italiane secondo l’ultima rilevazione dell’Osservatorio Polimi
• strumenti di trasformazione e data engineering, che modellano i dati grezzi in dataset pronti per l’analisi
• strumenti per l’analisi avanzata e il machine learning, che sfruttano l’intelligenza artificiale per individuare pattern, anomalie e previsioni
• strumenti di visualizzazione e reportistica dei dati, come Tableau e Power BI, che restano il punto di contatto finale tra i dati e le persone che devono prendere decisioni

Rispetto a qualche anno fa, la tendenza più marcata è la convergenza: sempre più spesso acquisizione, storage, trasformazione, governance e AI convivono in un’unica piattaforma cloud, riducendo la complessità di integrare decine di strumenti differenti e accelerando il percorso dal dato grezzo all’insight.

I primi passi per implementare una strategia di gestione dei Big Data in azienda

Come scritto, i Big Data aprono nuove opportunità e consentono di sfruttare nuovi modelli di business. Ogni realtà che voglia iniziare a coglierle deve ragionare in maniera strategica su tre processi fondamentali.

Integrazione dei dati

I Big Data riuniscono dati provenienti da molte origini e applicazioni disparate. Quali origini dati utilizzare e integrare nella propria architettura — sia essa un data lake, un data warehouse o un data lakehouse — è una scelta fondamentale che dipende dagli obiettivi aziendali.

Archiviazione e gestione

Lavorare con i Big Data richiede spazio di archiviazione e una chiara strategia di governance. Oggi la scelta è raramente “cloud sì o no”: la maggior parte delle organizzazioni opera in scenari ibridi o multi-cloud grazie a percorsi di cloud migration graduali, e il tema centrale non è più solo dove risiedono i dati, ma quanto sono affidabili, accessibili e ben documentati.

Advanced Analytics e AI

L’investimento nei Big Data è sensato solo se completo: bisogna usare i dati per analizzare l’andamento dell’azienda e del mercato e per prendere decisioni data-driven. Perché questo sia possibile, oggi è necessario appoggiarsi a piattaforme di Visual Analytics che consentano di effettuare analisi visuali in modo semplice e veloce, esplorare i dati a diversi livelli, condividere le analisi con tutti i team aziendali e, sempre più spesso, integrare funzionalità di intelligenza artificiale generativa e agentiva capaci di anticipare domande, generare insight automaticamente e supportare le decisioni in linguaggio naturale.

Quali sono le figure e le competenze per una strategia di gestione dei Big Data?

L’adozione di una strategia di gestione dei big data coinvolge più funzioni di un’organizzazione, non solo una divisione aziendale. Ecco alcune figure specializzate che guidano il cambiamento verso l’azienda data-driven e contribuiscono quotidianamente al lavoro di analisi su cui si baseranno le decisioni di business.

Data scientist

Un data scientist è una figura di elevata professionalità ed esperienza, in grado non solo di analizzare e interpretare i big data in scenari complessi, ma anche di progettare strategie e processi per gestire ed estrarre valore dai dati. Tra le competenze di un data scientist troviamo l’analisi statistica avanzata, una comprensione completa del machine learning e delle reti neurali, e spesso una buona padronanza di linguaggi come Python e R. Solitamente si tratta di una figura senior a capo di un team che comprende uno o più data analyst e un data engineer.

Data analyst

L’analista dei dati è una figura con una forte preparazione in discipline statistiche, in grado di esplorare, analizzare e interpretare i dati allo scopo di far emergere informazioni utili al processo decisionale, sotto forma di report e visualizzazioni ad hoc. Le competenze tecniche di programmazione, pur non essendo sempre essenziali, sono oggi sempre più apprezzate e aprono la strada verso ruoli di data engineer o data scientist.

Data engineer

L’ingegnere dei dati è spesso una figura tecnica a metà strada tra il data analyst e il data scientist. È coinvolto direttamente nella preparazione dei dati per scopi analitici e nello sviluppo e nella gestione dell’architettura dati (data pipeline, lakehouse, data mesh), garantendone accuratezza e affidabilità.

Data product owner e Chief Data Officer

Con la diffusione dei modelli di data mesh, sta emergendo una figura ulteriore: il data product owner, responsabile della qualità e dell’affidabilità di un dataset trattato come un vero prodotto, con utenti interni da soddisfare. A livello più strategico, la crescente centralità dei dati per l’AI sta spingendo sempre più organizzazioni — ancora una minoranza, secondo l’Osservatorio Polimi — a dotarsi di un Chief Data Officer, la figura executive incaricata di guidare la strategia di valorizzazione dei dati a livello aziendale.