Deduplicazione dei dati

Definizione di deduplicazione dei dati

La deduplicazione dei dati, detta anche “dedup”, elimina le informazioni duplicate o ridondanti in un insieme di dati. In breve, il dedup è un processo che garantisce l’esistenza di una sola copia dei dati in un particolare set di dati o blocco.

Il processo migliora la capacità di archiviazione e ottimizza le ridondanze senza compromettere la fedeltà o l’integrità dei dati. I riferimenti o i puntatori all’unica copia salvata sostituiscono le informazioni ridondanti eliminate. Molto spesso, la deduplicazione dei dati è abbinata alla compressione dei dati per ottenere un risparmio di spazio di archiviazione ancora maggiore.

Esistono due modi per classificare la deduplicazione in base al luogo in cui avviene. Il primo è la deduplicazione sul lato sorgente, che indica che la deduplicazione avviene presso la sorgente da cui provengono i dati. Il secondo è la deduplicazione sul lato di destinazione, che implica che la deduplicazione avvenga sullo storage di destinazione in cui vengono archiviate le informazioni.

Che cos’è la deduplicazione dei dati?

La deduplicazione dei dati è il processo di rimozione delle copie duplicate dei set di dati per ottimizzare le risorse di archiviazione e migliorarne le prestazioni. Eliminando le informazioni ridondanti, il sistema libera spazio di archiviazione e riduce le dimensioni dei set di dati. Queste modifiche riducono i costi di archiviazione e migliorano le prestazioni delle applicazioni, che possono così eseguire attività utilizzando insiemi di dati più piccoli.

La deduplicazione dei dati ha senso solo se applicata ad archivi secondari contenenti dati di backup. Gli archivi secondari utilizzati per il backup dei dati tendono ad avere tassi di duplicazione più elevati, il che rende necessaria la deduplicazione. D’altra parte, l’archiviazione primaria utilizzata negli ambienti di produzione dà priorità alle prestazioni rispetto ad altri fattori e potrebbe scegliere di non utilizzare la deduplicazione.

Quando si implementa la deduplicazione, è importante tenere presente che alcuni database relazionali, come Oracle e Microsoft SQL, non traggono vantaggio dalla deduplicazione. Tali database spesso conservano una chiave univoca per ogni record, impedendo ai motori di deduplicazione di riconoscere i record duplicati come tali.

Vediamo un esempio comune.

L’amministratore delegato dell’azienda invia un’e-mail a tutti i 100 dipendenti con in allegato un organigramma aggiornato. Tutti i 100 dipendenti ricevono lo stesso file e lo salvano sul proprio desktop per poterlo consultare in seguito. Quando il backup viene eseguito più tardi quella notte, salva tutte le 100 copie di quel file, ma grazie alla deduplicazione viene salvato solo 1 file effettivo, con 99 riferimenti o puntatori all’originale.

In questo esempio, abbiamo osservato un rapporto di deduplicazione di 100 a 1. Se abbinata alla compressione dei dati, solo le istanze salvate dei dati vengono compresse per migliorare ulteriormente la capacità di archiviazione grazie a una codifica efficiente dei dati.

Che cos’è il processo di deduplicazione dei dati e come funziona?

La deduplicazione comporta l’analisi dei dati per identificare i blocchi di dati univoci prima di archiviarli. Quando si riscontrano duplicati di un singolo blocco di dati, le istanze ridondanti vengono eliminate e sostituite con riferimenti, o puntatori, ai dati univoci già salvati. L’agente che esegue la deduplicazione assegna un numero identificativo univoco a ciascun blocco di dati archiviato.

Quando, durante la verifica dei numeri identificativi univoci, vengono individuati dati duplicati, le informazioni ridondanti appena individuate vengono rimosse. Nell’ambito del processo di deduplicazione, i blocchi o i segmenti di dati vengono confrontati tramite la scansione dei numeri identificativi univoci assegnati ai dati archiviati. Quando viene individuato un numero identificativo duplicato, il nuovo segmento di dati con quel numero identificativo duplicato viene considerato una copia ridondante e cancellato. L’agente di deduplicazione presume che i numeri univoci duplicati indichino un blocco di dati ridondante.

La deduplicazione dei dati può essere eseguita sia in linea, mentre i dati sono in transito, sia in “post-elaborazione”, dopo che le informazioni sono già state scritte sui dispositivi di archiviazione.

La deduplicazione dei dati viene eseguita in background e segue politiche di ottimizzazione prestabilite per identificare i file che richiedono un intervento. L’agente di deduplicazione suddivide quindi i file di destinazione in blocchi di dati di dimensioni variabili, identifica quelli univoci e li archivia assegnando loro numeri identificativi univoci. Nell’ambito del processo di deduplicazione, i blocchi di dati duplicati vengono rimossi e sostituiti con riferimenti identici ai dati già salvati. Successivamente, l’agente di deduplicazione ricostituisce il flusso di file originale con i file appena ottimizzati.

Come osservato in precedenza nell’esempio dell’e-mail, non è raro (con determinati tipi di dati) che i rapporti di deduplicazione raggiungano valori fino a 90:1, il che aumenta i vantaggi della deduplicazione. Si ottengono ulteriori efficienze di archiviazione abbinando la deduplicazione alla compressione dei dati, che riduce ulteriormente le dimensioni dei dati archiviati e il loro ingombro di archiviazione.

La deduplicazione dei dati è un concetto semplice che contribuisce in modo significativo alla riduzione delle risorse di archiviazione e dei costi ad esse associati. Se abbinata alla compressione dei dati, i risparmi aumentano e le prestazioni dei dispositivi di archiviazione e delle applicazioni migliorano.

Perché la deduplicazione dei dati è importante?

La crescita esponenziale e incontrollata dei dati, unita alla riduzione delle finestre di backup, agli SLA sulla conservazione dei dati e ai requisiti normativi, mette a dura prova le risorse IT e la crescita aziendale. La tecnologia di deduplicazione dei dati riduce i requisiti di capacità fisica dei dischi, soddisfacendo al contempo i requisiti di conservazione dei dati.

La quantità di dati generati quotidianamente è sbalorditiva e tutti devono essere ottimizzati per un migliore utilizzo della capacità di archiviazione e protetti dalla perdita. In media, nel 2020, gli esseri umani hanno generato 1,7 MB di dati ogni secondo per ogni persona sulla Terra^.¹ Si stima che entro il 2025 verranno creati 463 exabyte di dati ogni giorno^.²

Purtroppo, la maggior parte dei dati archiviati è costituita da duplicati che aumentano i costi di archiviazione dei clienti e riducono le prestazioni e l’utilizzo dei sistemi cloud. Ad esempio, la condivisione di file da parte degli utenti genera numerose copie duplicate dello stesso file. Negli ambienti virtualizzati, i sistemi operativi guest possono essere quasi identici su diverse macchine virtuali (VM). Anche le istantanee di backup possono presentare lievi differenze da un giorno all’altro. La deduplicazione elimina queste inefficienze dai sistemi di archiviazione.

Secondo le stime di Microsoft, le librerie di archiviazione possono registrare un risparmio di spazio tipico fino al 50%, mentre quelle di virtualizzazione potrebbero arrivare fino al 95%.^³ I risparmi variano a seconda dei set di dati.

Vantaggi della deduplicazione dei dati

Le applicazioni e i dati che generano sono i motori dell’analisi aziendale e il fattore determinante per una crescita di successo. La gestione della crescita dei dati e i vantaggi della deduplicazione non si limitano ai sistemi di archiviazione, ma si estendono all’intera infrastruttura IT e alle prestazioni delle applicazioni. Un ingombro di archiviazione ridotto, ottenuto grazie alla deduplicazione e alla compressione, abbassa i costi di archiviazione, riduce la pressione sulla rete e i vincoli sulla larghezza di banda. Migliora inoltre le prestazioni delle applicazioni sugli endpoint, contribuendo ad aumentare la produttività dei lavoratori remoti.

Le soluzioni di deduplicazione dei dati offrono significativi vantaggi aziendali che vanno oltre le aree direttamente correlate ai dispositivi di archiviazione:

• Costi inferiori. Una minore capacità di archiviazione si traduce in spese ridotte che si ripercuotono sull’intero funzionamento IT. Meno infrastruttura da gestire significa meno risorse amministrative e di gestione, nonché costi complessivi inferiori da parte dei fornitori di servizi cloud per il trasferimento dei dati e il traffico di rete. I risparmi relativi all’archiviazione on-premise includono il Capex per i dispositivi di archiviazione e lo spazio che occupano, insieme ai sistemi di raffreddamento. I risparmi includono anche l’Opex per la gestione dell’archiviazione, il raffreddamento e altre utenze, compresa l’energia elettrica.
• Maggiore durata di conservazione dei dati. Grazie alla deduplicazione dei dati, le aziende hanno la possibilità di conservare set di dati più piccoli per periodi più lunghi e di soddisfare requisiti di conservazione più rigorosi.
• Prestazioni complessive più elevate. Poiché i fornitori di servizi cloud basano gran parte dei propri costi sul trasferimento dei dati, è logico che i clienti ottimizzino i propri set di dati. Un traffico dati ridotto tra le sedi cloud riduce i costi sostenuti e libera larghezza di banda di rete per un maggior numero di utenti e una fornitura più rapida dei servizi. Si consiglia alle aziende di deduplicare i propri dati prima di inviarli al cloud. È inoltre consigliabile deduplicare i dati archiviati nel cloud.

Casi d’uso comuni della deduplicazione dei dati

Le organizzazioni di tutte le dimensioni necessitano della deduplicazione per questi casi d’uso quotidiani:

• Macchine virtuali. Le macchine virtuali con distribuzioni di applicazioni generano guest duplicati e dati associati. La deduplicazione può aiutare le macchine virtuali a funzionare in modo più efficiente.
• Punto finale Gli endpoint client, inclusi desktop e laptop, sono soggetti alla creazione di dati duplicati che richiedono una deduplicazione regolare per garantire prestazioni migliori e operazioni di backup più efficienti.
• Archiviazione cloud. Poiché sempre più dati vengono trasferiti nel cloud, la deduplicazione offre enormi vantaggi in questo contesto, poiché l’accumulo di dati può risultare più costoso rispetto all’archiviazione in loco, se non viene controllato. Alcuni clienti potrebbero trovare utile applicare la deduplicazione ai propri dati prima di inviarli nel cloud per la conservazione a lungo termine, al fine di ridurre i costi. In generale, la riduzione delle dimensioni del set di dati abbassa i costi e migliora le prestazioni della rete.

Commvault offre la deduplicazione dei dati?

Sì, Commvault offre la deduplicazione di livello enterprise nel proprio portafoglio di soluzioni per la protezione dei dati. Grazie alle nostre sofisticate funzionalità di deduplicazione, i clienti beneficiano di prestazioni elevate, ottimizzazione dello storage e risparmi sui costi. Richiedi oggi stesso una demo per scoprire come questa soluzione potrebbe aiutare la tua organizzazione!

Fonti

1. Domo.com 2020. “Data Never Sleeps 6.0.”
2. Raconteur. Infografica “Data in a Day”.
3. Microsoft 2021. “Why is Data Deduplication useful?”
4. WinPure, gennaio 2021. “Vantaggi della deduplicazione dei dati: migliora il ROI della tua azienda.”