Deduplicazione dei dati

Definizione di deduplicazione dei dati

Data deduplication, also called “dedup”, eliminates duplicate or redundant information in a dataset. In short, dedup is a process that ensures only one copy of data exists in a particular dataset or block.

Questo processo migliora la capacità di archiviazione e ottimizza le ridondanze senza compromettere la fedeltà o l’integrità dei dati. I riferimenti o i puntatori alla singola copia salvata sostituiscono le informazioni ridondanti eliminate. Molto spesso, la deduplicazione dei dati viene abbinata alla compressione dei dati per ottenere un risparmio di spazio di archiviazione ancora maggiore.

Esistono due modi per classificare la deduplicazione in base al luogo in cui avviene. Il primo è la deduplicazione lato sorgente, che indica che la deduplicazione avviene presso la sorgente, ovvero dove hanno origine i dati. Il secondo è la deduplicazione lato destinazione, che indica che la deduplicazione avviene sullo storage di destinazione, ovvero dove vengono archiviate le informazioni.

Che cos’è la deduplicazione dei dati?

La deduplicazione dei dati è il processo che consiste nel rimuovere le copie duplicate dei set di dati per ottimizzare le risorse di archiviazione e migliorarne le prestazioni. Eliminando le informazioni ridondanti, il sistema libera spazio di archiviazione e riduce le dimensioni dei set di dati. Queste modifiche riducono i costi di archiviazione e migliorano le prestazioni delle applicazioni che possono eseguire operazioni utilizzando insiemi di dati più piccoli.

La deduplicazione dei dati ha senso solo se applicata alle aree di archiviazione secondarie contenenti i dati di backup. Gli archivi secondari utilizzati per il backup dei dati tendono ad avere tassi di duplicazione più elevati, il che rende necessaria la deduplicazione. D’altra parte, l’archiviazione primaria utilizzata negli ambienti di produzione privilegia le prestazioni rispetto ad altri fattori e potrebbe quindi scegliere di non ricorrere alla deduplicazione.

Quando si implementa la deduplicazione, è importante tenere presente che alcuni database relazionali, come Oracle e Microsoft SQL, non traggono vantaggio dalla deduplicazione. Tali database conservano spesso una chiave univoca per ogni record, impedendo ai motori di deduplicazione di riconoscere i record duplicati come tali.

Prendiamo in esame un esempio comune.

The CEO of the company sends an email to all 100 employees with an updated organization chart as an attachment.  All 100 employees receive the same file and save it to their desktop so they can refer to it later.  When the backup runs later that night it saves all 100 copies of that file, but because of deduplication only 1 actual file is saved, with 99 references or pointers to the original.

In questo esempio abbiamo osservato un rapporto di deduplicazione di 100 a 1. Se abbinata alla compressione dei dati, solo le istanze salvate dei dati vengono compresse, consentendo di aumentare ulteriormente la capacità di archiviazione grazie a una codifica efficiente dei dati.

Che cos’è il processo di deduplicazione dei dati e come funziona?

La deduplicazione consiste nell’analizzare i dati per identificare i blocchi univoci prima di memorizzarli. Quando vengono individuati duplicati di un singolo blocco di dati, i pattern ridondanti vengono eliminati e sostituiti con riferimenti, o puntatori, ai dati univoci già salvati. L’agente che esegue la deduplicazione assegna un numero identificativo univoco a ciascun blocco di dati memorizzato.

Quando, durante la verifica dei numeri identificativi univoci, vengono rilevati dati duplicati, le informazioni ridondanti appena individuate vengono rimosse. Nell’ambito del processo di deduplicazione, i blocchi o i segmenti di dati vengono confrontati mediante la scansione dei numeri identificativi univoci assegnati ai dati archiviati. Quando viene individuato un numero identificativo duplicato, il nuovo segmento di dati con quel numero identificativo duplicato viene considerato una copia ridondante e cancellato. L’agente di deduplicazione presume che numeri univoci duplicati indichino la presenza di un blocco di dati ridondante.

Data deduplication can be performed either in-line as the data is flowing or “post-process” after the information has already been written to storage devices.

La deduplicazione dei dati viene eseguita in background e segue le politiche di ottimizzazione prestabilite per identificare i file che richiedono un intervento. L’agente di deduplicazione suddivide quindi i file di destinazione in blocchi di dati variabili, identifica quelli univoci e li archivia assegnando loro numeri identificativi univoci. Nell’ambito del processo di deduplicazione, i blocchi di dati duplicati vengono rimossi e sostituiti con riferimenti identici ai dati già salvati. Successivamente, l’agente di deduplicazione ricostituisce il flusso di file originale con i file appena ottimizzati.

Come già sottolineato nell’esempio dell’e-mail, non è raro (con determinati tipi di dati) che i rapporti di deduplicazione raggiungano valori pari a 90:1, il che aumenta i vantaggi della deduplicazione. È possibile ottenere un’ulteriore efficienza nello spazio di archiviazione abbinando la deduplicazione alla compressione dei dati, che riduce ulteriormente le dimensioni dei dati archiviati e il loro ingombro di archiviazione.

Data deduplication is a simple concept that contributes dramatically to reducing storage resources and the costs associated with them. When coupled with data compression, the savings increase, and the storage devices’ performance and applications improve.

Perché la deduplicazione dei dati è importante?

La crescita esponenziale e incontrollata dei dati, unita alla riduzione delle finestre di backup, agli SLA relativi alla conservazione dei dati e ai requisiti normativi, mette a dura prova le risorse IT e la crescita aziendale. La tecnologia di deduplicazione dei dati riduce i requisiti di capacità dei dischi fisici, garantendo al contempo il rispetto dei requisiti di conservazione dei dati.

The amount of data created daily is staggering, and all of it must be optimized for better utilization of storage capacity and protected against loss. On average, in 2020, humans generated 1.7MB of data every second for every person on earth.¹ By 2025, it is estimated that 463 exabytes of data will be created each day.²

Unfortunately, most of the stored data are duplicates that increase customers’ storage costs and lower cloud systems’ performance and utilization. For example, users’ file sharing results in many duplicate copies of the same file. In virtualized environments, guest operating systems may be almost identical to several of the virtual machines (VMs). Even backup snapshots may have minor differences from one day to another. Deduplication removes these inefficiencies from storage systems.

According to Microsoft’s estimate, virtualization libraries may see typical space-saving up to 50%, while virtualization libraries might realize up to 95% space savings.³ The savings vary depending on datasets.

Vantaggi della deduplicazione dei dati

Applications and the data they generate are the drivers of business analytics and the determining factor for successful growth. Managing data growth and deduplication benefits are not limited to storage systems but extend to the entire IT infrastructure and application performance. A smaller storage footprint produced by dedup and compression lowers storage costs, reduces pressure on networking and constraints on bandwidth. It also improves the performance of applications at endpoints, which contributes to enhancing remote workers’ productivity.

Le soluzioni di deduplicazione dei dati offrono notevoli vantaggi aziendali che vanno oltre gli ambiti direttamente correlati ai dispositivi di archiviazione:

• Costi inferiori. Una capacità di archiviazione ridotta si traduce in spese inferiori che si ripercuotono sull’intero settore IT. Meno infrastruttura da gestire significa meno risorse amministrative e di gestione, nonché costi complessivi inferiori da parte dei fornitori di servizi cloud per il trasferimento dei dati e il traffico di rete. I risparmi relativi all’archiviazione in loco includono le spese in conto capitale (Capex) per i dispositivi di archiviazione e lo spazio che occupano, oltre ai sistemi di raffreddamento. I risparmi includono anche le spese operative (Opex) per la gestione dell’archiviazione, il raffreddamento e altre utenze, compresa l’energia elettrica.
• Conservazione dei dati più a lungo. Grazie alla deduplicazione dei dati, le aziende hanno la possibilità di conservare i set di dati più piccoli per periodi più lunghi e di soddisfare requisiti di conservazione più rigorosi.
• Migliori prestazioni complessive. Poiché i fornitori di servizi cloud basano gran parte dei propri costi sul trasferimento dei dati, è opportuno che i clienti ottimizzino i propri set di dati. Un traffico dati ridotto tra le diverse sedi cloud riduce i costi sostenuti e libera larghezza di banda di rete a vantaggio di un maggior numero di utenti e di una maggiore velocità di erogazione dei servizi. È consigliabile che le aziende deduplichino i propri dati prima di inviarli al cloud. È inoltre prudente deduplicare i dati archiviati nel cloud.

Casi d’uso comuni della deduplicazione dei dati

Le organizzazioni di ogni dimensione hanno bisogno della deduplicazione per questi casi d’uso quotidiani:

• Virtual machines. VMs with application deployments result in duplicate guests and associated data. Dedup can aiutare le macchine virtuali a funzionare in modo più efficiente.
• Endpoints. Endpoint clients, including desktops and laptops, are susceptible to building duplicate data that need regular dedup for better performance and operazioni di backup più efficienti.
• Cloud storage. As more data is moving to the cloud, deduplication offers oversized benefits in the cloud as data build-up may be costlier than on-premises data storage, if it goes unchecked. Some customers may find applying dedup to their data before sending it to the cloud for long term retention, is helpful in reducing cost. Generally, reducing the dataset’s size lowers costs and improves networking and performance.

Commvault offre la deduplicazione dei dati?

Yes! Commvault offers enterprise-grade deduplication in our portfolio of data protection offerings. Through our sophisticated dedup capabilities, customers enjoy fast performance, storage optimization, and cost savings. Richiedi una demo today to learn how it would help your organization!

Fonti

1. Domo.com 2020. “Data Never Sleeps 6.0.”
2. Raconteur. Infografica “Data in a Day”.
3. Microsoft 2021. “Why is Deduplicazione dei dati useful?”
4. WinPure January 2021. “Deduplicazione dei dati Benefits: Improve Your Company’s ROI.”