Déduplication des données

Définition de la déduplication des données

Data deduplication, also called “dedup”, eliminates duplicate or redundant information in a dataset. In short, dedup is a process that ensures only one copy of data exists in a particular dataset or block.

Ce processus améliore la capacité de stockage et optimise les redondances sans compromettre la fidélité ni l’intégrité des données. Les informations redondantes supprimées sont remplacées par des références ou des pointeurs vers la seule copie enregistrée. Très souvent, la déduplication des données est associée à la compression des données afin d’optimiser encore davantage les économies de stockage.

Il existe deux façons de classer la déduplication en fonction de l’endroit où elle a lieu. La première est la déduplication côté source, ce qui signifie que la déduplication s’effectue à la source, là où les données sont créées. La seconde est la déduplication côté cible, ce qui signifie que la déduplication s’effectue sur le stockage cible où les informations sont conservées.

Qu’est-ce que la déduplication des données ?

La déduplication des données est le processus consistant à supprimer les copies en double d’ensembles de données afin d’optimiser les ressources de stockage et d’améliorer leurs performances. En éliminant les informations redondantes, le système libère de l’espace de stockage et réduit la taille des ensembles de données. Ces modifications réduisent le coût du stockage et améliorent les performances des applications, qui peuvent ainsi effectuer des tâches à partir d’ensembles de données plus petits.

La déduplication des données n’a de sens que lorsqu’elle est appliquée à des emplacements de stockage secondaires contenant des données de sauvegarde. Les référentiels de stockage secondaires utilisés pour la sauvegarde des données présentent généralement des taux de duplication plus élevés, ce qui rend la déduplication nécessaire. En revanche, le stockage primaire utilisé dans les environnements de production privilégie les performances par rapport à d’autres facteurs et peut choisir de ne pas recourir à la déduplication.

Lors du déploiement de la déduplication, il est important de savoir que certaines bases de données relationnelles, telles qu’Oracle et Microsoft SQL, ne tirent aucun avantage de la déduplication. Ces bases de données conservent souvent une clé unique pour chaque enregistrement, ce qui empêche les moteurs de déduplication de reconnaître les enregistrements en double comme tels.

Prenons un exemple courant.

The CEO of the company sends an email to all 100 employees with an updated organization chart as an attachment.  All 100 employees receive the same file and save it to their desktop so they can refer to it later.  When the backup runs later that night it saves all 100 copies of that file, but because of deduplication only 1 actual file is saved, with 99 references or pointers to the original.

Dans cet exemple, nous avons observé un taux de déduplication de 100 pour 1. Associée à la compression des données, cette technique permet de ne compresser que les instances sauvegardées des données, ce qui optimise encore davantage la capacité de stockage grâce à un encodage efficace des données.

En quoi consiste le processus de déduplication des données, et comment fonctionne-t-il ?

La déduplication consiste à analyser les données afin d’identifier les blocs de données uniques avant de les stocker. Lorsque des doublons d’un bloc de données donné sont détectés, les éléments redondants sont supprimés et remplacés par des références, ou pointeurs, vers les données uniques déjà stockées. L’agent chargé de la déduplication attribue un identifiant unique à chaque bloc de données stocké.

Lorsque des données en double sont détectées lors de la vérification des identifiants uniques, les informations redondantes nouvellement identifiées sont supprimées. Dans le cadre du processus de déduplication, les blocs ou segments de données sont comparés en analysant les identifiants uniques attribués aux données stockées. Lorsqu’un identifiant en double est détecté, le nouveau segment de données portant cet identifiant en double est considéré comme une copie redondante et supprimé. L’agent de déduplication part du principe que des identifiants uniques en double correspondent à un bloc de données redondant.

Data deduplication can be performed either in-line as the data is flowing or “post-process” after the information has already been written to storage devices.

La déduplication des données s’exécute en arrière-plan et suit des politiques d’optimisation prédéfinies pour identifier les fichiers nécessitant un traitement. L’agent de déduplication divise ensuite les fichiers cibles en segments de données de taille variable, identifie ceux qui sont uniques et les stocke en leur attribuant des numéros d’identification uniques. Dans le cadre du processus de déduplication, les blocs de données en double sont supprimés et remplacés par des références aux données identiques déjà enregistrées. L’agent de déduplication reconstitue ensuite le flux de fichiers d’origine à partir des fichiers nouvellement optimisés.

Comme indiqué précédemment dans l’exemple de l’e-mail, il n’est pas rare (avec certains types de données) que les taux de déduplication atteignent 90:1, ce qui accroît les avantages de la déduplication. On obtient encore plus d’efficacité de stockage en associant la déduplication à la compression des données, ce qui réduit davantage la taille des données stockées et leur empreinte de stockage.

Data deduplication is a simple concept that contributes dramatically to reducing storage resources and the costs associated with them. When coupled with data compression, the savings increase, and the storage devices’ performance and applications improve.

Pourquoi la déduplication des données est-elle importante ?

La croissance exponentielle et incontrôlée des données, combinée au raccourcissement des fenêtres de sauvegarde, aux accords de niveau de service (SLA) en matière de conservation des données et aux exigences réglementaires, met à rude épreuve les ressources informatiques et freine la croissance de l’entreprise. La technologie de déduplication des données réduit les besoins en capacité de disque physique tout en respectant les exigences de conservation des données.

The amount of data created daily is staggering, and all of it must be optimized for better utilization of storage capacity and protected against loss. On average, in 2020, humans generated 1.7MB of data every second for every person on earth.¹ By 2025, it is estimated that 463 exabytes of data will be created each day.²

Unfortunately, most of the stored data are duplicates that increase customers’ storage costs and lower cloud systems’ performance and utilization. For example, users’ file sharing results in many duplicate copies of the same file. In virtualized environments, guest operating systems may be almost identical to several of the virtual machines (VMs). Even backup snapshots may have minor differences from one day to another. Deduplication removes these inefficiencies from storage systems.

According to Microsoft’s estimate, virtualization libraries may see typical space-saving up to 50%, while virtualization libraries might realize up to 95% space savings.³ The savings vary depending on datasets.

Avantages de la déduplication des données

Applications and the data they generate are the drivers of business analytics and the determining factor for successful growth. Managing data growth and deduplication benefits are not limited to storage systems but extend to the entire IT infrastructure and application performance. A smaller storage footprint produced by dedup and compression lowers storage costs, reduces pressure on networking and constraints on bandwidth. It also improves the performance of applications at endpoints, which contributes to enhancing remote workers’ productivity.

Les solutions de déduplication des données offrent des avantages commerciaux significatifs qui vont au-delà des domaines directement liés aux périphériques de stockage :

• Réduction des coûts. Une capacité de stockage réduite se traduit par une baisse des dépenses qui se répercute sur l’ensemble des opérations informatiques. Une infrastructure plus légère à gérer implique moins de ressources administratives et de gestion, ainsi que des frais globaux moins élevés facturés par les fournisseurs de cloud pour le transfert de données et le trafic réseau. Les économies réalisées sur le stockage sur site comprennent les dépenses d’investissement (Capex) liées aux périphériques de stockage, à l’espace qu’ils occupent et aux systèmes de refroidissement. Elles incluent également les dépenses d’exploitation (Opex) liées à la gestion du stockage, au refroidissement et aux autres services, notamment l’électricité.
• Une conservation des données plus longue. Grâce à la déduplication des données, les entreprises ont la possibilité de conserver des ensembles de données plus petits pendant des périodes plus longues et de respecter des exigences de conservation plus strictes.
• Meilleures performances globales. Étant donné que les fournisseurs de services cloud basent une grande partie de leur tarification sur le transfert de données, il est logique que les clients optimisent leurs ensembles de données. Un trafic de données réduit entre les sites cloud permet de diminuer les coûts et de libérer de la bande passante réseau, ce qui profite à un plus grand nombre d’utilisateurs et accélère la fourniture des services. Il est judicieux pour les entreprises de dédupliquer leurs données avant de les envoyer dans le cloud. Il est également prudent de dédupliquer les données stockées dans le cloud.

Cas d’utilisation courants de la déduplication des données

Les organisations de toutes tailles ont besoin de la déduplication pour ces cas d’utilisation courants :

• Virtual machines. VMs with application deployments result in duplicate guests and associated data. Dedup can contribuer à améliorer l’efficacité des machines virtuelles.
• Endpoints. Endpoint clients, including desktops and laptops, are susceptible to building duplicate data that need regular dedup for better performance and des opérations de sauvegarde plus efficaces.
• Cloud storage. As more data is moving to the cloud, deduplication offers oversized benefits in the cloud as data build-up may be costlier than on-premises data storage, if it goes unchecked. Some customers may find applying dedup to their data before sending it to the cloud for long term retention, is helpful in reducing cost. Generally, reducing the dataset’s size lowers costs and improves networking and performance.

Commvault propose-t-il la déduplication des données ?

Yes! Commvault offers enterprise-grade deduplication in our portfolio of data protection offerings. Through our sophisticated dedup capabilities, customers enjoy fast performance, storage optimization, and cost savings. Demandez une démonstration today to learn how it would help your organization!

Sources

1. Domo.com 2020. “Data Never Sleeps 6.0.”
2. Raconteur. Infographie « Data in a Day ».
3. Microsoft 2021. “Why is Déduplication des données useful?”
4. WinPure January 2021. “Déduplication des données Benefits: Improve Your Company’s ROI.”