Deduplicación de datos

Definición de deduplicación de datos

Data deduplication, also called “dedup”, eliminates duplicate or redundant information in a dataset. In short, dedup is a process that ensures only one copy of data exists in a particular dataset or block.

El proceso mejora la capacidad de almacenamiento y optimiza las redundancias sin comprometer la fidelidad ni la integridad de los datos. Las referencias o punteros a la única copia guardada sustituyen a la información redundante eliminada. Muy a menudo, la deduplicación de datos se combina con la compresión de datos para lograr un ahorro de almacenamiento más óptimo.

Existen dos formas de clasificar la deduplicación en función del lugar donde se lleva a cabo. La primera es la deduplicación en el lado del origen, lo que indica que la deduplicación se produce en el origen, donde se generan los datos. La segunda es la deduplicación en el lado del destino, lo que sugiere que la deduplicación se produce en el almacenamiento de destino, donde se almacena la información.

¿Qué es la deduplicación de datos?

La deduplicación de datos es el proceso de eliminar copias duplicadas de conjuntos de datos para optimizar los recursos de almacenamiento y mejorar su rendimiento. Al eliminar la información redundante, el sistema libera espacio de almacenamiento y reduce el tamaño de los conjuntos de datos. Estos cambios reducen el coste del almacenamiento y mejoran el rendimiento de las aplicaciones, que pueden realizar tareas utilizando conjuntos de datos más pequeños.

La deduplicación de datos solo tiene sentido cuando se aplica a ubicaciones de almacenamiento secundarias con datos de copia de seguridad. Los repositorios de almacenamiento secundarios utilizados para realizar copias de seguridad de los datos suelen presentar mayores índices de duplicación, lo que hace necesaria la deduplicación. Por otro lado, el almacenamiento primario utilizado en entornos de producción da prioridad al rendimiento frente a otros factores y puede optar por no utilizar la deduplicación.

A la hora de implementar la deduplicación, es importante tener en cuenta que algunas bases de datos relacionales, como Oracle y Microsoft SQL, no se benefician de ella. Estas bases de datos suelen mantener una clave única para cada registro, lo que impide que los motores de deduplicación reconozcan los registros duplicados como tales.

Veamos un ejemplo habitual.

The CEO of the company sends an email to all 100 employees with an updated organization chart as an attachment.  All 100 employees receive the same file and save it to their desktop so they can refer to it later.  When the backup runs later that night it saves all 100 copies of that file, but because of deduplication only 1 actual file is saved, with 99 references or pointers to the original.

En este ejemplo, hemos visto una relación de deduplicación de 100 a 1. Cuando se combina con la compresión de datos, solo se comprimen las instancias guardadas de los datos para mejorar aún más la capacidad de almacenamiento mediante una codificación eficiente de los datos.

¿En qué consiste el proceso de deduplicación de datos y cómo funciona?

La deduplicación consiste en analizar los datos para identificar los bloques únicos de datos antes de almacenarlos. Cuando se detectan duplicados de un bloque de datos concreto, los patrones redundantes se eliminan y se sustituyen por referencias, o punteros, a los datos únicos ya guardados. El agente que lleva a cabo la deduplicación asigna un número identificador único a cada bloque de datos almacenado.

Cuando se detectan datos duplicados al comprobar los números de identificador únicos, se elimina la información redundante recién descubierta. Como parte del proceso de deduplicación, se comparan bloques o fragmentos de datos mediante el escaneo de los números de identificador únicos asignados a los datos almacenados. Cuando se encuentra un número de identificador duplicado, el nuevo fragmento de datos con ese número se considera una copia redundante y se elimina. El agente de deduplicación asume que los números únicos duplicados indican un bloque de datos redundante.

Data deduplication can be performed either in-line as the data is flowing or “post-process” after the information has already been written to storage devices.

La deduplicación de datos se ejecuta en segundo plano y sigue políticas de optimización preestablecidas para identificar los archivos que requieren intervención. A continuación, el agente de deduplicación divide los archivos de destino en fragmentos de datos variables, identifica los únicos y los almacena con números identificadores únicos asignados. Como parte del proceso de deduplicación, los bloques de datos duplicados se eliminan y se sustituyen por referencias idénticas a datos ya guardados. A continuación, el agente de deduplicación restablece el flujo de archivos original con los archivos recién optimizados.

Como se ha señalado anteriormente en el ejemplo del correo electrónico, no es raro (con determinados tipos de datos) que las tasas de deduplicación alcancen valores de hasta 90:1, lo que aumenta las ventajas de la deduplicación. Se consigue una mayor eficiencia en el almacenamiento al combinar la deduplicación con la compresión de datos, lo que reduce aún más el tamaño de los datos almacenados y su huella de almacenamiento.

Data deduplication is a simple concept that contributes dramatically to reducing storage resources and the costs associated with them. When coupled with data compression, the savings increase, and the storage devices’ performance and applications improve.

¿Por qué es importante la deduplicación de datos?

El crecimiento exponencial y descontrolado de los datos, junto con la reducción de las ventanas de copia de seguridad, los acuerdos de nivel de servicio (SLA) de retención de datos y los requisitos normativos, supone una carga para los recursos de TI y el crecimiento empresarial. La tecnología de deduplicación de datos reduce los requisitos de capacidad de los discos físicos al tiempo que cumple con los requisitos de retención de datos.

The amount of data created daily is staggering, and all of it must be optimized for better utilization of storage capacity and protected against loss. On average, in 2020, humans generated 1.7MB of data every second for every person on earth.¹ By 2025, it is estimated that 463 exabytes of data will be created each day.²

Unfortunately, most of the stored data are duplicates that increase customers’ storage costs and lower cloud systems’ performance and utilization. For example, users’ file sharing results in many duplicate copies of the same file. In virtualized environments, guest operating systems may be almost identical to several of the virtual machines (VMs). Even backup snapshots may have minor differences from one day to another. Deduplication removes these inefficiencies from storage systems.

According to Microsoft’s estimate, virtualization libraries may see typical space-saving up to 50%, while virtualization libraries might realize up to 95% space savings.³ The savings vary depending on datasets.

Ventajas de la deduplicación de datos

Applications and the data they generate are the drivers of business analytics and the determining factor for successful growth. Managing data growth and deduplication benefits are not limited to storage systems but extend to the entire IT infrastructure and application performance. A smaller storage footprint produced by dedup and compression lowers storage costs, reduces pressure on networking and constraints on bandwidth. It also improves the performance of applications at endpoints, which contributes to enhancing remote workers’ productivity.

Las soluciones de deduplicación de datos aportan importantes beneficios empresariales que van más allá de las áreas directamente relacionadas con los dispositivos de almacenamiento:

• Menores costes. Una menor capacidad de almacenamiento se traduce en menores gastos que repercuten en el conjunto de las operaciones de TI. Menos infraestructura que gestionar significa menos recursos administrativos y de gestión, así como menores costes generales por parte de los proveedores de servicios en la nube en concepto de transferencia de datos y tráfico de red. El ahorro en el almacenamiento local incluye el Capex correspondiente a los dispositivos de almacenamiento y al espacio que ocupan, además de los sistemas de refrigeración. El ahorro también incluye el Opex destinado a la gestión del almacenamiento, la refrigeración y otros servicios públicos, incluida la electricidad.
• Mayor retención de datos. Gracias a la deduplicación de datos, las empresas pueden permitirse el lujo de conservar los conjuntos de datos más pequeños durante períodos más prolongados y cumplir con requisitos de retención más estrictos.
• Mayor rendimiento general. Dado que los proveedores de servicios en la nube basan gran parte de sus tarifas en el movimiento de datos, tiene sentido que los clientes optimicen sus conjuntos de datos. Un menor tráfico de datos entre las ubicaciones en la nube reduce los costes incurridos y libera ancho de banda de red para más usuarios y una prestación más rápida de los servicios. Es recomendable que las empresas dedupliquen sus datos antes de enviarlos a la nube. También es aconsejable deduplicar los datos almacenados en la nube.

Casos de uso habituales de la deduplicación de datos

Las organizaciones de todos los tamaños necesitan la deduplicación para estos casos de uso cotidianos:

• Virtual machines. VMs with application deployments result in duplicate guests and associated data. Dedup can ayudar a que las máquinas virtuales funcionen de forma más eficiente.
• Endpoints. Endpoint clients, including desktops and laptops, are susceptible to building duplicate data that need regular dedup for better performance and operaciones de copia de seguridad más eficientes.
• Cloud storage. As more data is moving to the cloud, deduplication offers oversized benefits in the cloud as data build-up may be costlier than on-premises data storage, if it goes unchecked. Some customers may find applying dedup to their data before sending it to the cloud for long term retention, is helpful in reducing cost. Generally, reducing the dataset’s size lowers costs and improves networking and performance.

¿Ofrece Commvault deduplicación de datos?

Yes! Commvault offers enterprise-grade deduplication in our portfolio of data protection offerings. Through our sophisticated dedup capabilities, customers enjoy fast performance, storage optimization, and cost savings. Solicita una demostración today to learn how it would help your organization!

Fuentes

1. Domo.com 2020. “Data Never Sleeps 6.0.”
2. Raconteur. Infografía «Data in a Day».
3. Microsoft 2021. “Why is Deduplicación de datos useful?”
4. WinPure January 2021. “Deduplicación de datos Benefits: Improve Your Company’s ROI.”