Desduplicação de dados

Definição de deduplicação de dados

Data deduplication, also called “dedup”, eliminates duplicate or redundant information in a dataset. In short, dedup is a process that ensures only one copy of data exists in a particular dataset or block.

O processo aumenta a capacidade de armazenamento e otimiza as redundâncias sem comprometer a fidelidade ou a integridade dos dados. Referências ou ponteiros para a única cópia salva substituem as informações redundantes excluídas. Com frequência, a deduplicação de dados é combinada com a compactação de dados para uma economia de espaço de armazenamento ainda mais otimizada.

Existem duas maneiras de classificar a deduplicação com base no local onde ela ocorre. A primeira é a deduplicação no lado da fonte, que indica que a dedup ocorre na fonte, de onde os dados se originam. A segunda é a deduplicação no lado do destino, que sugere que a dedup ocorre no armazenamento de destino, onde as informações são armazenadas.

O que é deduplicação de dados?

A deduplicação de dados é o processo de remoção de cópias duplicadas de conjuntos de dados para otimizar os recursos de armazenamento e melhorar seu desempenho. Ao eliminar informações redundantes, o sistema libera espaço de armazenamento e reduz o tamanho dos conjuntos de dados. Essas mudanças reduzem o custo do armazenamento e melhoram o desempenho das aplicações, que podem executar tarefas utilizando conjuntos menores de dados.

A deduplicação de dados só faz sentido quando aplicada a locais de armazenamento secundários com dados de backup. Os repositórios de armazenamento secundários usados para fazer backup de dados tendem a apresentar taxas de duplicação mais altas, o que torna a deduplicação necessária. Por outro lado, o armazenamento primário usado em ambientes de produção prioriza o desempenho em detrimento de outros fatores e pode optar por não utilizar a deduplicação.

Ao implementar a deduplicação, é importante estar ciente de que alguns bancos de dados relacionais, como o Oracle e o Microsoft SQL, não se beneficiam da deduplicação. Esses bancos de dados costumam manter uma chave única para cada registro, impedindo que os mecanismos de deduplicação reconheçam registros duplicados como tal.

Vejamos um exemplo comum.

The CEO of the company sends an email to all 100 employees with an updated organization chart as an attachment.  All 100 employees receive the same file and save it to their desktop so they can refer to it later.  When the backup runs later that night it saves all 100 copies of that file, but because of deduplication only 1 actual file is saved, with 99 references or pointers to the original.

Nesse exemplo, observamos uma taxa de desduplicação de 100 para 1. Quando combinada com a compactação de dados, apenas as instâncias salvas dos dados são compactadas para aumentar ainda mais a capacidade de armazenamento por meio da codificação eficiente dos dados.

O que é o processo de desduplicação de dados e como ele funciona?

A deduplicação envolve a análise dos dados para identificar os blocos únicos de dados antes de armazená-los. Quando são encontradas duplicatas de um bloco de dados específico, os padrões redundantes são excluídos e substituídos por referências, ou ponteiros, aos dados únicos já armazenados. O agente responsável pela deduplicação atribui um número identificador único a cada bloco de dados armazenado.

Quando dados duplicados são encontrados durante a verificação dos números de identificação únicos, as informações redundantes recém-descobertas são removidas. Como parte do processo de deduplicação, blocos ou fragmentos de dados são comparados por meio da verificação dos números de identificação únicos atribuídos aos dados armazenados. Quando um número de identificação duplicado é encontrado, o novo fragmento de dados com esse número é considerado uma cópia redundante e excluído. O agente de deduplicação presume que números únicos duplicados indicam um bloco de dados redundante.

Data deduplication can be performed either in-line as the data is flowing or “post-process” after the information has already been written to storage devices.

A deduplicação de dados é executada em segundo plano e segue políticas de otimização definidas para identificar arquivos que precisam ser tratados. O agente de deduplicação, então, divide os arquivos-alvo em blocos de dados variáveis, identifica e armazena os únicos com números de identificação exclusivos atribuídos. Como parte do processo de deduplicação, os blocos de dados duplicados são removidos e substituídos por referências idênticas aos dados salvos. Em seguida, o agente de deduplicação restabelece o fluxo original do arquivo com os arquivos recém-otimizados.

Conforme observado anteriormente no exemplo do e-mail, não é incomum (com certos tipos de dados) que as taxas de deduplicação cheguem a 90:1, o que aumenta os benefícios da deduplicação. Obtêm-se mais eficiências de armazenamento ao combinar a deduplicação com a compactação de dados, o que reduz ainda mais o tamanho dos dados armazenados e seu espaço ocupado no armazenamento.

Data deduplication is a simple concept that contributes dramatically to reducing storage resources and the costs associated with them. When coupled with data compression, the savings increase, and the storage devices’ performance and applications improve.

Por que a deduplicação de dados é importante?

O crescimento exponencial e descontrolado dos dados, aliado à redução das janelas de backup, aos SLAs de retenção de dados e aos requisitos regulatórios, sobrecarrega os recursos de TI e o crescimento dos negócios. A tecnologia de desduplicação de dados reduz os requisitos de capacidade física dos discos, ao mesmo tempo em que atende aos requisitos de retenção de dados.

The amount of data created daily is staggering, and all of it must be optimized for better utilization of storage capacity and protected against loss. On average, in 2020, humans generated 1.7MB of data every second for every person on earth.¹ By 2025, it is estimated that 463 exabytes of data will be created each day.²

Unfortunately, most of the stored data are duplicates that increase customers’ storage costs and lower cloud systems’ performance and utilization. For example, users’ file sharing results in many duplicate copies of the same file. In virtualized environments, guest operating systems may be almost identical to several of the virtual machines (VMs). Even backup snapshots may have minor differences from one day to another. Deduplication removes these inefficiencies from storage systems.

According to Microsoft’s estimate, virtualization libraries may see typical space-saving up to 50%, while virtualization libraries might realize up to 95% space savings.³ The savings vary depending on datasets.

Benefícios da deduplicação de dados

Applications and the data they generate are the drivers of business analytics and the determining factor for successful growth. Managing data growth and deduplication benefits are not limited to storage systems but extend to the entire IT infrastructure and application performance. A smaller storage footprint produced by dedup and compression lowers storage costs, reduces pressure on networking and constraints on bandwidth. It also improves the performance of applications at endpoints, which contributes to enhancing remote workers’ productivity.

As soluções de desduplicação de dados oferecem benefícios comerciais significativos que vão além das áreas diretamente relacionadas aos dispositivos de armazenamento:

• Custos mais baixos. Uma capacidade de armazenamento menor se traduz em despesas mais baixas que se refletem em todas as operações de TI. Menos infraestrutura para gerenciar significa menos recursos administrativos e de gerenciamento, além de custos gerais mais baixos cobrados pelos provedores de nuvem pela movimentação de dados e pelo tráfego de rede. A economia no armazenamento local inclui o Capex referente aos dispositivos de armazenamento e ao espaço que eles ocupam, juntamente com os sistemas de refrigeração. A economia também inclui o Opex referente ao gerenciamento de armazenamento, refrigeração e outros serviços públicos, incluindo energia elétrica.
• Retenção de dados por mais tempo. Com a deduplicação de dados, as empresas têm a vantagem de manter conjuntos de dados menores por períodos mais longos e atender a requisitos de retenção mais rigorosos.
• Maior desempenho geral. Como os provedores de nuvem baseiam grande parte de suas cobranças no tráfego de dados, faz sentido que os clientes otimizem seus conjuntos de dados. Um tráfego de dados menor entre os locais da nuvem reduz os custos incorridos e libera largura de banda da rede para mais usuários e uma prestação mais rápida dos serviços. É aconselhável que as empresas dedupliquem seus dados antes de enviá-los para a nuvem. Também é prudente deduplicar os dados armazenados na nuvem.

Casos de uso comuns para a desduplicação de dados

Organizações de todos os tamanhos precisam da desduplicação para estes casos de uso cotidianos:

• Virtual machines. VMs with application deployments result in duplicate guests and associated data. Dedup can ajudar as máquinas virtuais a funcionarem com mais eficiência.
• Endpoints. Endpoint clients, including desktops and laptops, are susceptible to building duplicate data that need regular dedup for better performance and operações de backup mais eficientes.
• Cloud storage. As more data is moving to the cloud, deduplication offers oversized benefits in the cloud as data build-up may be costlier than on-premises data storage, if it goes unchecked. Some customers may find applying dedup to their data before sending it to the cloud for long term retention, is helpful in reducing cost. Generally, reducing the dataset’s size lowers costs and improves networking and performance.

A Commvault oferece desduplicação de dados?

Yes! Commvault offers enterprise-grade deduplication in our portfolio of data protection offerings. Through our sophisticated dedup capabilities, customers enjoy fast performance, storage optimization, and cost savings. Obter uma demonstração today to learn how it would help your organization!

Fontes

1. Domo.com 2020. “Data Never Sleeps 6.0.”
2. Raconteur. Infográfico “Data in a Day”.
3. Microsoft 2021. “Why is Desduplicação de dados useful?”
4. WinPure January 2021. “Desduplicação de dados Benefits: Improve Your Company’s ROI.”