Deduplizierung von Daten

Definition der Datendeduplizierung

Data deduplication, also called “dedup”, eliminates duplicate or redundant information in a dataset. In short, dedup is a process that ensures only one copy of data exists in a particular dataset or block.

Das Verfahren erhöht die Speicherkapazität und optimiert Redundanzen, ohne die Genauigkeit oder Integrität der Daten zu beeinträchtigen. Verweise oder Zeiger auf die einzige gespeicherte Kopie ersetzen die gelöschten redundanten Informationen. Sehr oft wird die Datendeduplizierung mit Datenkomprimierung kombiniert, um noch größere Speichereinsparungen zu erzielen.

Es gibt zwei Möglichkeiten, die Deduplizierung danach zu klassifizieren, wo sie stattfindet. Die erste ist die quellseitige Deduplizierung, bei der die Deduplizierung an der Quelle erfolgt, wo die Daten entstehen. Die zweite ist die zielseitige Deduplizierung, bei der die Deduplizierung auf dem Zielspeicher erfolgt, auf dem die Daten gespeichert werden.

Was ist Datendeduplizierung?

Unter Datendeduplizierung versteht man den Prozess, bei dem doppelte Kopien von Datensätzen entfernt werden, um Speicherressourcen zu optimieren und die Leistung zu steigern. Durch die Beseitigung redundanter Informationen schafft das System Speicherplatz und verringert die Größe der Datensätze. Diese Maßnahmen senken die Speicherkosten und verbessern die Leistung von Anwendungen, die Aufgaben mit kleineren Datensätzen ausführen können.

Datendeduplizierung ist nur dann sinnvoll, wenn sie auf sekundäre Speicherorte mit Sicherungsdaten angewendet wird. Die für die Datensicherung genutzten sekundären Speicherorte weisen in der Regel höhere Duplikationsraten auf, wodurch eine Deduplizierung erforderlich wird. Im Gegensatz dazu hat bei Primärspeichern, die in Produktionsumgebungen eingesetzt werden, die Leistung Vorrang vor anderen Faktoren, sodass dort möglicherweise auf eine Deduplizierung verzichtet wird.

Beim Einsatz der Deduplizierung ist zu beachten, dass bestimmte relationale Datenbanken wie Oracle und Microsoft SQL nicht von der Deduplizierung profitieren. Solche Datenbanken verwalten oft einen eindeutigen Schlüssel für jeden Datensatz, wodurch Deduplizierungsmodule doppelte Datensätze nicht als Duplikate erkennen können.

Schauen wir uns ein gängiges Beispiel an.

The CEO of the company sends an email to all 100 employees with an updated organization chart as an attachment.  All 100 employees receive the same file and save it to their desktop so they can refer to it later.  When the backup runs later that night it saves all 100 copies of that file, but because of deduplication only 1 actual file is saved, with 99 references or pointers to the original.

In diesem Beispiel haben wir eine Deduplizierungsrate von 100 zu 1 festgestellt. In Kombination mit der Datenkomprimierung werden nur die gespeicherten Instanzen der Daten komprimiert, um die Speicherkapazität durch eine effiziente Kodierung der Daten weiter zu steigern.

Was ist der Prozess der Datendeduplizierung und wie funktioniert er?

Bei der Deduplizierung werden die Daten analysiert, um die eindeutigen Datenblöcke zu identifizieren, bevor diese gespeichert werden. Werden Duplikate eines einzelnen Datenblocks gefunden, werden die redundanten Muster gelöscht und durch Verweise – sogenannte Zeiger – auf die gespeicherten eindeutigen Daten ersetzt. Der Agent, der die Deduplizierung durchführt, weist jedem gespeicherten Datenblock eine eindeutige Identifikationsnummer zu.

Werden bei der Überprüfung der eindeutigen Identifikationsnummern doppelte Daten festgestellt, werden die neu entdeckten redundanten Informationen entfernt. Im Rahmen des Deduplizierungsprozesses werden Datenblöcke oder -abschnitte verglichen, indem die den gespeicherten Daten zugewiesenen eindeutigen Identifikationsnummern gescannt werden. Wird eine doppelte Identifikationsnummer gefunden, wird der neue Datenabschnitt mit der doppelten Identifikationsnummer als redundante Kopie angesehen und gelöscht. Der Deduplizierungsagent geht davon aus, dass doppelte eindeutige Nummern einen redundanten Datenblock bedeuten.

Data deduplication can be performed either in-line as the data is flowing or “post-process” after the information has already been written to storage devices.

Die Datendeduplizierung läuft im Hintergrund ab und folgt vorgegebenen Optimierungsrichtlinien, um Dateien zu identifizieren, die bearbeitet werden müssen. Der Deduplizierungsagent unterteilt die Zieldateien anschließend in variable Datenblöcke, identifiziert die eindeutigen Blöcke und speichert sie mit zugewiesenen eindeutigen Identifikationsnummern. Im Rahmen des Deduplizierungsprozesses werden doppelte Datenblöcke entfernt und durch identische Verweise auf gespeicherte Daten ersetzt. Anschließend stellt der Deduplizierungsagent den ursprünglichen Dateistrom mit den neu optimierten Dateien wieder her.

Wie bereits im E-Mail-Beispiel erwähnt, sind (bei bestimmten Datentypen) Deduplizierungsverhältnisse von bis zu 90:1 keine Seltenheit, was die Vorteile der Deduplizierung noch verstärkt. Eine noch höhere Speichereffizienz lässt sich erzielen, indem die Deduplizierung mit Datenkomprimierung kombiniert wird, wodurch die Größe der gespeicherten Daten und der dafür benötigte Speicherplatz weiter reduziert werden.

Data deduplication is a simple concept that contributes dramatically to reducing storage resources and the costs associated with them. When coupled with data compression, the savings increase, and the storage devices’ performance and applications improve.

Warum ist die Datendeduplizierung wichtig?

Das ungebremste exponentielle Datenwachstum in Verbindung mit immer kürzer werdenden Backup-Fenstern, SLAs zur Datenaufbewahrung und gesetzlichen Vorschriften belastet die IT-Ressourcen und das Unternehmenswachstum. Die Datendeduplizierungstechnologie reduziert den Bedarf an physischer Festplattenkapazität und erfüllt gleichzeitig die Anforderungen an die Datenaufbewahrung.

The amount of data created daily is staggering, and all of it must be optimized for better utilization of storage capacity and protected against loss. On average, in 2020, humans generated 1.7MB of data every second for every person on earth.¹ By 2025, it is estimated that 463 exabytes of data will be created each day.²

Unfortunately, most of the stored data are duplicates that increase customers’ storage costs and lower cloud systems’ performance and utilization. For example, users’ file sharing results in many duplicate copies of the same file. In virtualized environments, guest operating systems may be almost identical to several of the virtual machines (VMs). Even backup snapshots may have minor differences from one day to another. Deduplication removes these inefficiencies from storage systems.

According to Microsoft’s estimate, virtualization libraries may see typical space-saving up to 50%, while virtualization libraries might realize up to 95% space savings.³ The savings vary depending on datasets.

Vorteile der Datendeduplizierung

Applications and the data they generate are the drivers of business analytics and the determining factor for successful growth. Managing data growth and deduplication benefits are not limited to storage systems but extend to the entire IT infrastructure and application performance. A smaller storage footprint produced by dedup and compression lowers storage costs, reduces pressure on networking and constraints on bandwidth. It also improves the performance of applications at endpoints, which contributes to enhancing remote workers’ productivity.

Lösungen zur Datendeduplizierung bieten erhebliche geschäftliche Vorteile, die über die Bereiche hinausgehen, die in direktem Zusammenhang mit Speichergeräten stehen:

• Geringere Kosten. Eine geringere Speicherkapazität führt zu geringeren Ausgaben, die sich auf den gesamten IT-Betrieb auswirken. Weniger zu verwaltende Infrastruktur bedeutet weniger Verwaltungs- und Managementressourcen sowie geringere Gesamtkosten seitens der Cloud-Anbieter für Datenübertragung und Netzwerkverkehr. Zu den Einsparungen bei der lokalen Speicherung zählen die Investitionskosten (Capex) für die Speichergeräte und den von ihnen beanspruchten Platz sowie für Kühlsysteme. Die Einsparungen umfassen auch die Betriebskosten (Opex) für Speicherverwaltung, Kühlung und andere Versorgungsleistungen, einschließlich Strom.
• Längere Aufbewahrungsdauer. Dank der Datendeduplizierung haben Unternehmen den Vorteil, dass sie die kleineren Datensätze über einen längeren Zeitraum aufbewahren und strengere Aufbewahrungsvorschriften erfüllen können.
• Höhere Gesamtleistung. Da viele Cloud-Anbieter ihre Gebühren am Datenverkehr ausrichten, ist es für Kunden sinnvoll, ihre Datensätze zu optimieren. Ein geringerer Datenverkehr zwischen den Cloud-Standorten senkt die anfallenden Kosten und setzt Netzwerkbandbreite für mehr Nutzer und eine schnellere Bereitstellung von Diensten frei. Für Unternehmen ist es ratsam, ihre Daten zu deduplizieren, bevor sie in die Cloud übertragen werden. Ebenso ist es sinnvoll, in der Cloud gespeicherte Daten zu deduplizieren.

Häufige Anwendungsfälle für die Datendeduplizierung

Unternehmen jeder Größe benötigen Deduplizierung für folgende alltägliche Anwendungsfälle:

• Virtual machines. VMs with application deployments result in duplicate guests and associated data. Dedup can dazu beitragen, dass VMs effizienter arbeiten.
• Endpoints. Endpoint clients, including desktops and laptops, are susceptible to building duplicate data that need regular dedup for better performance and effizientere Sicherungsvorgänge.
• Cloud storage. As more data is moving to the cloud, deduplication offers oversized benefits in the cloud as data build-up may be costlier than on-premises data storage, if it goes unchecked. Some customers may find applying dedup to their data before sending it to the cloud for long term retention, is helpful in reducing cost. Generally, reducing the dataset’s size lowers costs and improves networking and performance.

Bietet Commvault eine Datendeduplizierung an?

Yes! Commvault offers enterprise-grade deduplication in our portfolio of data protection offerings. Through our sophisticated dedup capabilities, customers enjoy fast performance, storage optimization, and cost savings. Demo anfordern today to learn how it would help your organization!

Quellen

1. Domo.com 2020. “Data Never Sleeps 6.0.”
2. Raconteur. Infografik „Data in a Day“.
3. Microsoft 2021. “Why is Deduplizierung von Daten useful?”
4. WinPure January 2021. “Deduplizierung von Daten Benefits: Improve Your Company’s ROI.”