Veritabanlarında Veri Tekilleştirme (Data Deduplication) Nedir? Neden Önemlidir?

Veri miktarının hızla arttığı günümüzde, verilerin yalnızca güvenli bir şekilde saklanması değil, aynı zamanda verimli biçimde yönetilmesi de büyük önem taşımaktadır. Özellikle milyonlarca kaydın bulunduğu veritabanlarında, aynı bilginin gereksiz yere tekrar saklanması depolama maliyetlerini artırabilir, veri tutarlılığını olumsuz etkileyebilir ve bazı işlemlerin performansını düşürebilir.

Bu noktada veri tekilleştirme (Data Deduplication), modern veri yönetimi ve depolama sistemlerinin önemli optimizasyon tekniklerinden biri olarak karşımıza çıkmaktadır.

Bu yazıda veri tekilleştirmenin ne olduğunu, nasıl çalıştığını, kullanılan algoritmaları, veritabanı normalizasyonundan farklarını ve gerçek sistemlerde nasıl uygulanabileceğini inceleyeceğiz.

  1. Veri Tekilleştirme Nedir?

Veri tekilleştirme (Data Deduplication), bir veri kümesindeki yinelenen verilerin belirlenmesi ve aynı içeriğin gereksiz yere birden fazla saklanmasının önlenmesi işlemidir.

Temel amaç, aynı verinin mümkün olduğunca tek bir fiziksel kopyasını saklayarak depolama alanından tasarruf sağlamaktır.

Örneğin, bir belge yönetim sisteminde 1 MB boyutundaki aynı PDF dosyasının 1.000 kullanıcı tarafından yüklendiğini düşünelim.

Tekilleştirme uygulanmadığında:

  • Dosya boyutu: 1 MB
  • Dosya sayısı: 1.000
  • Toplam depolama: 1.000 MB

İçerik tabanlı tekilleştirme uygulandığında ise dosyanın fiziksel içeriği yalnızca bir kez saklanabilir. Kullanıcıların dosyaya ilişkin sahiplik, erişim ve ilişki bilgileri ayrı kayıtlar olarak tutulur.

Böylece dosya içeriğinin kapladığı alan yaklaşık 1 MB seviyesine düşebilir. Ancak metadata, indeksler ve diğer yönetim verileri nedeniyle gerçek toplam depolama tüketimi bundan daha yüksek olacaktır.

  1. Veri Tekilleştirme Neden Önemlidir?

2.1. Depolama Maliyetlerini Azaltır

Büyük ölçekli sistemlerde gereksiz veri tekrarları ciddi depolama maliyetleri oluşturabilir.

Veri tekilleştirme sayesinde:

  • Yinelenen veri blokları veya dosyalar yeniden saklanmaz.
  • Fiziksel depolama ihtiyacı azaltılabilir.
  • Yedekleme sistemleri daha az alan tüketebilir.
  • Bulut depolama maliyetleri düşürülebilir.

Özellikle yedekleme, arşivleme ve belge yönetimi sistemlerinde önemli kazanımlar elde edilebilir.

2.2. Veri Yönetimini Kolaylaştırır

Tekilleştirme, aynı içeriğe ait gereksiz fiziksel kopyaları azaltarak veri yönetimini kolaylaştırabilir.

Ancak burada önemli bir ayrım bulunmaktadır: Fiziksel veri tekilleştirme ile mantıksal mükerrer kayıt temizliği aynı işlem değildir.

Örneğin aynı müşterinin iki farklı müşteri kaydı olarak bulunması, mantıksal bir veri kalitesi problemidir. Aynı PDF dosyasının iki kez saklanması ise fiziksel depolama tekilleştirmesiyle çözülebilir.

2.3. Performansı İyileştirebilir

Tekilleştirme sayesinde daha az veri yazılması ve aktarılması bazı sistemlerde performans avantajı sağlayabilir.

Özellikle:

  • Yedekleme işlemleri
  • Veri transferleri
  • Arşivleme
  • Depolama sistemlerindeki disk kullanımı

gibi alanlarda fayda sağlayabilir.

Bununla birlikte hash hesaplama, indeks arama ve veri parçalama gibi ek işlemler CPU ve bellek maliyeti oluşturur. Dolayısıyla tekilleştirme her zaman daha yüksek performans anlamına gelmez.

  1. Veri Tekilleştirme Nasıl Çalışır?

Veri tekilleştirme sistemleri genel olarak aşağıdaki aşamalardan oluşur.

Adım 1: Verinin Analiz Edilmesi

Sisteme gelen veri daha önce saklanan verilerle karşılaştırılmak üzere analiz edilir.

Adım 2: Benzersiz İçerik Kimliğinin Oluşturulması

Verinin içeriğinden bir hash değeri hesaplanabilir.

Örneğin SHA-256 algoritması kullanılarak dosyanın içeriğine bağlı bir özet oluşturulur.

Adım 3: Tekrar Kontrolü

Hesaplanan hash değeri mevcut içerik indeksinde aranır.

Eğer aynı hash değerine sahip bir içerik bulunursa, sistem bunun gerçekten aynı içerik olup olmadığını uygun doğrulama mekanizmalarıyla değerlendirebilir.

Hash eşitliği, teorik olarak içerik eşitliğinin kesin kanıtı değildir; hash çakışmaları mümkündür.

Adım 4: Verinin Saklanması

İçerik daha önce saklanmamışsa fiziksel depolamaya yazılır.

Aynı içerik zaten mevcutsa yeniden yazmak yerine mevcut içeriğe referans oluşturulabilir.

Bu yaklaşımın temelinde Content-Addressable Storage (İçerik Adreslemeli Depolama) mantığı bulunmaktadır.

  1. Veri Tekilleştirme Türleri

Tekilleştirme farklı ayrıntı seviyelerinde uygulanabilir.

4.1. Dosya Düzeyinde Tekilleştirme (File-Level Deduplication)

Bu yöntemde dosyalar bütün olarak karşılaştırılır.

İki dosyanın içeriği tamamen aynıysa yalnızca bir fiziksel kopya saklanabilir.

Avantajları:

  • Uygulaması görece kolaydır.
  • Büyük dosya arşivlerinde etkilidir.
  • Parçalama maliyeti oluşturmaz.

Dezavantajı: Dosyanın küçük bir bölümü değiştiğinde dosyanın tamamı farklı içerik olarak değerlendirilebilir.

4.2. Blok Düzeyinde Tekilleştirme (Block-Level Deduplication)

Bu yöntemde dosyalar veya veri akışları daha küçük bloklara ayrılır.

Örneğin 100 MB büyüklüğündeki bir dosya 4 KB bloklara bölünerek incelenebilir.

Her blok için ayrı bir hash hesaplanır. Daha önce saklanan bloklar tekrar yazılmaz.

Böylece dosyanın yalnızca değişen bölümlerinin depolanması mümkün olabilir.

4.3. Sabit Boyutlu Parçalama (Fixed-Size Chunking)

Veri, önceden belirlenmiş sabit boyutlarda parçalara ayrılır.

Örneğin her 4 KB veri bir blok olarak işlenebilir.

Bu yaklaşım basit ve hızlıdır. Ancak verinin başına birkaç bayt eklenmesi gibi durumlarda blok sınırları kayabilir ve çok sayıda blok farklı görünebilir.

4.4. İçerik Tanımlı Parçalama (Content-Defined Chunking)

Content-Defined Chunking (CDC), blok sınırlarını yalnızca sabit uzunluklara göre değil, verinin içeriğine göre belirler.

Bu yöntemde Rabin Fingerprinting veya FastCDC gibi tekniklerden yararlanılabilir.

CDC'nin önemli avantajı, verinin belirli bölgelerine ekleme veya silme yapıldığında değişmeyen diğer içeriklerin yeniden tanınabilmesidir.

Bu özellik özellikle sürümleme, yedekleme ve büyük veri arşivleme sistemlerinde yararlıdır.

  1. SQL ile Mükerrer Kayıtlar Nasıl Tespit Edilir?

Veritabanı düzeyinde sık karşılaşılan problemlerden biri aynı mantıksal kaydın birden fazla kez bulunmasıdır.

Örneğin aşağıdaki müşteri tablosunu ele alalım:

ID| Ad| E-posta 1| Ahmet| ahmet@example.com 2| Ayşe| ayse@example.com 3| Ahmet| ahmet@example.com 4| Mehmet| mehmet@example.com

Bu tabloda aynı e-posta adresine sahip birden fazla kayıt bulunmaktadır.

Aşağıdaki SQL sorgusuyla tekrar eden e-posta adresleri tespit edilebilir:

SELECT Email, COUNT() AS TekrarSayisi FROM Musteriler GROUP BY Email HAVING COUNT() > 1;

Bu sorgu, birden fazla kayıtta kullanılan e-posta adreslerini listeler.

Ancak aynı e-posta adresinin her sistemde mutlaka mükerrer müşteri anlamına gelmediğini unutmamak gerekir. Tekillik kuralları uygulamanın iş gereksinimlerine göre belirlenmelidir.

Tekrar Eden Kayıtları Listeleme

Oracle ve diğer birçok ilişkisel veritabanında "ROW_NUMBER()" fonksiyonu kullanılabilir.

SELECT * FROM ( SELECT m.*, ROW_NUMBER() OVER ( PARTITION BY Email ORDER BY ID ) AS SatirNo FROM Musteriler m ) WHERE SatirNo > 1;

Bu sorgu, aynı e-posta adresi için ilk kayıt dışındaki satırları listeler.

Burada "ORDER BY ID" kullanılması yalnızca örnek bir seçim stratejisidir. Gerçek sistemlerde hangi kaydın korunacağı; güncellik, doğruluk, ilişkili kayıtlar ve iş kurallarına göre belirlenmelidir.

Önemli: Mükerrer kayıtların doğrudan silinmesi, yabancı anahtar ilişkilerinin bozulmasına veya veri kaybına yol açabilir. Silme öncesinde ilişkilerin incelenmesi, işlem bütünlüğünün sağlanması ve yedek alınması gerekir.

  1. Hash Tabanlı Veri Tekilleştirme

Büyük veri sistemlerinde her yeni içeriği mevcut tüm içeriklerle bayt bayt karşılaştırmak maliyetli olabilir.

Bu nedenle birçok tekilleştirme sistemi hash tabanlı indeksleme kullanır.

Hash fonksiyonu, bir veriyi belirli uzunlukta bir özet değere dönüştürür.

Örneğin:

Veri A: "Merhaba Dünya" Veri B: "Merhaba Dünya" Veri C: "Merhaba Dunya"

A ve B aynı bayt dizisiyle kodlandığında aynı SHA-256 hash değerini üretir. C ise farklı bir içerik olduğu için çok büyük olasılıkla farklı bir hash üretir.

C# ile SHA-256 Örneği

using System; using System.Security.Cryptography; using System.Text;

public static string HashHesapla(string veri) { using (SHA256 sha256 = SHA256.Create()) { byte[] bytes = Encoding.UTF8.GetBytes(veri); byte[] hash = sha256.ComputeHash(bytes);

    return BitConverter.ToString(hash)
        .Replace("-", "")
        .ToLowerInvariant();
}

}

Bu fonksiyon aynı girdiye her zaman aynı hash değerini üretir.

Pratikte hash değerleri veritabanındaki bir indeksle eşleştirilerek aynı içeriğin daha önce kaydedilip kaydedilmediği araştırılabilir.

Güvenilir bir sistemde hash çakışmaları, eşzamanlı kayıt işlemleri ve referans yönetimi de dikkate alınmalıdır.

  1. Veri Tekilleştirme ile Veritabanı Normalizasyonu Arasındaki Fark

Veri tekilleştirme ve veritabanı normalizasyonu sıklıkla karıştırılır.

Oysa bu iki yaklaşım farklı problemlere odaklanır.

Özellik| Veri Tekilleştirme| Normalizasyon Temel amaç| Tekrarlanan içeriği azaltmak| Veri modelini düzenlemek Uygulama alanı| Dosyalar, bloklar, kayıtlar| İlişkisel tablolar Temel yöntem| Hash, karşılaştırma, referans| Anahtarlar ve normal formlar Öncelikli kazanım| Depolama verimliliği| Veri tutarlılığı Kullanım örneği| Aynı dosyayı bir kez saklamak| Müşteri bilgilerini ayrı tabloda tutmak

Örneğin bir sipariş sisteminde müşteri bilgilerinin her sipariş satırında tekrar tutulması normalizasyon açısından değerlendirilebilir.

Buna karşılık aynı PDF dosyasının binlerce kez yüklenmesi, dosya düzeyinde veri tekilleştirme ile ele alınabilir.

İki yaklaşım birlikte kullanılabilir ve birbirini tamamlayabilir.

  1. Büyük Veri ve Log Sistemlerinde Tekilleştirme

Modern uygulamalar çok büyük miktarda günlük (log) verisi üretmektedir.

Sunucular, mikroservisler, API sistemleri ve dağıtık uygulamalar sürekli olarak olay kayıtları oluşturur.

Örneğin:

2026-10-15 10:00:01 INFO User login successful 2026-10-15 10:00:02 INFO User login successful 2026-10-15 10:00:03 INFO User login successful

Bu kayıtların tamamı birebir aynı değildir. Zaman damgaları farklıdır.

Ancak mesaj şablonları aynıdır.

Log sistemlerinde şablon tabanlı sıkıştırma veya belirli alanların ayrıştırılması sayesinde tekrarlanan yapıların daha verimli temsil edilmesi mümkün olabilir.

Örneğin ortak mesaj şablonu bir kez saklanırken her olayın zaman damgası ve diğer benzersiz alanları ayrı tutulabilir.

Bu yaklaşım, geleneksel dosya tekilleştirmesinden farklı olarak log verisinin yapısal özelliklerinden yararlanır.

Tekilleştirme ile Sıkıştırmanın Birlikte Kullanılması

Veri tekilleştirme ve veri sıkıştırma birbirinden farklı tekniklerdir.

  • Tekilleştirme, farklı konumlarda tekrar eden aynı içeriğin gereksiz kopyalarını azaltır.
  • Sıkıştırma, verinin kendi içindeki istatistiksel tekrarları daha kısa bir gösterimle kodlar.

İki yöntem birlikte uygulandığında bazı veri kümelerinde daha yüksek depolama verimliliği elde edilebilir.

Ancak işlemlerin sırası, veri türü ve kullanılan algoritmalar elde edilen sonucu önemli ölçüde etkileyebilir.

  1. Tekilleştirme Oranı Nasıl Hesaplanır?

Tekilleştirme sistemlerinin verimliliği genellikle depolama kazanımı üzerinden değerlendirilir.

Tekilleştirme oranı:

[ R = \frac{D_{original}}{D_{stored}} ]

Burada:

  • (D_{original}): Tekilleştirme öncesindeki mantıksal veri boyutu
  • (D_{stored}): Tekilleştirme sonrasındaki fiziksel veri boyutu

Örneğin 500 GB verinin tekilleştirme sonrasında 100 GB alan kapladığını düşünelim.

[ R = \frac{500}{100} = 5 ]

Bu durumda tekilleştirme oranı 5:1 olur.

Depolama tasarrufu yüzdesi ise:

[ Tasarruf = \left(1-\frac{D_{stored}}{D_{original}}\right)\times100 ]

[ Tasarruf = \left(1-\frac{100}{500}\right)\times100 = 80% ]

Bu örnekte %80 depolama tasarrufu sağlanmıştır.

Gerçek ölçümlerde metadata, indeksler, referans tabloları ve diğer ek depolama maliyetlerinin hesaba katılması önemlidir.

  1. Veri Tekilleştirmenin Dezavantajları ve Zorlukları

Veri tekilleştirme önemli avantajlar sağlasa da her sistem için en uygun çözüm olmayabilir.

10.1. İşlemci ve Bellek Maliyeti

Hash hesaplama, blok parçalama ve indeks arama işlemleri ek sistem kaynağı tüketir.

10.2. Hash Çakışmaları

Farklı verilerin aynı hash değerini üretmesi teorik olarak mümkündür.

Bu nedenle veri bütünlüğünün kritik olduğu sistemlerde yalnızca hash eşitliğine güvenilmemelidir.

10.3. Referans Yönetimi

Birden fazla kayıt aynı fiziksel içeriği kullanıyorsa, içeriğin silinmesi sırasında referansların doğru yönetilmesi gerekir.

Aksi takdirde hâlâ kullanılan verilerin yanlışlıkla silinmesi mümkündür.

10.4. Güvenlik ve Erişim Kontrolü

Farklı kullanıcıların aynı fiziksel içeriği paylaşması, erişim yetkilerinin de paylaşılması anlamına gelmemelidir.

İçerik sahipliği, yetkilendirme ve kullanıcı izolasyonu bağımsız olarak yönetilmelidir.

Ayrıca bazı paylaşımlı tekilleştirme tasarımlarında bir içeriğin sistemde bulunup bulunmadığına ilişkin bilgi sızıntısı riskleri oluşabilir.

10.5. Veri Türüne Bağlı Verimlilik

Önceden sıkıştırılmış, şifrelenmiş veya yüksek entropili verilerde tekilleştirme kazanımı sınırlı olabilir.

Bu nedenle uygulanacak yöntemin gerçek iş yükü üzerinde test edilmesi gerekir.

  1. Hangi Sistemlerde Kullanılır?

Veri tekilleştirme özellikle aşağıdaki alanlarda kullanılmaktadır:

  • Yedekleme sistemleri: Birbirine benzeyen yedeklerin ortak veri bloklarını paylaşması.
  • Bulut depolama: Aynı içeriklerin gereksiz fiziksel kopyalarının azaltılması.
  • Belge yönetimi: Tekrar yüklenen belgelerin içerik bazında tanınması.
  • Sanal makine altyapıları: Benzer disk imajlarındaki ortak blokların değerlendirilmesi.
  • Dağıtık depolama sistemleri: İçerik adreslemeli veri yönetimi.
  • Log ve arşiv sistemleri: Tekrarlanan kayıt yapılarının daha verimli temsil edilmesi.
  1. Gelecekte Veri Tekilleştirme

Veri miktarındaki büyüme, tekilleştirme algoritmalarının daha verimli hâle getirilmesini önemli bir araştırma alanı yapmaktadır.

Özellikle şu konular dikkat çekmektedir:

Adaptif parçalama: Veri özelliklerine göre parçalama stratejisinin dinamik biçimde belirlenmesi.

İş yükü farkındalığı: Tekilleştirme kararlarının erişim sıklığı, yazma yükü ve sorgu davranışları dikkate alınarak verilmesi.

İndeks optimizasyonu: Büyük veri kümelerinde hash ve içerik indekslerinin bellek ve disk maliyetlerinin azaltılması.

Tekilleştirme ve sıkıştırmanın birlikte optimizasyonu: Depolama kazanımı, işlem maliyeti ve veri erişim performansı arasında daha iyi denge kurulması.

Dağıtık sistemlerde ölçeklenebilirlik: Tekilleştirme işlemlerinin farklı sunucular arasında tutarlı ve verimli biçimde gerçekleştirilmesi.

Bu alanlarda geliştirilecek algoritmalar, gelecekteki veri depolama altyapılarının maliyetini ve performansını doğrudan etkileyebilir.

Sonuç

Veri tekilleştirme, günümüz veri depolama ve yönetim sistemlerinde önemli bir optimizasyon yaklaşımıdır.

Aynı içeriğin gereksiz yere tekrar saklanmasını önleyerek depolama maliyetlerini azaltabilir, veri transferlerini optimize edebilir ve büyük ölçekli sistemlerin daha verimli çalışmasına katkı sağlayabilir.

Bununla birlikte tekilleştirme yalnızca tekrar eden verileri bulup silmekten ibaret değildir. İçerik analizi, hash hesaplama, indeksleme, referans yönetimi, veri bütünlüğü ve güvenlik gibi birçok teknik bileşeni içermektedir.

Özellikle büyük veri, dağıtık depolama ve log yönetimi sistemlerinde veri tekilleştirme, veri sıkıştırma ve verimli indeksleme tekniklerinin birlikte değerlendirilmesi, hem akademik araştırmalar hem de gerçek dünya uygulamaları açısından önemli fırsatlar sunmaktadır.

Doğru tasarlanmış bir tekilleştirme sistemi yalnızca daha az veri saklamayı değil, aynı zamanda veriyi daha akıllı ve sürdürülebilir biçimde yönetmeyi amaçlar.

Kaynaklar ve İleri Okuma

  1. "Microsoft Learn – Data Deduplication Overview" (https://learn.microsoft.com/en-us/windows-server/storage/data-deduplication/overview)
  2. "NIST – Secure Hash Standard (SHA)" (https://csrc.nist.gov/pubs/fips/180-4/upd1/final)
  3. "FastCDC: A Fast and Efficient Content-Defined Chunking Approach for Data Deduplication" (https://www.usenix.org/conference/atc16/technical-sessions/presentation/xia)
  4. "PostgreSQL Documentation – Unique Indexes" (https://www.postgresql.org/docs/current/indexes-unique.html)
  5. "SQLite Documentation – Window Functions" (https://www.sqlite.org/windowfunctions.html)