Veri Analizi, Veri Kalitesi ve Bütünlüğü

Her alanda olduğu gibi bu alanda da paket programların piyasaya sürülmesi veri analizi sürecini oldukça kolaylaştırmaktadır. Gün geçtikçe üretici firmaların rekabetçi bir anlayışla bu alandaki programları geliştirip daha yeni sürümlerle ve daha profesyonel yazılımlarla kısa bir süre içerisinde istenilen istatistiksel analizlerin yapılmasına olanak sağlamaktadır.

Denetim ve danışmanlık firmalarında veri analizinin yeri çok önemlidir. Günümüzde verilerin büyük boyutlara ulaşması, bunların katlanarak artması ve karmaşıklaşması; yapılan çalışmalarda daha kapsamlı ancak kolay kullanılabilen ve yenilenen teknolojilerle uyumlu yazılımlara duyulan gereksinimi arttırmaktadır.

Daha büyük veri kaynaklarından her formatta veriyi okuyabilen, en gelişmiş veri analizi tekniklerini içeren, hızlı ve doğru analizlerle ayrıntılı ve çok çeşitli grafikler ve raporlar üretebilen yazılımlarla istenilen sonuçlara kolaylıkla ulaşılabilmektedir.

Son zamanlarda şirketlerin etkinlik ve verimliliklerini artırabilmek ve karar mekanizmalarını güçlendirebilmek için veri kalitesi ve bütünlüğüne verdikleri önem artırmaktadır. Bunun nedeni, veri kalitesi ve bütünlüğünün firmalara katmakta olduğu değerin büyük bir farkındalık yaratmasıdır.

 

Veri nedir?

Veri, nesneler ve nesnelerin niteliklerinden oluşan bir kümedir.

 

Örnek olarak kayıt (record), varlık (entity), örnek (sample, instance), nesne için kullanılabilir. Nitelik (attribute) bir nesnenin bir özelliğidir. Örnek olarak boyut (dimension), özellik (feature, characteristic) olarak da kullanılır. Nitelikler ve niteliklere ait değerler bir nesneyi oluşturur.

Uygulamalarda toplanan veri yetersiz, tutarsız ya da gürültülü olabilir.

Hata sebepleri:
• Hatalı veri toplama gereçleri
• Veri giriş problemleri
• Veri girişi sırasında kullanıcıların hatalı yorumları
• Veri iletim hataları
• Teknolojik sınırlamalar
• Veri isimlendirmede veya yapısında uyumsuzluk

 

Bu bağlamda, araştırmacının uygulayacağı istatistiksel tekniğe karar verebilmesi için aşağıda verilen bazı temel kavram ve bilgiler hakkında yeterli bilgiye sahip olması gerekmektedir:

• İstatistik
• Veri
• Seri
• Frekans
• İstatistiksel anlamlılık
• İstatistiksel hipotez
• Değişken
• Ölçek Çeşitleri
• Veri Analizinde Kullanılacak İstatistiksel Teknikler

 

Veri Analizi Türleri

Veri analizi temel olarak dört ana tür içerisinde incelenmektedir.

Tanımlayıcı analiz: Zamanı belirli bir sürecin bu zaman içerisinde ne şekilde işlediği ile ilgilenmektedir.

Tanısal analitik: bir durumun nedeni üzerinde daha fazla durmaktadır. Bu, daha çeşitli veri girişleri ve biraz varsayımlar içerecektir.

Tahmine dayalı analitik: Yakın vadede gerçekleşebilecek olan olaya doğru hareket etmektedir.

Reçeteli analitik: Bir hareket rotası önermektedir.

 

Veri Analiz Süreci Nasıl İşliyor?

Veri analiz süreci öncesinde gereksinimlerin doğru biçimde belirlenmesi ve bu doğrultuda hedeflerin de net şekilde ortaya koyulması gerekir. Hedeflere karar verildikten sonra süreç çok daha seri ve sonuç odaklı biçimde ilerleyebilir.

• Problemin Tespiti
• Veri Ölçüm Altyapısının oluşturulması
• Verinin Toplanması
• Veri Analizi
• Uygulama ve Testler

Problemin Tespiti: Ön analizler ışığında problemin tanımlanmasını ifade eder. Problem analiz edildiğinde neyin hedeflendiği konusunda net bir sonuç ortaya çıkarır.

Veri Ölçüm Altyapısının Oluşturulması: Veri ölçüm yöntemlerini belirlemek, ek veri kaynaklarını tespit etmek ve sisteme işlemek, Yeterli veri toplama sürecine karar vermek, tüm bu aşamada sağlıklı bir veri analizi için olmazsa olmaz bir unsurdur.

Veri Analizi: Temel veri analizlerinin gerçekleştirilmesi sürecini ifade eder. Gelişmiş veri analizleri de bu noktada devreye girerek, doğru sonuçlara ulaşamama riski en aza indirilmeye çalışılır.

Uygulama ve Testler: Veriden elde edilen bilgilerin test edilmesi sürecini kapsar, testlerin sağlıklı sonuçlar vermesi halinde, yürütülen veri analiz sürecinin başarıya ulaştığı söylenebilir.

 

Veri Analiz Araçları

Pek çok farklı veri analiz aracı ve türü bulunur. Temelde ise 3 ana kategoride değerlendirilir;
• Görsel
• Sayısal
• Sözel

Görsel olarak veri analizleri sunan araçlardır. Harita, fotoğraf, grafik gibi farklı türlerde veri analiz sonuçlarını ortaya koyar.

Sayısal olarak veri analizleri sunan araçlar; özellikle sayısal veriler üzerinden sonuçları değerlendirmemize yardımcı olur. Sayısal ve görsel olarak analizler sunan veri analiz araçları da mevcuttur.

Sözel olarak; ana temel problemlerin belirlenmesi, kavramsallaştırma, yöntem, politika ve uygulamalar hakkında değerlendirmeler sunar.

 

Hangi şirketler veri kalitesi ve bütünlüğü çalışmalarına ihtiyaç duymaktadır?

• Kompleks yapılara sahip olanlar,
• Büyük kapasitelerde arşiv bilgisine sahip olanlar,
• Büyük rakamlarda müşteri sayısına sahip olanlar.

 

Şirketler Veri Kalitesi ve Bütünlüğü konusunda kendilerini nasıl geliştirebilir, nasıl yöntemlerden faydalanabilir?

Bunları 5 ana başlık çerçevesinde toparlayabiliriz :
Veri Doğrulama (Data Validation),
Veri Madenciliği (Data Mining),
Veri Temizleme (Data Cleansing),
Veri Optimizasyonu (Data Optimization)
Kontrollerin İzlenmesi/Takibi (Monitoring Controls)

 

Tüm bu yöntemler ayrı ayrı kullanılabilirken, projenin yapısına ve büyüklüğüne bağlı olarak birlikte de kullanılabilmektedir.

 

Veri Doğrulama (Data Validation):

Şirketler sistemlerinde yenilik yapıp kolay kullanılabilen sistemler ya da veriler oluşturabilmek için çok büyük boyutlarda zaman ve para harcamaktadır. Üstelik her yeni sistem uygulamasında ya da veri geçişinde verinin bozulma ihtimali vardır. Yani, her yeni sistem değişikliği aslında bir risk doğurmakta ve veri doğrulama işlemine gereksinim duymaktadır. Dolayısı ile kurumların da bu yeni sistemlerin doğruluğunu ve verinin bütünlüğünü teyit edebilmeleri gerekir.

Veri Madenciliği (Data Mining):

Veri madenciliği, büyük veri yığınları içerisinden gelecek ile ilgili tahminde bulunabilmemizi sağlayabilecek bağıntıların bilgisayar programı kullanarak aranmasıdır.

Borç veren, devralıcı ya da resmi kurumlar tarafından açığa çıkarılan finansal verinin bağımsız tahminleri çok çabuk istenmektedir ve bu da çok büyük olan bir verinin acilen incelenmesini gerektirmektedir.

Veri madenciliği sorgu işleme (sonuç çıkarıma yönelik) ya da uzman sistemler veya küçük istatistiksel programlar değildir. Veri madenciliği aslında bilgi keşfi sürecinin bir parçası şeklinde kabul görmektedir.

Bu adımlar:
• Veri Temizleme (gürültülü ve tutarsız verileri çıkarmak)
• Veri Bütünleştirme (birçok veri kaynağını birleştirebilmek)
• Veri Seçme (Yapılacak olan analiz ile ilgili olan verileri belirlemek)
• Veri Dönüşümü (Verinin veri madenciliği tekniğinden kullanılabilecek hale dönüşümünü gerçekleştirmek)
• Veri Madenciliği (Veri örüntülerini yakalayabilmek için akıllı metotları uygulamak)
• Örüntü Değerlendirme (Bazı ölçümlere göre elde edilmiş bilgiyi temsil eden ilginç örüntüleri tanımlamak)
• Bilgi Sunumu (Madenciliği yapılmış olan elde edilmiş bilginin kullanıcıya sunumunu gerçekleştirmek)

Günümüzde şirketlerin iş ve stratejik karar alma süreçlerinde en büyük gereksinimlerden biri de, sahip oldukları ham veriyi işleyerek yeni bilgi, fırsat ve aksiyonlar üretmek; ürettikleri bilgiyi piyasa ihtiyaçlarına yanıt verecek biçimde kullanmaktır.

Veri Madenciliği yöntemleri ile şirketler, çok büyük veri yığınlarından önceden bilinmeyen, geçerli ve uygulanabilir değerli bilgiyi kısa sürede elde ederek önemli rekabet avantajları (gelirlerde artış, maliyetlerde düşüş ve yetkin bir piyasa farkındalığı…) sağlayabilmektedir.

Veri Madenciliği; finans, bankacılık, perakende, sigorta, telekomünikasyon başta olmak üzere pek çok sektörde, şirketlerin veri tabanları ya da veri ambarlarında bulunan verilerden geleceğe yönelik tahminler, modeller elde etmeye olanak sağlamaktadır.

Dünyanın önde gelen firmaları, veri madenciliği tekniklerini; müşteri ilişkileri yönetiminden, kredi derecelendirmeye; risk analizinden, satış tahminlerine kadar pek çok alanda başarıyla kullanmaktadırlar.

Veri madenciliğinde aşağıdaki teknikler uygulanmaktadır:
• Yapay sinir ağları
• Genetik algoritmalar
• İstatistik kökenli yöntemler
• Kural eldesi algoritmaları ve karar ağaçları
• Veri görselleştirme

 

Veri Temizleme (Data Cleansing):

Veri analizi işlemini gerçekleştirmeden önce veri temizliği yapmak gerekmektedir.

Bu adım çok kritiktir ve veri analizi sürecinin başarılı ya da başarısız olmasında bir anahtar işlevi görmektedir. Veri temizleme, hatalı, uyumsuz ve yarım kalmış kayıtların ortaya çıkarılmasını içerir. Hatalı ya da tamamlanmamış veriler bir kere tespit edildiğinde, analizden çıkarılmalı ya da düzeltilmelidir. Gerçek uygulamalarda veri eksik, gürültülü veya tutarsız olabilir.

Eksik veri diğer veri kayıtlarıyla tutarsızlığı nedeniyle silinmesi, bazı nitelik değerleri hatalı olması dolayısıyla silinmesi, yanlış anlama sonucu kaydedilmeme ve veri girişi sırasında bazı nitelikleri önemsiz göre sonucunda ortaya çıkabilir.

Veri Temizleme metodu sonucunda ERP ve ebusiness çalışmaları için kesin ve uygulanabilir fayda sağlanmaktadır. Ayrıca Veri Optimizasyonu ile de ek faydalar elde edilebilir:

Veri Temizleme Faydaları Veri Optimizasyonu Faydaları :
• SAP’e temiz geçiş
• Sistem entegrasyonu ve yazılım uygulamaları sonucu ortaya çıkan katma değer
• E-business’a geçiş sürecindeki başarı
• Gelişmiş müşteri servisi ve memnuniyeti
• Potensiyel risk seviyesinde azalma
• Temiz veri sonucu elde edilen rekabetçi üstünlük

 

Veri Optimizasyonu (Data Optimization):

Veri işleme ve veri işlemenin optimizasyonu, yönetsel yapılarda büyük önem kazanır. Büyük tutarlarda verinin işlenmesi, zamansal kısıtlar nedeniyle optimizasyon gerektirir.

 

Bu noktada, Veri Temizleme (Data Cleansing) ve Veri Optimizasyonu’nun (Data Optimization) benzerliklerini ve farklılıklarını çok iyi anlamak gerekmektedir.

Veri Temizleme işlemi kesinlikle Veri Optimizasyonundan önce gerçekleştirilmelidir, çünkü ancak temiz bir veri ile güvenilir veri analizi sonucuna ulaşılabilir.

Bunun yanında ise, Veri Temizleme ve Veri Optimizasyonu’nun güçlü yanları ele alınarak, ikisini birlikte kullanmak Proje Sürecini/Döngüsünü daha güçlü bir hale getirmektedir.

Veri Optimizasyonu Faydaları:

• Gelişmiş Nakit Akışı
• Organizasyondaki sonuç odaklı departmanlara daha çok kaynak ve zaman ayrılması
• Stratejik kararları etkileyen analizlerin iyileştirilmesi
• Organizasyon içerisindeki gelişmiş ilişkiler
• Müşteri ve tedarikçi tarafında risklerin azalması

 

Kontrollerin İzlenmesi/Takibi (Monitoring Controls):

Prosedür ve kontroller otomize olduğu sürece, bilginin doğruluğunu teyit etmek amacı ile üst yönetim ya da bağımsız gözden geçirmeye duyulan ihtiyaç artmaktadır. Aksi takdirde üst yönetim veri doğruluğu ve bütünlüğünden emin olamaz. Bu durumda da veri örneklemesi ve analizi yardımı ile düzenli özet istatistikler önem kazanmaktadır.

Geçmişe yönelik veri saklayan sistemlerdeki verinin kalitesini ve günümüz koşullarındaki işe yararlılığını ölçmeyi ve artırmayı, anlamlı hale gelmesini sağlamayı ve şirketlerin hızlı ve esnek raporlama gereksinimlerini karşılamayı hedefleyen veri kalitesi ve bütünlüğü konusu son günlerde tüm dünyada olduğu gibi Türkiye’de de ilgi çekmeye ve önem kazanmaya başlamıştır.

Bu fonksiyonun gerçekleşmesi için özel yazılımlar kullanılmakta, çeşitli istatistiksel metotlar ile verilerin analizi gerçekleştirilmektedir. New Bilişim Teknolojileri olarak geliştirdiğimiz özel yazılımlar ile bunu sağlamaktayız.

Denetim ve danışmanlık dünyasında da veri kalitesi ve bütünlüğü kapsamında, uygulamalardaki veriler firmaların talepleri doğrultusunda düzeltilmekte veya yeniden sisteme girilmektedir.

Zaman içerisinde bütün sistemlerin özelliklerinde ve dolayısıyla ürettikleri verilerde ortaya çıkan değişiklikler, kurulan modellerin sürekli olarak izlenmesini ve gerekiyorsa yeniden düzenlenmesini gerektirmektedir.

Tahmin edilen ve gözlenen değişkenler arasındaki farklılığı gösteren grafikler model sonuçlarının izlenmesinde kullanılan yararlı bir yöntemdir.

 

Veri Analizinin Yararları ve Zorlukları

Üretici firmalar için veri analizinin en önemli noktası ise üretimden veri toplama işlemidir.

Günümüzde veri sayısı oldukça fazladır ve bundan dolayı veri analizi her zaman kolaylık anlamına gelmemektedir. Yani, tüm verilerin ele alınması ve sunulması, veri analizinin en zorlu yönlerinden ikisidir.

Geleneksel mimariler ve altyapılar, günümüzde üretilmekte olan büyük miktarda veriyi idare edememektedir ve karar vericiler verilerden eyleme geçirilebilir bir bakış açısı elde etmenin beklenenden daha uzun sürdüğünü görebilmektedir.

Neyse ki, veri yönetimi ve müşteri yönetimi çözümleri, firmalara müşteri etkileşimlerini dinleme, davranışlardan ve bağlamsal bilgilerden öğrenme, daha etkili işlem yapılabilir bilgiler oluşturma ve hedefleri optimize etmek ve iş uygulamalarını iyileştirmek için iç görüler hakkında daha akıllıca uygulama yapma yeteneği verir.