Bir yönetim raporlama toplantısında, gecikme nedenlerinin dağılımını gösteren bir tablo ekrana geldiğinde, tablonun altında çoğu zaman küçük bir not bulunur: analiz, gerekli tüm alanları doldurulmuş kayıtlar üzerinden yapılmıştır. Bu not neredeyse hiç tartışılmaz; teknik bir titizlik işareti olarak okunur ve toplantı, tablonun gösterdiği dağılım üzerinden ilerler. Oysa aynı dönemde sisteme girilen kayıtların önemli bir kısmı, tam da işler kötüye gittiği için tamamlanmamıştır — saha ekibi gecikmenin kök nedenini seçmek yerine formu yarım bırakmış, satın alma tarafı iptal edilen siparişin kapanış kodunu hiç girmemiş, insan kaynakları ayrılan çalışanın çıkış mülakatını yapamamıştır. Tablo, bu kayıtların hiçbirini içermez ve bu nedenle gecikmelerin dağılımını değil, gecikmeleri raporlamaya vakti olanların dağılımını gösterir.
Aynı örüntü, satış hunisi analizinde, tedarikçi performans skorlamasında, müşteri memnuniyeti ölçümünde ve saha kalite kayıtlarında tekrarlar. Müşteri memnuniyeti anketini dolduran müşteriler, ilişkiyi sürdürmeye devam edenlerdir; ilişkiyi kesenler anketi doldurmaz, dolayısıyla memnuniyetsizliğin en yoğun olduğu uç, ölçümün dışında kalır. Tedarikçi skorlaması, sözleşmesi yenilenmiş tedarikçilerin verisiyle beslendiği ölçüde, ayrılan tedarikçilerin neden ayrıldığını hiçbir zaman öğrenemez. Ortak nokta şudur: kayıt üretme kapasitesi ile ölçülmek istenen sonucun kendisi aynı yönde hareket eder, ve bu iki değişken birbirine bağlandığında analiz, kendi girdisini seçmiş olur.
Bu örüntünün adı complete-case bias — yalnızca tüm alanları dolu olan gözlemlerin analize alınması sonucu örneklemin sistematik biçimde kayması. Mekanizmanın çekirdeği, eksikliğin rastlantısal olduğu varsayımıdır. Eğer bir kayıttaki boşluk, kaydın içeriğinden bağımsız bir nedenle — bir yazılım hatası, bir arşiv kaybı, bir zamanlama tesadüfü — oluşuyorsa, eksik satırların silinmesi örneklemi küçültür ama bileşimini bozmaz; bu koşulda işlem gerçekten teknik bir temizliktir. Sorun, eksikliğin nedeninin ölçülmek istenen sonuçla ilişkili olduğu, yani boşluğun kendisinin bilgi taşıdığı durumda başlar. Kurumsal veride bu ikinci durum istisna değil, kuraldır: form dolduran kişi, işi yolunda giden kişidir.
Bu eğilimin işlevsel bir tarafı vardır ve bunu görmezden gelmek, çözümü de kaçırmak anlamına gelir. Eksik kayıtları dışarıda bırakmak, analiz maliyetini belirgin biçimde düşürür; eksikliğin nedenini araştırmak, saha ekibine geri dönmek, arşivi taramak ve boşluğun anlamını yorumlamak, bir raporlama döngüsünün tamamı kadar zaman tüketebilir. Haftalık bir yönetim raporunda bu maliyet karşılanabilir değildir, ve pratik olarak doğru karar, eksikleri silip devam etmektir. Kısayolun kendisi hata değildir; hata, aynı kısayolun bir yatırım kararına, bir kapasite genişletmesine ya da bir kapanış öncesi değerlemeye taşınmasıdır. Haftalık raporun tolere ettiği çarpıklık, beş yıllık bir taahhüde girdi olduğunda tolere edilebilir olmaktan çıkar.
Kurumsal bedel önce varyansta görünür. Complete-case bias'ın en tipik etkisi ortalamayı kaydırmak değil, dağılımın kuyruklarını kesmektir; en kötü vakalar zaten kayıt üretmediği için, geriye kalan seride sapma bandı gerçekte olduğundan dar çıkar. Bu daralma, proje süre tahminlerinde güvenlik payının yetersiz belirlenmesine, stok politikasında emniyet stokunun düşük tutulmasına, garanti ve iade karşılıklarının eksik ayrılmasına yol açar. Bir tahmin modelinin sistematik olarak iyimser çıkması, çoğu zaman modelin kendisinden değil, modeli besleyen serinin sessizce budanmış olmasından kaynaklanır.
İkinci bedel, işletme sermayesi ve karşılık kalemlerinde birikir. Tahsilat performansı, ödemesi tamamlanmış faturalar üzerinden hesaplandığında ortalama tahsilat süresi olduğundan kısa görünür; çünkü hiç tahsil edilmemiş alacaklar, tanımı gereği tamamlanmış bir ödeme kaydı üretmez ve seride yer almaz. Aynı mantık personel devir analizinde de işler: kıdem ortalaması, hâlen çalışanlar üzerinden hesaplandığında, ilk altı ayda ayrılanların tamamı denklemin dışında kalır ve şirket kendi elde tutma performansını yapısal olarak yüksek görür. Her iki durumda da rakam yanlış hesaplanmamıştır; hesabın kapsadığı evren yanlış tanımlanmıştır, ve bu ayrım denetim izinde nadiren görünür.
Üçüncü ve en pahalı bedel, inceleme masasında ortaya çıkar. Bir due diligence sürecinde alıcı tarafın analisti, sunulan veri setinin satır sayısı ile kaynak sistemdeki toplam kayıt sayısını karşılaştırdığında ve arada açıklanamayan bir fark bulduğunda, tartışma artık rakamların doğruluğu üzerine değil, verinin bütünlüğü üzerine yürür. Bu noktada satıcı tarafın verebileceği en zayıf cevap, farkın nereden geldiğinin bilinmemesidir; zira bu cevap, sunulan tüm serilerin aynı belirsizlikle malul olduğu çıkarımını meşrulaştırır. Pratik sonuç genellikle fiyat üzerinden değil, yapı üzerinden alınır: temsil ve tekeffül kapsamının genişlemesi, escrow oranının yükselmesi, ya da performansa bağlı bir earn-out diliminin devreye girmesi. Bir şirketin değerlemesini aşağı çeken şey çoğu zaman kötü performans değil, iyi performansın hangi evren üzerinde ölçüldüğünün gösterilememesidir.
Bu eğilim bireysel dikkatle yönetilemez, çünkü eksikliği fark etmesi beklenen kişi, veriyi hazırlayan kişiyle aynı kişidir ve onun elinde yalnızca kalan kayıtlar vardır. Nötrleyici mekanizma sistem tasarımındadır ve dört ayrılmış bileşenden oluşur. Birincisi, kapsama oranının zorunlu alan hâline getirilmesi: her tablo, kaç kaydın analize girdiğini değil, kaç kaydın dışarıda kaldığını ve bunun toplama oranını başlıkta taşır. İkincisi, eksiklik nedeninin ayrı bir değişken olarak kodlanması — boş hücre ile 'uygulanamaz', 'reddedildi', 'süreç kesildi' ve 'girilmedi' birbirinden ayrılır, böylece boşluğun kendisi analiz edilebilir bir kategoriye dönüşür. Üçüncüsü, ayrılan tarafın kaydı: iptal edilen proje, kaybedilen ihale, ayrılan çalışan ve sonlanan tedarikçi ilişkisi için kapanış kaydı, ilişkinin bitiş anında ve ilişkiyi yöneten kişiden bağımsız bir sorumlulukla tutulur. Dördüncüsü, eşik kuralı: kapsama oranı belirli bir seviyenin altına düştüğünde analiz karar girdisi olarak kullanılamaz, yalnızca gösterge olarak raporlanır.
BEIREK'in sermaye-yoğun projelerde kurduğu raporlama mimarisi bu dört bileşeni ayrı bir veri kalitesi katmanı olarak değil, mevcut proje kontrol ritminin içine gömülü biçimde işletir. Aylık ilerleme raporunun ilk sayfası performans rakamıyla değil, o rakamın hangi kayıt evreni üzerinden hesaplandığını gösteren kapsama tablosuyla açılır; gecikme, değişiklik talebi ve maliyet sapması serilerinin her biri için kapsanan ve kapsanmayan kayıt sayısı yan yana durur. İptal edilen paket, feshedilen alt yüklenici sözleşmesi ve reddedilen değişiklik talebi, aktif kayıtlarla aynı disiplinde arşivlenir; zira bir projenin gerçek risk profili, tamamlanan iş kalemlerinden çok, tamamlanmadan kapanan kalemlerin dağılımında görünür.
Bu mimarinin ikinci ayağı, finansman ve kapanış süreçlerine hazırlık tarafındadır. Bir kredi komitesine ya da alıcı tarafın inceleme ekibine gidecek her seri için, serinin türetildiği evrenin tanımı ve dışarıda kalan kayıtların gerekçesi önceden yazılı hâle getirilir; böylece inceleme masasında sorulan kapsama sorusu, savunma gerektiren bir sürpriz olmaktan çıkıp cevabı hazır bir kalem hâline gelir. Bu hazırlığın değeri, veriyi daha iyi göstermesinde değil, verinin sınırlarının şirket tarafından zaten bilindiğini göstermesindedir; karşı tarafın risk primini belirleyen şey çoğu zaman bulgunun kendisi değil, bulgunun ev sahibi tarafından önceden bilinip bilinmediğidir.
Bu disiplinin uygulanması, raporların görünümünü kısa vadede kötüleştirir ve bu beklenen bir sonuçtur. Kapsama oranı görünür kılındığında, daha önce kesin gibi okunan seriler koşullu hâle gelir, varyans bantları genişler, ve bazı göstergeler karar girdisi olma niteliğini geçici olarak kaybeder. Yönetim kademesinde bu genellikle bir gerileme olarak algılanır; oysa değişen şey performans değil, performansın ölçüldüğü evrenin dürüstlüğüdür. Uzun vadede kazanılan şey, tahmin bantlarının gerçek sapmayı içermesi ve dolayısıyla taahhütlerin tutulabilir kalmasıdır.
Bir şirketin veri olgunluğu, ne kadar çok veri topladığıyla değil, hangi verinin neden eksik olduğunu açıklayabilme kapasitesiyle ölçülür. Eksik kaydın nedenini bilmeyen bir kurum, elindeki tam kayıtların ne kadarını temsil ettiğini de bilemez; ve temsil kabiliyeti bilinmeyen bir seri, ne kadar temiz görünürse görünsün, bir yatırım kararının taşıyabileceğinden daha az ağırlık taşır. Sorulması gereken soru, tablonun ne gösterdiği değil, tabloya hiç girmemiş olan kayıtların neden girmediğidir.