Bir analiz ekibi, portföyün son beş yıllık performans verisini yatırım komitesine sunmak üzere hazırlarken, hangi değişkenin sonucu açıkladığını bulana kadar veriyi farklı kesitlerden okur; önce coğrafyaya göre ayırır, sonuç zayıf çıkınca sözleşme tipine göre ayırır, orada da net bir ayrışma görünmeyince proje büyüklüğü bandına, ardından yükleniciyle çalışılan yıl sayısına, en sonunda ise kapanış çeyreğine göre ayırır. Beşinci ya da altıncı kesitte, gözle görülür bir ayrışma belirir: belirli bir eşik üzerindeki projelerin marjı belirgin biçimde yüksektir. Sunuma giren şey bu son kesittir; kendisine ulaşılana kadar denenmiş ve sessizce elenmiş diğer kesitler ise ne slaytta ne de ekin dipnotunda yer alır.
Bu, ekibin dürüstlüğüyle ilgili bir mesele değildir; nitekim elenen kesitler bilinçli olarak gizlenmez, yalnızca ilgisiz bulunduğu için taşınmaz. Aynı örüntü, satış ekibinin hangi müşteri segmentinin dönüşüm oranının yüksek olduğunu araştırırken, İK'nın hangi işe alım kanalının daha uzun kalan personel ürettiğini incelerken, ya da satın alma biriminin hangi tedarikçi profilinin gecikme üretmediğini ararken de tekrar eder. Ortak yapı şudur: sabit bir veri seti vardır, o veri setine çok sayıda soru sorulur, ve yalnızca olumlu cevap veren soru yukarı taşınır. Sorunun sayısı ise kararın hiçbir aşamasında sorulmaz.
Buradaki mekanizmanın adı data-snooping bias — aynı veri kümesi üzerinde çok sayıda deneme yapıldığında, tesadüfen ortaya çıkan bir örüntünün gerçek bir ilişki sanılması. Mekanizmanın işleyişi sezgisel olmaktan çok aritmetiktir: rastlantısal dalgalanma içeren herhangi bir veri setinde, birbirinden bağımsız yeterince çok kesit denendiğinde, hiçbir gerçek nedensel ilişki bulunmasa dahi en az birinin anlamlı görünmesi beklenen sonuçtur. Anlamlılık ölçütü tek bir hipotez için kalibre edilmiştir; onlarca hipotez arasından seçilmiş bir kazananın aynı ölçütle değerlendirilmesi, ölçütün kendisini geçersiz kılar. Yani bulgunun istatistiği doğru hesaplanmış olabilir; yanlış olan, o istatistiğin hangi arama sürecinin sonunda elde edildiğinin bilinmemesidir.
Bu eğilimin belirli koşullarda işlevsel olduğunu görmezden gelmek, mekanizmayı yanlış tarif etmek olur. Keşif aşamasında veriye çok sayıda açıdan bakmak, hipotez üretmenin tek makul yoludur; bir portföyün nerede para kazandığını bilmeyen bir ekibin, önce yazılı hipotez kurup sonra bakması gerçekçi değildir. Sorun, keşif ile doğrulama arasındaki sınırın kaybolmasındadır: keşif aşamasında üretilen bir gözlem, aynı veri üzerinde test edildiğinde doğrulanmış sayılır, ve karar bu sahte doğrulamanın üzerine kurulur. Kısayol keşifte maliyeti düşürür; koşul değişip karar aşamasına geçildiğinde ise aynı kısayol maliyetin kaynağı hâline gelir.
Kurumsal bedelin ilk göründüğü yer, çoğu zaman bir yatırım kararının kendisi değil, o kararı izleyen sapma raporudur. Belirli bir eşik üzerindeki projelerin daha yüksek marj ürettiği bulgusu üzerine kurgulanan bir büyüme tezi, sermayeyi daha büyük projelere yönlendirir; iki ya da üç dönem sonra gerçekleşen marj tezle uyuşmadığında, ilk refleks tezi sorgulamak değil, uygulamayı sorgulamak olur. Bu noktada organizasyon, olmayan bir ilişkiyi kovalayan bir operasyonel iyileştirme programı başlatır, ve tesadüfi bir korelasyonun bedeli yalnızca yanlış tahsis edilen sermaye değil, aynı zamanda o sermayeyi kurtarmak için harcanan yönetim dikkati olur.
İkinci bedel kalemi, fiyatlama ve teklif disiplininde birikir. Bir tedarikçi ya da müşteri segmentinin geçmiş verideki üstün performansına dayanarak kurulan iskonto yapısı, o performans tesadüfi ise, sözleşme süresi boyunca taşınan sabit bir marj kaybına dönüşür; sözleşme bir kez imzalandığında bulgunun yanlış olduğunun anlaşılması fiyatı geri getirmez. Benzer biçimde, geçmiş gecikme verisinden türetilmiş bir yüklenici seçim kriteri, LD tavanının ve iş programı tamponunun kalibrasyonunu doğrudan etkiler; kriter zayıfsa, tampon olması gerekenden dar kurulur ve fark inşaat dönemi finansman maliyetinde görünür.
Üçüncü ve en az fark edilen bedel, due diligence masasında ortaya çıkar. Bir şirketin büyüme tezini destekleyen kohort analizleri, segment kârlılık tabloları ve müşteri yaşam boyu değeri hesapları incelendiğinde, alıcı tarafın sorduğu asıl soru bulgunun ne olduğu değil, bu bulguya ulaşılana kadar kaç farklı segmentasyonun denendiğidir. Bu sorunun cevabı belgelenmemişse — ki tipik olarak belgelenmemiştir — analiz doğrulanamaz kabul edilir, ve doğrulanamayan bir büyüme tezi değerlemede ya çarpan iskontosu ya da kazanılmış hedeflere bağlı earn-out yapısı olarak fiyatlanır. Şirketin kendi içinde ikna edici bulduğu analiz, dışarıdan bakan bir komite için yalnızca bir hipotezdir.
Bu eğilimi nötrleyen mekanizma bireysel dikkat değil, kayıt disiplinidir; zira hiçbir analist, denediği yirmi kesitten on dokuzunu unuttuğu için değil, onları raporlamanın kurumsal olarak beklenmediği için raporlamaz. Buradaki yapısal müdahale dört bileşene ayrılır: (a) hipotezin veriye bakmadan önce yazılı hâle getirilmesi ve tarihlendirilmesi, (b) denenmiş kesitlerin ve elenmiş hipotezlerin sayısıyla birlikte kayda geçmesi, (c) karar için kullanılacak bulgunun, keşifte kullanılmamış ayrı bir dönem ya da örneklem üzerinde tekrar test edilmesi, (d) bulgunun ekonomik mantığının, istatistiğinden bağımsız olarak sözle savunulabilir olması. Dördüncü bileşen özellikle kritiktir: neden böyle olduğunu açıklayamayan bir ilişki, ne kadar güçlü görünürse görünsün, sermaye tahsisine temel oluşturmaz.
BEIREK'in karmaşık ve sermaye-yoğun projelerde yürüttüğü analiz hattı bu ayrımı süreç düzeyinde sabitler. Bir portföy performans analizine ya da fizibilite modeline başlarken, test edilecek hipotezler ve bunların hangi veri kesitleriyle sınanacağı analiz başlamadan önce yazılı bir hipotez kaydına geçirilir; analiz ilerledikçe elenen kesitler silinmez, kayıtta kalır, ve nihai memoranduma bulgunun yanında kaç denemeden sonra elde edildiği bilgisi eklenir. Karar niteliği taşıyan bulgular ise ilkesel olarak keşifte kullanılmamış bir dönem üzerinde tekrar sınanır; bu sınamayı geçemeyen bulgu, modele girmez, yalnızca izlenecek bir gözlem olarak not düşülür.
Aynı disiplin, müşteri tarafında hazırlanmış analizlerin incelenmesinde de işletilir. Bir geliştiricinin ya da hedef şirketin sunduğu segment kârlılık analizini değerlendirirken sorulan ilk soru bulgunun büyüklüğü değil, analizin arama tarihçesidir: hangi segmentasyonlar denendi, hangileri sunuma girmedi, bulgu hangi dönemde keşfedildi ve hangi dönemde doğrulandı. Bu soruların cevabı belge düzeyinde alınamadığında, ilgili bulgu değerleme modelinde bağımsız bir varsayım olarak değil, duyarlılık analizinde bir aralık olarak taşınır — böylece tez, doğruluğu kanıtlanmamış tek bir sayının üzerine değil, aralığın alt ucunda da ayakta kalabilecek bir yapının üzerine kurulur.
Bu müdahalelerin toplam etkisi, analiz kapasitesini kısıtlamak değil, analizin ürettiği güvenin kalibrasyonunu düzeltmektir. Veriye çok sayıda açıdan bakan bir ekip, bakış sayısını kaydettiği ölçüde daha az değil daha çok bulgu üretebilir; zira hangi bulgunun sağlam hangisinin geçici olduğunu ayırt edebilen bir organizasyon, geçici olanı da kullanabilir — yalnızca ona daha az sermaye bağlar ve daha kısa vadeli bir taahhüt verir. Kayıt disiplininin asıl kazancı, doğru ile yanlışı ayırmak değil, güvenin derecesini karara ölçülü biçimde yansıtabilmektir.
Nihayetinde bir kurumun analitik olgunluğu, ne kadar çok veri işlediğiyle değil, bir bulgunun arkasındaki arama sürecini yeniden kurabilme kapasitesiyle ölçülür. Bir yatırım komitesi masasına gelen her grafiğin ardında, o grafiğe ulaşılana kadar bakılmış ve bakılmamış kesitlerden oluşan bir tarihçe vardır; bu tarihçe kayıt altındaysa bulgu bir kanıttır, kayıt altında değilse yalnızca bir izlenimdir. Sorulacak soru şudur: kurumun bugün taşıdığı stratejik tezlerden kaçının arama tarihçesi bugün geri çağrılabilir durumdadır?