Bir performans gözden geçirme toplantısında, çeyrek sonuçlarının beklentinin altında kaldığı tespit edildikten sonra izlenen tipik seyir şudur: analiz ekibi veriyi bölgeye göre kırar, sonra kanala göre, sonra müşteri büyüklüğüne göre, sonra ürün ailesine göre, ardından bu kırılımların ikili kombinasyonlarına iner. Yirmi otuz kesitin ardından, bir kesitte belirgin bir örüntü belirir — belirli bir bölgede belirli bir kanalın, orta ölçekli müşterilerde beklenenin epeyce üzerinde dönüşüm ürettiği görülür. Bu bulgu bir sonraki toplantıya tek başına gider; denenen diğer yirmi dokuz kesit sunuma girmez, çünkü onlar bir şey söylemiyordur. Sunumun başlığı bulgunun kendisidir, aramanın hacmi değil.
Aynı örüntü fiyatlama testlerinde, işe alım kriterlerinin geçmiş performansla ilişkilendirilmesinde, tedarikçi kalite verisinin nedensel okumalarında ve kampanya sonrası etki ölçümlerinde tekrarlanır. Ortak yapı sabittir: sabit bir veri kütlesine çok sayıda soru sorulur, sorulardan biri anlamlı bir cevap verir, ve karar süreci yalnızca o cevabı görür. Sorulan soruların toplam sayısı hiçbir yerde kayıtlı olmadığı için, bulunan cevabın ne kadarının gerçek sinyal ne kadarının arama hacminin doğal ürünü olduğu değerlendirilemez hâle gelir.
Bu mekanizmanın adı multiple-comparisons problem — çoklu karşılaştırma sorunu; aynı veri üzerinde birbirinden bağımsız çok sayıda test yürütüldüğünde, testlerden en az birinin yalnızca rastlantı sonucu anlamlı görünme olasılığının, test sayısıyla birlikte hızla yükselmesi. Tek bir hipotez sınandığında kabul edilen yanılma payı makul bir eşikte tutulabilirken, yirmi hipotez aynı veriye uygulandığında, hiçbiri gerçekte doğru olmasa dahi en az birinin eşiği geçmesi beklenen sonuçtur. Buradaki sorun testin hatalı yürütülmesi değildir; her test kendi başına doğru yürütülmüş olabilir. Sorun, testlerin bir bütün olarak değil tek tek değerlendirilmesi, ve yalnızca kazananın raporlanmasıdır.
Eğilimin işlevsel olduğu koşullar vardır ve bunları görmezden gelmek meseleyi yanlış çerçeveler. Keşfe dönük analiz — hangi değişkenin ilgiyi hak ettiğini bilmediğin, hipotez üretmeye çalıştığın aşama — doğası gereği çok sayıda kesit denemeyi gerektirir; burada geniş tarama maliyeti düşük, getirisi yüksek bir davranıştır. Bir üretim hattında hatanın kaynağını ararken, bir portföyde performans sapmasının nereden geldiğini bulmaya çalışırken, geniş tarama doğru yöntemdir. Kısayolun bozulduğu an, keşif aşamasında üretilen bir adayın doğrulama aşamasından geçmiş bir bulgu gibi muamele görmesi, ve karar diline bu ikinci sıfatla girmesidir.
Örgütsel yapı bu geçişi kolaylaştıracak biçimde kurulmuştur. Analiz ekibinin performansı çoğu zaman bulduğu içgörülerin sayısı ve etkisiyle değerlendirilir; "bu çeyrekte anlamlı bir örüntü bulunamadı" cümlesi hiçbir performans değerlendirmesinde iyi okunmaz. Dolayısıyla arama, anlamlı bir şey çıkana kadar sürer ve çıktığında durur — durma kuralının kendisi bulgunun varlığına bağlı olduğu için, süreç yapısal olarak sahte keşif üretmeye ayarlıdır. Buna bir de sunum ekonomisi eklenir: yönetim kuruluna otuz kesit değil, en çarpıcı bir kesit gider, çünkü zaman kısıtı budur.
Kurumsal bedel, hatalı bulgunun kendisinde değil, o bulguya bağlanan taahhütlerde birikir. Rastlantısal bir segment sinyali, bir sonraki yılın satış kadrosu tahsisini, kanal bütçesinin yeniden dağıtımını, hatta bir bölgesel ofisin açılışını gerekçelendirebilir; bu kararların hepsi geri alınması pahalı, takvimi uzun ve kurumsal olarak kişiselleşmiş kararlardır. Bulgu bir yıl sonra tekrarlanmadığında, ortaya çıkan sonuç "analiz yanlıştı" değil, "uygulama zayıf kaldı" olarak çerçevelenir — çünkü uygulamanın sorumlusu bellidir, aramanın hacmi ise kayıtlı değildir. Böylece hatalı bulgu, kendisini düzeltmek yerine bir sonraki bütçe döngüsünde ek kaynak talep eden bir yapıya dönüşür.
Aynı mekanizma bir due diligence sürecinde satıcı tarafında karşımıza çıktığında, değerleme diline doğrudan geçer. Veri odasına konan büyüme anlatısı çoğu zaman belirli bir müşteri kohortunun, belirli bir dönemde, belirli bir üründeki performansına dayanır; bu kesitin neden seçildiği ve kaç alternatif kesit içinden çıktığı sorulmadığında, anlatı tekrarlanabilir bir yetkinlik gibi fiyatlanır. İnceleme tarafında bu sorunun sorulması, tipik olarak ya çarpanda bir düzeltmeye ya da kapanış sonrası performansa bağlı bir earn-out yapısına yol açar; zira alıcı, gösterilen performansın kurumsal bir kabiliyetten mi yoksa kesit seçiminden mi geldiğini ayırt edemediği ölçüde riski fiyata değil yapıya taşımayı tercih eder.
Bu eğilimi nötrleyen mekanizma bireysel istatistik disiplini değildir; analistin daha dikkatli olması, arama hacmi kayıtsız kaldığı sürece sonucu değiştirmez. Nötrleştirici yapı üç bileşenden oluşur: birincisi, hipotezin analiz başlamadan önce yazılı olarak kaydedilmesi — hangi soruyu sorduğun, hangi kesitle çalışacağın, hangi eşiği anlamlı sayacağın, veri açılmadan önce belirlenir. İkincisi, denenen tüm kesitlerin sayısının bulguyla birlikte raporlanması; tek bir cümle yeterlidir ve bulgunun ağırlığını tamamen değiştirir. Üçüncüsü, keşif aşamasında çıkan hiçbir bulgunun, bağımsız ve sonraki bir dönemin verisinde tekrarlanmadan karar diline girmemesi.
Bu üç bileşenin işleyebilmesi için teşvik yapısının da düzeltilmesi gerekir, aksi hâlde kayıt tutma ritüele dönüşür. "Bu çeyrekte doğrulanan bir bulgu yok" cümlesinin, en az bir bulgu kadar geçerli bir analiz çıktısı olarak kabul edildiği bir gözden geçirme kültürü, diğer bütün mekanizmaların ön koşuludur. Buna paralel olarak, karar dokümanlarında bulgunun statüsünün açıkça etiketlenmesi — keşif adayı mı, doğrulanmış bulgu mu — sermaye tahsisinin hangi kanıt seviyesine dayandığını görünür kılar. Bu ayrım yapılmadığında, bütün bulgular aynı ağırlıkta okunur ve en zayıf kanıt en büyük taahhüdü doğurabilir.
BEIREK'in sermaye-yoğun projelerde bu soruna müdahalesi, analiz kalitesini denetlemekten çok, kararın dayandığı kanıt zincirini yazılı ve izlenebilir hâle getirmek üzerinden işler. Yatırım kararına giden her analitik iddia için, iddianın hangi soruyla üretildiğini, hangi veri kesitinin kullanıldığını, kaç alternatif kesitin denendiğini ve bulgunun hangi bağımsız dönemde doğrulandığını kaydeden bir karar dosyası tutulur; bu dosya kararın onaylandığı anda değil, iddianın ilk kez ortaya atıldığı anda açılır. Onay anında açılan kayıt, geriye dönük olarak yalnızca kazanan hipotezi belgeler ve aramanın hacmini görünmez bırakır.
Bunun üzerine, model varsayımlarının ve talep senaryolarının belirli bir ritimde yeniden test edildiği bir gözden geçirme döngüsü işletilir: FID öncesi kabul edilen her kritik varsayım, kapanış ve ilk çekiş aşamalarında aynı sorularla yeniden sınanır, ve bir önceki dönemde anlamlı görünen bir örüntünün yeni veride tekrarlanıp tekrarlanmadığı açıkça raporlanır. Tekrarlanmayan bulgular sessizce düşürülmez; düşürüldükleri kaydedilir, çünkü bir varsayımın hangi aşamada geçersizleştiği, bir sonraki projenin analitik kalibrasyonu için taşınabilir tek bilgidir. Kurumsal hafızayı oluşturan şey doğrulanmış bulguların listesi değil, doğrulanmayanların kaydıdır.
Bir kurumun analitik olgunluğu, ürettiği içgörü sayısıyla değil, ürettiği içgörüleri hangi eşikten geçirdiğiyle ölçülür. Veriden çıkan her örüntü bir keşif adayıdır; sermaye tahsisini hak eden bulgu ise, kendisini arayan gözden bağımsız olarak, ikinci kez ortaya çıkabilendir. Yönetim masasında sorulması gereken soru bulgunun ne söylediği değil, o bulguya ulaşmak için kaç soru sorulduğu ve bu soruların kaçının kayıtlı olduğudur.