Bir yatırım komitesi oturumunda, satın alma hedefinin talep tahmin modeli sunulduğunda, sunumun en güçlü slaytı neredeyse her zaman aynıdır: modelin son üç yılın gerçekleşmelerini ne kadar yakından öngördüğünü gösteren, iki eğrinin birbirine yapıştığı grafik. Odadaki kimse bu grafiğe itiraz etmez; çünkü grafik, kendi iddiasını kendi üzerinde kanıtlıyor gibi görünür. Buna karşılık aynı modelin, sunumdan sonraki ilk çeyrekte üretilen tahminleri, gerçekleşmeden belirgin biçimde sapar ve sapmanın yönü tutarsızdır — bazen yukarı, bazen aşağı, hiçbir sistematik önyargı okunacak biçimde değil. Modeli kuran ekip bu sapmayı tipik olarak pazar koşullarındaki değişime, tedarik zincirindeki dalgalanmaya ya da örneklem yetersizliğine bağlar, ve bir sonraki sürümde daha fazla değişken ekler; oysa sorun, eklenmesi gereken değişkende değil, halihazırda içeride bulunan bir değişkenin ne zaman bilinir hâle geldiğindedir.
Aynı örüntü, çok daha az teknik görünen yüzeylerde de tekrarlanır. Bir satış organizasyonunda, hangi fırsatın kapanacağını öngörmek üzere kurulan puanlama sisteminin en güçlü belirleyicisi, çoğu zaman CRM'de fırsat kaydına iliştirilen son aktivite notunun niteliği çıkar; ne var ki o not, fırsat kapandıktan sonra, kapanışı kaydetmek için giren temsilcinin eliyle güncellenmiştir. Bir kredi izleme biriminde, temerrüt öngören modelin en açıklayıcı değişkeni, borçlunun teminat dosyasındaki bir belge tipinin varlığı olarak belirir; o belge ise yalnızca yeniden yapılandırma görüşmeleri başladığında dosyaya eklenir. Her iki durumda da model doğru bir ilişkiyi bulmuştur; bulduğu ilişki, öngörü ile sonuç arasındaki değil, sonuç ile sonucun kaydı arasındaki ilişkidir.
Bu örüntünün adı data leakage — tahmin anında karar vericinin elinde bulunmayacak bilginin, modelin öğrenme setine ya da daha genel olarak analitik kurgunun içine karışması. Terim veri bilimi pratiğinden gelir, fakat mekanizması bilgisayarda değil, kurumsal kayıt düzeninde çalışır. Her kurumsal kayıt sistemi iki farklı zamanı aynı anda taşır: bir olayın gerçekleştiği zaman ile o olaya ilişkin bilginin sistemde erişilebilir hâle geldiği zaman. Operasyonel raporlama açısından bu iki zamanın ayrışması nadiren önemlidir, zira rapor zaten geçmişe bakar; tahmin açısından ise aradaki fark, kurgunun tamamının geçerliliğini belirler. Kayıt sistemleri neredeyse hiçbir zaman ikinci zamanı ayrı bir alanda tutmaz, dolayısıyla analiz eden kişi elindeki verinin hangi kısmının hangi tarihte var olduğunu doğrudan göremez.
Sızıntıyı besleyen ikinci mekanizma bilişseldir ve tamamen işlevsel bir refleksten doğar: kurumsal hafıza sonucu bilerek geriye bakar. Bir proje geciktiğinde, gecikmenin nedenleri toplantı tutanaklarına, risk kayıtlarına ve tedarikçi yazışmalarına sonradan işlenir; bir müşteri kaybedildiğinde, kaybın işaretleri ilişki dosyasına kaybın ardından yazılır. Bu geriye dönük zenginleştirme öğrenme açısından değerlidir, zira kurumun benzer durumu bir daha tanıması ancak böyle mümkün olur. Sorun, aynı zenginleştirilmiş kaydın daha sonra tahmin kurgusuna girdi olarak verilmesindedir; o noktada kurum, geçmişte bilmediği bir şeyi geçmişte biliyormuş gibi davranan bir model kurmuş olur, ve modelin gösterdiği isabet, kurumun kendi hafızasının sonucu bilme avantajından başka bir şey değildir.
Bu eğilimin bir hata olmadığını görmek önemlidir; belirli koşullarda maliyeti düşüren makul bir kısayoldur. Bir analiz ekibi, elindeki en zengin veri setiyle çalışmakla yükümlüdür ve veri setini yapay olarak fakirleştirmek, sıradan koşullarda savunulması güç bir tercihtir. Tarihsel kaydı, o kaydın oluştuğu andaki eksik hâline geri döndürmek — sektörde nokta-zamanlı yeniden kurgulama olarak bilinen işlem — hem veri mühendisliği emeği hem de kayıt sisteminde sürüm tarihçesi tutulmasını gerektirir, ki çoğu kurumsal ERP ve CRM kurulumunda bu tarihçe ya hiç tutulmaz ya da yalnız denetim izi amacıyla kısıtlı biçimde tutulur. Kısayol, koşullar sabitken ucuzdur; maliyeti, modelin çıktısı bir sermaye tahsisi kararına, bir stok politikasına ya da bir işletme sermayesi taahhüdüne bağlandığında ortaya çıkar.
Kurumsal bedelin ilk görünme yeri, çoğu zaman modelin kendisi değil, modelin üzerine kurulan operasyonel taahhüttür. Bir talep tahmininin geriye dönük isabeti yüksek çıktığında, planlama birimi emniyet stoğunu düşürmeyi makul görür; stok devir hızı bir süre iyileşir, işletme sermayesi serbest kalır, ve bu iyileşme yönetim raporlamasında bir kazanım olarak kaydedilir. Model ileriye dönük çalışmaya başladığında ise sapma, düşürülmüş emniyet stoğu tamponu olmadan doğrudan hizmet seviyesine yansır; ortaya çıkan maliyet, kaybedilen satış, hızlandırılmış nakliye ve müşteri sözleşmelerindeki teslim performansı cezalarına dağılır ve hiçbir kaleminde "tahmin modeli" başlığı görünmez. Bedelin bu şekilde dağılması, sorunun teşhis edilme olasılığını düşürür, zira geri bildirim döngüsü modeli kuran ekibe hiçbir zaman kapanmaz.
İkinci görünme yeri değerleme masasıdır. Bir şirketin öngörü kabiliyeti, alıcı tarafında yalnızca bir operasyonel yetkinlik değil, kurucu-bağımsız tekrarlanabilirliğin göstergesi olarak fiyatlanır; bu nedenle due diligence sürecinde tahmin modelleri, çıktı isabetinden çok girdi disiplini üzerinden incelenir. İnceleme sırasında sorulan soru genellikle "model ne kadar isabetli" değil, "bu modelin kullandığı her değişken, tahmin tarihinde fiilen erişilebilir miydi" biçimindedir; ve şirketin bu soruya belgeyle cevap verememesi, modelin tümüyle değersiz sayılmasına değil, model çıktısının değerleme köprüsünden çıkarılmasına yol açar. Pratikte bu, tahmine dayalı büyüme varsayımının earn-out yapısına itilmesi, ya da gelir projeksiyonunun yalnız sözleşmeye bağlı kısmının kabul edilmesi anlamına gelir — her iki durumda da satıcı, öngörü kabiliyeti için ödeme almaz.
Üçüncü ve en sessiz bedel, kurumun kendi öğrenme kapasitesinde birikir. Sızıntılı bir model bir kez kurulduğunda, isabet oranı bir referans noktası hâline gelir ve sonraki her model bu referansa göre değerlendirilir; zamansal disiplini doğru kurulmuş, dolayısıyla geriye dönük isabeti daha düşük çıkan bir model, kurum içinde "daha kötü" olarak okunur ve elenir. Böylece kurum, yalnız hatalı bir araç edinmekle kalmaz, doğru aracı tanıma ölçütünü de kaybeder. Bu, kurumsal ölçüm sistemlerinin genel bir özelliğidir: yanlış kalibre edilmiş bir gösterge, kendisini düzeltecek gözlemleri de aynı ölçekle değerlendirdiği için, hatasını kendi içinde tahkim eder.
Bu eğilimi nötrleyen mekanizma bireysel dikkat ya da analitik titizlik değildir; çünkü sızıntı, dikkatli bir analistin gözünden kaçtığı için değil, kayıt sistemi bilinebilirlik tarihini hiç taşımadığı için oluşur. Yapısal müdahale üç bileşenden oluşur. Birincisi, tahminin gerçek zamanlı olarak kaydedilmesi ve mühürlenmesidir: her tahmin, üretildiği tarihle birlikte değiştirilemez bir kayda alınır, ve performans değerlendirmesi yalnız bu mühürlü kayıtlar üzerinden yapılır, geriye dönük yeniden çalıştırmalar üzerinden değil. İkincisi, veri sözlüğüne değişken başına bir bilinebilirlik tarihi alanının eklenmesidir — her değişken için "bu alan, ilgili olayın kaç gün sonrasında güvenilir biçimde dolar" sorusunun cevabı yazılı olarak tutulur. Üçüncüsü, model onayının bir karşı-argüman rolüne bağlanmasıdır: onay komitesinde bir kişi, modelin en açıklayıcı üç değişkenini alıp her biri için sızıntı hipotezini savunmakla görevlendirilir, ve bu rol modeli kuran ekipten bağımsız taşınır.
BEIREK, sermaye-yoğun projelerde tahmin ve bütçe kurgularını incelerken, ilk adımda modelin çıktısına değil, girdilerinin zaman haritasına bakar: her değişken için olayın gerçekleşme tarihi ile kaydın sistemde erişilebilir hâle gelme tarihi ayrı ayrı çıkarılır, ve ikisi arasındaki gecikme tahmin ufkuyla karşılaştırılır. Gecikmenin tahmin ufkunu aştığı her değişken, modelden çıkarılmaz ama işaretlenir ve o değişkenin katkısı ayrıştırılarak duyarlılık analizine alınır; böylece komiteye sunulan çıktı, sızıntısız çekirdek ile sızıntı şüphesi taşıyan katman olarak iki ayrı bantta görünür. Bu ayrıştırma, projeksiyonun tamamını reddetmeden, hangi kısmının finansman görüşmesinde savunulabilir olduğunu belirginleştirir.
İkinci müdahale hattı, proje süresince işletilen bir tahmin kaydıdır. Geliştirme, finansman ve inşaat aşamalarında üretilen her ilerleme, maliyet ve takvim öngörüsü, üretildiği tarihle birlikte kayda alınır ve sonraki dönemlerde geriye dönük düzeltmeye kapatılır; dönemsel gözden geçirme, gerçekleşmeyi bu mühürlü öngörülerle karşılaştırır, en güncel revize öngörüyle değil. Uygulamada bu ritim iki şey üretir: bir yandan sapmanın nerede ve ne zaman doğduğu izlenebilir hâle gelir, öte yandan proje ekibinin öngörü kalibrasyonu — sistematik olarak iyimser mi, temkinli mi olduğu — belgelenmiş bir örüntüye dönüşür. Bu örüntü, sonraki fazlarda beklenmedik durum payının duygusal değil, gözlenmiş sapma dağılımına göre belirlenmesini mümkün kılar.
Bir tahmin kurgusunun kalitesi, geçmişi ne kadar iyi açıkladığıyla değil, geleceği hangi bilgiyle açıkladığını ne kadar açık biçimde beyan edebildiğiyle ölçülür. Bu ölçüte göre bakıldığında, geriye dönük isabeti olağandışı yüksek olan bir model, güven değil dikkat talep eden bir bulgudur; ve kurumun kendine sorması gereken tek soru, modelin ne kadar isabetli olduğu değil, o isabeti üreten bilginin karar anında masada olup olmadığıdır.