Bir yönetim kurulu sunumunda, risk erken uyarı sisteminin geçen çeyrekte yüzde doksan yedi isabet oranıyla çalıştığı bildirildiğinde, masadaki tepki tipik olarak onaydır; sistem çalışıyordur, bütçesi yenilenir, ekibin performans değerlendirmesi olumlu kapanır. Aynı toplantıda, aynı çeyrekte gerçekleşen üç ciddi olaydan hiçbirinin sistem tarafından önceden işaretlenmediği bilgisi ayrı bir gündem maddesinde, çoğu zaman operasyon raporunun eklerinde durur. İki bilgi aynı odada, aynı saatte, aynı kişilere sunulur; fakat aralarındaki mantıksal ilişki kurulmaz, zira birincisi bir performans metriği, ikincisi bir olay dökümü olarak sınıflandırılmıştır. Bu ayrışma bir dikkatsizlik değildir; raporlama mimarisinin kendisi iki bilgiyi farklı bölümlere yerleştirdiği ölçüde, ilişkinin kurulması karar vericinin bireysel çabasına bırakılmış olur.
Aynı örüntü, kredi risk skorlamasında, tedarikçi kalite taramasında, iç denetim örneklemesinde, dolandırıcılık tespit sisteminde, iş sağlığı ve güvenliği ihbar mekanizmasında ve makine öğrenmesine dayanan her türlü sınıflandırma modelinde tekrar eder. Ortak koşul şudur: ölçülmeye çalışılan olay nadir, olayın olmadığı durum ise hâkimdir. Bu koşul altında, hiçbir şeyi işaretlemeyen, yani her vakayı 'sorun yok' olarak sınıflandıran bir sistem bile, olayın gerçekleşme sıklığı yüzde üç ise, yüzde doksan yedi doğruluk raporlar. Metrik doğrudur, hesaplama hatasızdır, denetimden geçer; ne var ki taşıdığı bilgi, sistemin performansı değil, olayın nadirliğidir.
Bu yapının adı accuracy paradox — genel isabet oranının yükselmesinin, sistemin asıl aradığı şeyi bulma kapasitesinin düşmesiyle aynı anda gerçekleşebilmesi. Mekanizma iki katmanda çalışır. Birinci katman aritmetiktir: dengesiz dağılımda çoğunluk sınıfını her koşulda seçmek, tek bir metrik üzerinden bakıldığında en yüksek skoru üretir, dolayısıyla optimizasyon baskısı altındaki her sistem doğal olarak bu yöne kayar. İkinci katman örgütseldir ve daha belirleyicidir: bir metrik performans değerlendirmesine, bütçe tahsisine ya da yönetim raporuna bağlandığı anda, o metriği yükseltmek ekibin rasyonel davranışı hâline gelir, ve nadir olaylı bir alanda o metriği yükseltmenin en ucuz yolu eşiği yukarı çekmek, yani daha az şey işaretlemektir.
Bu eğilimi bir zafiyet olarak okumak yanıltıcı olur. Genel doğruluk oranı, sınıfların dengeli dağıldığı ve hata türlerinin maliyetinin birbirine yakın olduğu koşullarda son derece işlevsel bir özetleyicidir; tek sayıya indirgenmiş olması karşılaştırmayı, zaman serisi takibini ve farklı birimler arasında kıyaslamayı mümkün kılar. Sorun ölçütün kendisinde değil, ölçütün üretildiği koşulun değişmesine rağmen ölçütün sabit kalmasındadır. Bir kurum, hacminin büyümesiyle birlikte kontrol ettiği vakaların bileşimi değiştiğinde — örneğin denetlenen tedarikçi sayısı üç katına çıkıp sorunlu tedarikçi oranı düştüğünde — aynı metrik otomatik olarak iyileşmiş görünür, oysa değişen şey sistemin kapasitesi değil, tabanın kendisidir.
Kurumsal bedel ilk olarak kaynak tahsisinde birikir. Yüksek doğruluk raporlayan bir kontrol fonksiyonu, bütçe tartışmasında iyi performans gösteren birim olarak konumlanır; ek yatırım talebi zayıflar, personel devri sonrası kadro yenilenmez, sistemin eşik kalibrasyonu yıllarca gözden geçirilmez. Böylece kaynak, ölçülebilir başarı gösteren yere değil, ölçüm biçimi başarı üretmeye elverişli olan yere akar. İkinci birikim yeri sözleşmelerdir: bir tedarikçi kalite taraması yüksek isabet raporladığı sürece, alım sözleşmelerindeki muayene hükümleri gevşetilir, kabul kriterleri numune bazına indirilir, ve kaçırılan kusurun maliyeti tedarik zincirinin ilerideki bir noktasında, geri çağırma ya da yeniden işleme kalemi olarak yüzeye çıkar.
Üçüncü ve çoğu zaman en pahalı birikim yeri değerlemedir. Bir şirketin satış ya da yatırım sürecinde, kontrol ortamının kalitesi due diligence masasında sorgulandığında, sunulan ilk belge tipik olarak isabet oranı raporudur; deneyimli bir inceleme ekibinin ikinci sorusu ise, sistemin kaçırdığı olayların nasıl tespit edildiğidir. Bu ikinci sorunun cevabı 'müşteri şikâyeti geldiğinde' ya da 'olay gerçekleştikten sonra' ise, kontrol sisteminin bağımsız bir tespit kabiliyeti olmadığı, yalnızca gerçekleşmiş olayları geriye dönük sınıflandırdığı anlaşılır. Bu bulgunun işlem yapısındaki karşılığı fiyat indirimi olmaktan çok, temsil ve tekeffül kapsamının genişletilmesi, escrow oranının yükseltilmesi ya da bilinmeyen kusurlar için ayrı bir kapanış sonrası koşul tanımlanmasıdır — yani riskin fiyatlanması değil, satıcıda bırakılması.
Yapısal müdahalenin ilk bileşeni, tek metriğin bölünmesidir. Nadir olaylı her karar alanında rapor edilen sayı bir değil, en az üç olmalıdır: gerçekleşen olayların ne kadarının önceden işaretlendiği, işaretlenen vakaların ne kadarının gerçekten olay çıktığı, ve dönem içindeki taban oranın kendisi. Üçüncü sayı özellikle kritiktir, zira ilk iki metriğin yorumu ancak tabanın bilinmesiyle mümkündür; taban raporlanmadığında, iyileşme ile seyrelme birbirinden ayrılamaz. Bu üçlünün yan yana, aynı tabloda ve aynı sıklıkta sunulması, ayrı bölümlerde sunulmasından yapısal olarak farklı bir okuma üretir.
İkinci bileşen, hata türlerinin maliyetinin karar öncesinde fiyatlanmasıdır. Bir kaçırılan olayın kuruma maliyeti ile bir yanlış alarmın maliyeti neredeyse hiçbir zaman eşit değildir; iş güvenliği alanında oran bir büyüklük mertebesi farkında olabilirken, satın alma taramasında tersine dönebilir. Eşik kalibrasyonu bu iki maliyetin oranına göre yapıldığında, sistemin ne kadar 'yanılacağı' bir teknik parametre olmaktan çıkıp açık bir yönetim kararına dönüşür. Üçüncü bileşen, eşik değişikliklerinin karar kaydına geçirilmesidir: bir uyarı sisteminin duyarlılığı düşürüldüğünde, bunu kimin, hangi gerekçeyle ve hangi maliyet varsayımıyla yaptığı yazılı kalmadığı sürece, sonraki dönemin metrik iyileşmesi performans olarak okunur.
BEIREK'in yönettiği sermaye-yoğun projelerde bu müdahale, proje kontrol mimarisinin kurulum aşamasında yapılır. Erken uyarı göstergeleri tanımlanırken her gösterge için iki ayrı eşik belirlenir — biri müdahaleyi tetikleyen, diğeri raporlamaya giren — ve ikisi arasındaki fark, kaçırılan olayın proje takvimindeki ve nakit akışındaki karşılığı üzerinden hesaplanır. Aynı disiplin, yüklenici performans takibinde ve tedarik kalite kontrolünde de işletilir: bir kontrol noktasının ürettiği 'temiz' sonuç, o kontrol noktasının hangi vaka hacminden ve hangi taban oranından geldiği bilinmeden proje raporuna girmez.
İkinci olarak, yürüttüğümüz her projede kontrol sisteminin kendi performansı, düzenli aralıklarla geriye dönük bir kaçırma incelemesiyle sınanır: dönem içinde gerçekleşmiş olumsuz olaylar tek tek alınır ve her biri için, sistemin bu olayı önceden işaretleme imkânının olup olmadığı, olmadıysa hangi veri ya da eşik nedeniyle olmadığı kayda geçirilir. Bu inceleme bir suçlama mekanizması değil, kalibrasyon mekanizmasıdır; çıktısı kişi değerlendirmesi değil, eşik ve gösterge revizyonudur. Bu ritmin aylık ya da çeyreklik olarak sabitlenmesi, kontrol fonksiyonunun kendi metriğini optimize etme eğilimini, kendi kör noktasını raporlama yükümlülüğüyle dengeler.
Ölçütün yükselmesi ile kapasitenin yükselmesi ayrı iki olgudur, ve nadir olaylı alanlarda bu ikisi düzenli olarak ters yönde hareket eder. Bir kurumun kontrol ortamının olgunluğu, ürettiği isabet oranının yüksekliğinden değil, o oranın hangi tabandan geldiğini ve neyi ölçmediğini kendi raporunda gösterebilmesinden anlaşılır. Yönetim kurulu masasına gelen bir performans sayısı için sorulacak ilk soru, sayının ne kadar yüksek olduğu değil, aynı sayının hiçbir şey yapmayan bir sistemde ne olacağıdır.