Bir yüklenici ön yeterlilik komitesinde, puanlama matrisinin çıktısı bölge, firma ölçeği ya da daha önce çalışılmış olma durumuna göre ayrıştırıldığında, geçiş oranlarının belirgin biçimde farklılaştığı görülür; bu farkın fark edildiği toplantı ile matristeki bir kriterin ağırlığının düşürüldüğü toplantı, çoğu zaman aynı toplantıdır. Düşürülen kriter genellikle en tartışmalı olan değil, savunulması en zor olandır — benzer ölçekte tamamlanmış iş sayısı, kesintisiz banka referans süresi, ya da geçmiş sözleşmelerdeki gecikme cezası kaydı gibi, geçmişin dağılımını doğrudan bugüne taşıyan bir kalem. Kararın gerekçesi tutanakta "kriterin ayrıştırıcılığının sınırlı bulunması" biçiminde yer alır, oysa kriterin ayrıştırıcılığı tam da yüksek olduğu için sorun üretmiştir. Bu düzeltmenin karşılığında ne kadar tahmin gücünden feragat edildiği ise hiçbir belgeye girmez.
İkinci ve daha az konuşulan örüntü, bu düzeltmenin asimetrik uygulanmasıdır. Aynı kurum, kreditörüne raporladığı ya da kamu otoritesinin denetimine açık olan seçim süreçlerinde matrisi yumuşatırken, iç kaynak tahsisi, ekip ataması veya alt paket dağıtımı gibi dışarıya raporlanmayan yüzeylerde özgün matrisi değişmeden çalıştırmaya devam eder. Böylece kurum, aynı dönemde iki farklı adalet tanımını iki farklı yüzeyde işletir ve ikisini de yazıya dökmez. Zamanla bu ikilik bir tutarsızlık olarak değil, iki ayrı "gelenek" olarak kurumsallaşır; ikisini de kuran kişi görevden ayrıldığında, ardında yalnızca sayılar kalır, sayıların hangi tanıma göre üretildiği kalmaz.
Bu davranışın altındaki mekanizmanın adı fairness–accuracy trade-off — seçilen adalet tanımının toplam tahmin doğruluğuyla çatışması — ve mekanizmanın en yanlış anlaşılan yönü, bunun bir irade ya da niyet meselesi olmamasıdır. Bir puanlama sisteminden aynı anda üç şey istendiğinde — gruplar arasında eşit geçiş oranı, verilen puanın gerçekleşen sonuçla aynı anlamı taşıması, ve hata oranlarının gruplar arasında dengeli dağılması — bu üç koşul, grupların gözlenen taban oranları birbirinden farklı olduğu sürece aynı anda sağlanamaz. Birini sıkılaştırmak diğerini zorunlu olarak gevşetir; bu, modelin kalitesizliğinden değil, ölçmenin kendi aritmetiğinden kaynaklanır. Dolayısıyla "hem adil hem doğru bir matris kuralım" hedefi, hangi adalet tanımının seçildiği belirtilmediği sürece uygulanabilir bir talimat değil, çözümsüz bir denklemdir.
Bununla birlikte takasın her zaman gerçek olduğunu varsaymak da hatalıdır, ve bu ayrım mekanizmanın işlevsel yüzünü oluşturur. Puanlama sistemlerinin eğitildiği geçmiş performans etiketi, çoğu durumda saf bir yetkinlik ölçüsü değil, geçmişteki tahsis kararlarının izidir: daha kolay paketleri almış bir alt yüklenici daha temiz bir teslim geçmişi taşır, daha görünür projelere atanmış bir yönetici daha yüksek değerlendirme notu biriktirir. Böyle bir etikete karşı ölçülen doğruluk, aslında geçmiş tahsis mantığının ne kadar iyi taklit edildiğini ölçer. Bu koşulda adalet kısıtı, ölçülen doğruluğu düşürürken gerçekleşen sonuç üzerindeki isabeti yükseltebilir; takas görünürde vardır, gerçekte yoktur. Sorun, hangi durumda hangisinin geçerli olduğunu ayırt eden bir testin kurulmamış olmasıdır.
Bu nedenle doğruluk tartışmalarının büyük kısmı, dikkatle bakıldığında hedef değişken tartışmasıdır. Bir yüklenici seçim matrisinde başarı, zamanında teslim olarak mı, değişiklik talebi maliyetinin düşüklüğü olarak mı, kapanış sonrası garanti çağrılarının azlığı olarak mı, yoksa müzakere sürecinin kısalığı olarak mı tanımlanır — bu dördü aynı firmayı farklı sıralarda konumlandırır. Hedef değişken seçimi teknik bir karar kılığında yapılır, oysa kurumun neyi değerli saydığını beyan eden stratejik bir karardır ve tipik olarak matrisi hazırlayan analist düzeyinde, farkında olunmadan verilir. Hedef tanımlanmadan hesaplanan doğruluk oranı, ne kadar yüksek çıkarsa çıksın, hangi soruya cevap verdiği bilinmeyen bir cevaptır.
Bu belirsizliğin kurumsal karşılığı, sermaye-yoğun projelerde ilk olarak beklenmedik kalemlerde belirir. Ön yeterlilik eşiğinin sonuçlar görüldükten sonra gevşetilmesi, ihale dosyasında değil, ikinci yıl gerçekleşen yeniden yapım maliyetinde, gecikme cezası taleplerinde, sigorta yenilemesinde talep edilen ek primde ve iş programındaki kayan kritik yol kalemlerinde toplanır. Aynı gevşetmenin bir başka biçimi, sözleşme yönetimi tarafında görünür: eşiği düşürülerek dahil edilen bir tarafla imzalanan sözleşme, tipik olarak daha geniş bir teminat paketi, daha sıkı bir ara ödeme rejimi ve daha yoğun bir saha denetimi gerektirir; bu ek yükün maliyeti puanlama kararının değil, işletme bütçesinin hanesine yazılır. Böylece karar ile bedelin arasındaki bağ, muhasebe düzeyinde kopar.
İnceleme masasında ise mesele daha keskin bir biçim alır. Bir alıcı ya da kredi veren, seçim ve değerlendirme süreçlerine ilişkin belge istediğinde karşılaştığı şey çoğunlukla matrisin kendisi değil, matrisin uygulanmış hâlidir; ve uygulanmış hâl ile ilan edilmiş hâl arasındaki fark, gerekçesi kayıtlı olmayan bir dizi manuel müdahaleden oluşur. Bu farkın tespiti nadiren doğrudan bir değerleme iskontosuna dönüşür; daha tipik olarak temsil ve tekeffül kapsamının genişlemesine, işe alım ve tedarikçi seçimine ilişkin ayrı bir tazmin başlığının açılmasına, escrow oranının yükselmesine ve kapanış öncesi koşullar listesine bir düzeltme taahhüdünün eklenmesine yol açar. Kurum, kaydını tutmadığı bir kararın maliyetini, kapanış müzakeresinde faiz oranıyla birlikte öder.
Uzun vadede daha ağır olan bedel emsal etkisidir. Gerekçesi yazılmamış tek bir istisna, bir sonraki dönemde "geçen sefer nasıl yaptıysak" formülüyle tekrarlanır ve iki üç döngü içinde matrisin ilan edilmiş mantığını fiilen geçersiz kılar; bu noktada kurumun elinde, kimsenin uygulamadığı bir prosedür ile kimsenin yazmadığı bir uygulama bulunur. Kurucu ya da uzun süreli yönetici bu ikisi arasındaki köprüyü kendi belleğinde taşıdığı sürece sistem işler görünür, ve bu bağımlılık tam olarak yatırımcının fiyatladığı türden bir bağımlılıktır. Bir şirketin değerlemesini belirleyen şey, kararların doğruluğundan çok, aynı kararın aynı kurallarla bir kez daha üretilebileceğinin gösterilebilmesidir.
Bu eğilimi nötrleyen müdahale bireysel farkındalık değil, karar mimarisidir ve dört ayrılabilir bileşene sahiptir. Birincisi, adalet tanımının puanlama öncesinde ilan edilmesidir: matris kurulmadan önce, hangi eşitliğin korunacağı — geçiş oranı mı, puanın anlam tutarlılığı mı, hata dağılımı mı — tek bir cümleyle yazılır ve bu cümle sonuçlar görüldükten sonra değiştirilemez, yalnızca yeni bir döngüde yeniden karara bağlanır. İkincisi, hedef değişken protokolüdür: başarının hangi gözlemle ölçüldüğü, ölçüm penceresi ve ölçümü kimin ürettiği, matristen ayrı bir belgede tutulur. Üçüncüsü, takas defteridir: her kısıt uygulandığında feragat edilen tahmin gücü ölçülür ve rakamla kaydedilir, böylece takas bir tartışma konusu olmaktan çıkıp bir kalem hâline gelir. Dördüncüsü, istisna kaydıdır: matristen sapan her karar, gerekçesi ve onay veren yetki düzeyiyle birlikte, kararın alındığı anda kayda geçer.
Bu dört bileşenin üzerine bir ritim gelir, çünkü taban oranlar sabit değildir. Portföy bileşimi, coğrafya, sözleşme tipi ya da pazar koşulu değiştiğinde, bir dönem geçerli olan kalibrasyon bir sonraki dönemde sistematik biçimde kayar; bu kaymanın rastgele bir yıllık gözden geçirmeye değil, projenin kendi kilometre taşlarına bağlanması gerekir — ihale paketinin açılması, ilk çekiş, kapsam değişikliği eşiği, işletme devri. Aynı ritmin içine bir karşı-argüman rolü yerleştirilir: matrisi hazırlayandan farklı bir kişi, her döngüde reddedilen adaylardan birini seçip kararın gerekçesini yazılı olarak savunmakla yükümlü kılınır. Bu rol, sonuçları değiştirmek için değil, gerekçelerin dile getirilebilir kalmasını sağlamak için vardır.
BEIREK'in bu alandaki müdahalesi, yüklenici ön yeterliliği, alt paket dağıtımı, yerel içerik taahhütleri ve ekip tahsisi gibi puanlamaya dayalı süreçlerin tamamını tek bir karar kaydı disiplinine bağlamakla başlar. Puanlama matrisi kurulmadan önce hedef değişken ve adalet tanımı iki ayrı sayfada sabitlenir, matrise verilen her ağırlık bu iki sayfaya referansla gerekçelendirilir, ve sonuçlar açıldıktan sonra yapılan her ağırlık değişikliği yeni bir sürüm numarasıyla, feragat edilen tahmin gücü ölçülerek kaydedilir. İstisnalar ayrı bir defterde tutulur ve her istisnanın onay düzeyi, işlemin sözleşme değeriyle orantılı biçimde tanımlanır; alt paket seviyesinde proje müdürünün verebileceği bir sapma, ana yüklenici seçiminde yatırım komitesi düzeyine taşınır.
Gözden geçirme ritmi ise takvime değil, projenin kendi eşiklerine bağlanır — ihale paketi kapanışı, ilk çekiş, kapsam değişikliği ve işletme devri — ve her eşikte matrisin ürettiği dağılım ile gerçekleşen saha performansı yan yana konularak kalibrasyon kaymasının büyüklüğü rakamla ifade edilir. Bu çalışmanın çıktısı bir uyum raporu değil, kapanış sürecinde karşı tarafın due diligence ekibine olduğu gibi verilebilecek bir karar dosyasıdır; kurumun hangi adalet tanımını seçtiği, bu seçimin doğruluk tarafında neye mal olduğu ve kararın hangi yetki düzeyinde alındığı, dosyanın kendisinden okunur. Bir kurumun seçim sistemine ilişkin en zor soru, adil olup olmadığı değil; hangi adalet tanımını seçtiğini ve karşılığında neyi bilerek verdiğini yazılı olarak gösterip gösteremediğidir.