Etiketin Kendisi Bir Karardır: Label Bias ve Kurumsal Skorlama Sistemleri

Bir skorlama modelinin gözden geçirme oturumunda sorulan ilk soru neredeyse her zaman aynıdır: model ne kadar isabetli. İsabet ise, tanımı gereği, modelin ürettiği skorun geçmişte verilmiş kararlarla kurduğu uyum üzerinden ölçülür; yüksek uyum başarı, sapma ise hata olarak raporlanır. Oysa aynı oturumda, modelin geçmiş kararlardan ayrıştığı vakaların hangi yönde ayrıştığı, ayrışmanın belirli bir tedarikçi profilinde, belirli bir bölgede ya da belirli bir sözleşme tipinde yoğunlaşıp yoğunlaşmadığı sorusu genellikle gündeme gelmez. Bu, ihmal değil, ölçüm mimarisinin doğal sonucudur: kurulan test, modelin dünyayı ne kadar doğru okuduğunu değil, kurumun kendi geçmişini ne kadar sadık biçimde taklit ettiğini ölçmektedir.

Aynı örüntü, ortada hiçbir algoritma bulunmadığı durumlarda da işler. Terfi kalibrasyon toplantısında bir ismin "yüksek potansiyel" listesinde geçen yıl da yer almış olması, bu yıl da yer almasını belirgin biçimde olası kılar; proje portföy veritabanında bir işin "başarılı" bayrağı taşıması, benzer işlerin seçiminde referans noktası hâline gelir; tedarikçi ön yeterlilik havuzunda yer almak, havuzda kalmanın en güçlü tek göstergesidir. Her üç durumda da kayıt, olgunun kendisinin değil, olgu hakkında bir zamanlar verilmiş bir kararın kaydıdır; ve kayıt zamanla, üzerine konduğu kararın koşullarından ve sınırlılıklarından bağımsızlaşarak, kurumsal hafızada bir olgu gibi dolaşmaya başlar.

Bu mekanizmanın adı label bias — modelin ya da sürecin öğrendiği hedef etiketin, ölçülmek istenen olguyu değil, o olgu hakkındaki geçmiş insan yargısını taşıması. Ölçülmek istenen şey "bu yüklenici işi zamanında ve bütçe içinde teslim eder mi" iken, elde bulunan etiket "bu yüklenici geçmişte ön yeterlilik komitesinden geçmiş midir" olduğunda, iki ifade arasındaki açık ne kadarsa, sistemin sistematik eğimi de o kadar olur. Etiket burada bir vekildir; ve her vekil gibi, temsil ettiği şeyin bazı boyutlarını taşır, bazılarını taşımaz, bazılarını ise temsil ederken sessizce çarpıtır.

Bu vekâlet ilişkisinin kendisi bir kusur değildir; çoğu koşulda maliyeti düşüren bir kısayoldur. Geçmiş kararların kaydı ucuzdur, tutarlıdır, kurumun yıllar içinde biriktirdiği sezgiyi sıkıştırılmış hâlde taşır ve çoğu zaman kimsenin yeniden üretemeyeceği bir bilgiyi içerir; bir ön yeterlilik komitesinin bir yükleniciyi neden dışarıda bıraktığı, çoğu kez hiçbir tabloya girmemiş ama gerçek bir gerekçeye dayanır. Sorun kısayolun kendisinde değil, kısayolun geçerli olduğu koşul değiştiğinde kısayolun sabit kalmasındadır: piyasa yapısı, teknoloji seti, tedarik coğrafyası ya da sözleşme rejimi değiştiğinde, geçmiş yargı artık sıkıştırılmış bilgi değil, sıkıştırılmış bir dönemin varsayımı hâline gelir.

Bu eğilimi özellikle dayanıklı kılan iki yapısal özellik vardır. Birincisi, doğrulamanın kör noktasıdır: modelin ürettiği skor yine aynı geçmiş etiketlerle karşılaştırıldığı ölçüde, ölçüm aracı ile ölçülen nesne aynı kusuru paylaşır, ve eğilim isabet oranının içinde görünmez biçimde erir. İkincisi, kontrafaktüel boşluktur: elenen tedarikçi hiçbir zaman bir teslimat performansı üretmez, reddedilen aday hiçbir zaman bir terfi eğrisi çizmez, onaylanmayan proje hiçbir zaman bir IRR gerçekleşmesi kaydetmez; dolayısıyla sistemin hatası tek yönlü birikir — yanlış kabul edilenler er ya da geç görünür hâle gelirken, yanlış reddedilenler veri kümesine hiç girmez. Üstüne bir de geri besleme eklenir: bugünün skoru yarının etiketini üretir, ve birkaç döngü sonra sistem kendi geçmişini kanıt olarak gösterir.

Bunun kurumsal bedeli en erken tedarik ve yüklenici hattında görünür. Ön yeterlilik havuzu geçmiş onayların üzerine kurulduğunda havuz zamanla daralır; daralan havuz, aynı birkaç karşı tarafın fiyat, iş programı ve teminat başlıklarında daha rahat pozisyon almasına imkân tanır; ve pazarlık asimetrisi, bir ihale döngüsü içinde değil, birkaç yıla yayılan sessiz bir kayma olarak birikir. Bu birikim due diligence masasında tek bir satır hâlinde yüzeye çıkar: tedarikçi yoğunlaşması. Alıcı tarafın bu kalemi nasıl fiyatladığı ise tipik olarak doğrudan bir değerleme iskontosu değil, kapanış öncesi koşul, temsil ve tekeffül kapsamının genişletilmesi ya da escrow oranının yükseltilmesi biçiminde tezahür eder.

İkinci yüzey, "başarılı proje" etiketinin nasıl konduğuyla ilgilidir. Portföy veritabanlarında bu bayrak çoğu zaman takvim performansına ve nihai sözleşme bedeline göre konur; oysa nihai bedel, değişiklik emirleriyle yukarı taşınmış bir bedeldir, ve takvim, onaylanmış süre uzatımlarıyla yeniden tanımlanmış bir takvimdir. Etiket bu iki düzeltmeden sonraki hâle bakarak konduğunda, sistem sistematik olarak işi zamanında bitireni değil, talep yönetiminde ve süre uzatımı gerekçelendirmesinde güçlü olanı ödüllendirmeye başlar. Bu tercihin gecikme cezası tavanı, garanti kapsamı ve performans teminatı müzakerelerindeki karşılığı, sonraki projelerde daha yüksek bir sözleşmesel maruziyet olarak geri döner.

Üçüncü yüzey insan kaynağıdır ve değerlemeye en doğrudan bağlanan yüzey de budur. Terfi ve yüksek potansiyel etiketleri geçmiş etiketlerin üzerine yığıldıkça, üst kademe kadro giderek dar bir profil bandına oturur; dar bant kısa vadede uyum ve hız üretir, fakat orta vadede karar çeşitliliğini daraltır ve kilit kişi bağımlılığını derinleştirir. Bir şirketin değerlemesini belirleyen şeyin çoğu zaman performansın kendisi değil, performansın kurucudan ve dar bir çekirdek kadrodan bağımsız biçimde tekrarlanabilir olduğunun gösterilebilmesi olduğu düşünüldüğünde, bu daralmanın fiyat etkisi doğrudandır. ABD istihdam ve kredilendirme bağlamlarında ise aynı yapı ayrı bir katman daha üretir: geçmiş karar kaydından türetilmiş bir skorun belirli gruplar üzerinde orantısız bir sonuç doğurup doğurmadığı sorusu, denetim ve dava maruziyetinin kendi başına bir başlığıdır.

Bu eğilim bireysel farkındalıkla değil, kayıt ve yetki mimarisiyle yönetilir; ve müdahale tipik olarak dört bileşene ayrılır. Birincisi, etiket künyesi disiplinidir: her etiketin kim tarafından, hangi ölçüte göre, hangi tarihte ve hangi bilgi setiyle konduğu, etiketin yanında taşınır — künyesiz etiket, kaynağı belirsiz bir veri gibi muamele görür. İkincisi, yargı-çıpalı etiketin sonuç-çıpalı etiketle değiştirilmesidir: "komiteden geçti mi" yerine sözleşme ve operasyon verisinden türetilen ölçütler — planlanan ile gerçekleşen teslim tarihi farkı, değişiklik emri hacminin ilk bedele oranı, kesilen gecikme cezası, garanti dönemi çağrı sayısı. Üçüncüsü, kontrafaktüel kanalın açık tutulmasıdır: her döngüde skorun elediği adaylardan sınırlı bir kısmının bilinçli olarak sisteme alınması, sistemin göremediği bölge hakkında zamanla veri üretir. Dördüncüsü, rolün ayrılmasıdır: skor karar desteği üretir, karar yetkisini taşımaz, ve skoru geçersiz kılan her karar gerekçesiyle birlikte kaydedilir.

BEIREK'in bu hatta müdahalesi, yüklenici ön yeterlilik ve portföy seçim sistemlerinin girdisini yeniden kurmakla başlar. Mevcut havuzun ve mevcut "başarılı proje" bayraklarının hangi kararlardan türediği geriye doğru izlenir, etiketler sözleşme dosyasından — iş programı revizyonları, değişiklik emri kayıtları, gecikme cezası uygulamaları, teminat çağrıları — yeniden türetilir, ve iki etiket seti arasındaki fark bir tablo hâlinde açılır; bu farkın yoğunlaştığı yer, çoğu zaman sistemin eğiminin nerede olduğunu doğrudan gösterir. Aynı çalışmada, elenmiş ancak sonuç verisi hiç üretilmemiş karşı tarafların listesi ayrı tutulur, zira sistemin en pahalı hatası genellikle bu listenin içindedir.

Kurulan ikinci katman ritim ve kayıttır: skorun geçersiz kılındığı her vakanın gerekçesiyle birlikte tutulduğu bir override kaydı, etiket ölçütlerinin yılda bir kez yeniden kalibre edildiği bir gözden geçirme oturumu, ve yatırım komitesine giden paketlerde skorun yanında skorun dayandığı etiket ölçütünün tarihinin de raporlanması. Bu üç unsurun ortak işlevi, geçmiş kararın kurumsal hafızada bir olguya dönüşmesini geciktirmek, ve bir etiketin ne zaman bilgi ne zaman yalnızca bir alışkanlık olduğunu tartışılabilir hâlde tutmaktır.

Bir kurumun kendi seçim sistemine yönelteceği en verimli soru, sistemin ne kadar isabetli olduğu değil, isabetin neye göre ölçüldüğüdür; çünkü ölçüt geçmiş kararların kendisiyse, elde edilen şey bir tahmin değil, kurumun kendi geçmişine yazdığı bir sadakat belgesidir.