Bir üretim tesisinde haftalık kalite toplantısı, çoğu zaman aynı biçimde açılır: bir eğri gösterilir, geçen haftaya göre fire oranındaki değişim işaret edilir, hattın hangi vardiyasında ne olduğu sorulur. Odadaki herkes eğrinin hattı anlattığını varsayar. Buna karşılık, aynı numunenin farklı vardiyalarda farklı operatörler tarafından ölçüldüğünde farklı sonuç verdiği; aynı operatörün aynı numuneyi iki saat arayla ölçtüğünde ilk okumasını tekrar etmediği; ya da mastar değiştikten sonra bütün hattın toleransa daha yakın görünmeye başladığı, aynı odada nadiren gündeme gelir. Gündeme gelmemesinin sebebi ihmal değildir; ölçümün kendisi, süreç değil altyapı olarak sınıflandırılmıştır, ve altyapının sorgulanması toplantının konusu değildir.
Bu ayrımın operasyonel karşılığı, tedarik zincirinin girişinde daha da belirgindir. Gelen malzeme kabulünde bir parti reddedildiğinde, tedarikçiye giden yazının konusu tedarikçinin prosesidir; oysa kabul kontrolünde kullanılan aparat, ortam sıcaklığı, numune alma yöntemi ve okuma alışkanlığı, reddin gerekçesinde en az tedarikçi kadar pay sahibi olabilir. Tedarikçi kendi ölçümüyle parçanın tolerans içinde olduğunu bildirdiğinde, iki taraf arasında başlayan tartışma teknik değil, çoğu zaman ticari bir güç tartışmasına dönüşür, ve tartışmayı kimin ölçümünün daha doğru olduğu değil, kimin sözleşmede daha güçlü konumda olduğu sonlandırır. Bu, kalite fonksiyonunun en pahalı sessizliklerinden biridir.
Bu örüntünün adı measurement-system error — ölçüm sürecinin kendi değişkenliğinin, ölçülen sürecin gerçek değişimiyle karışması — ve mekaniği görece basittir. Bir parçadan alınan her okumada gözlenen toplam değişkenlik iki bileşenden oluşur: parçaların gerçekten birbirinden farklı olmasından doğan değişkenlik, ve ölçme eyleminin kendisinden doğan değişkenlik. İkinci bileşen de kendi içinde ikiye ayrılır: aynı operatörün aynı parçayı tekrar ölçtüğünde farklı sonuç vermesi, ve farklı operatörlerin aynı parçayı farklı ölçmesi. Ölçüm bileşeninin toplam içindeki payı yeterince küçük kaldığı sürece veri prosesi anlatır; bu pay büyüdükçe veri giderek kendini anlatmaya başlar, ve belirli bir eşikten sonra kalite grafiği, hattın değil ölçüm odasının davranış kaydına dönüşür.
Bu mekanizmanın işlevsel olduğu bir alan da vardır ve göz ardı edilmemelidir. Ölçüm sistemleri, maliyet ile çözünürlük arasında bilinçli bir denge kurularak seçilir; her karakteristiği en yüksek çözünürlükle ölçmek, hem doğrudan ekipman yatırımı hem de çevrim süresi kaybı anlamına gelir, dolayısıyla belirli toleranslarda kaba ölçüm rasyonel bir tercihtir. Sorun tercihte değil, tercihin koşulu değiştikten sonra sabit kalmasındadır: ürün toleransı daraldığında, yeni bir müşteri şartnamesi devreye girdiğinde ya da hat hızı arttığında, önceki koşula göre yeterli olan ölçüm sistemi sessizce yetersiz hale gelir, fakat bu geçişin bir tetikleyicisi olmadığı için kimse fark etmez. Ölçüm sisteminin yeterliliği bir kez verilmiş bir karar gibi taşınır, oysa ürün ve prosesle birlikte yeniden değerlendirilmesi gereken bir parametredir.
Kurumsal bedelin ilk katmanı doğrudan ve görünürdür: sağlam parçanın hatalı okunarak reddedilmesi, hurda ve yeniden işleme kalemine yazılır. Bu kalem, ölçüm hatasının en ucuz kısmıdır, çünkü en azından şirketin kendi defterinde görünür. İkinci katman gecikmelidir ve çok daha pahalıdır: hatalı parçanın sağlam okunarak sevk edilmesi, saha arızası, garanti gideri, müşteri hattında durma tazminatı ve — tekrarlandığında — onaylı tedarikçi listesinden çıkarılma olarak geri döner. Bu iki hata tipi arasındaki asimetri, ölçüm sistemi zayıfladıkça birlikte büyür; yani ölçüm belirsizliğini artıran her koşul, aynı anda hem gereksiz hurdayı hem de kaçan hatayı besler, ve bu ikisi genellikle farklı bütçe kalemlerinde farklı yöneticilerin sorumluluğunda izlendiği için toplamları hiçbir raporda yan yana gelmez.
Üçüncü katman, kalite verisinin karar girdisi olarak kullanıldığı her yerde ortaya çıkar. Ölçüm belirsizliği bilinmiyorken toplanan veriyle yapılan proses iyileştirme çalışmaları, iyileştirme sonrası gözlenen düzelmenin ne kadarının gerçek olduğunu ayırt edemez; bir düzeltici faaliyet kapatılır, ilgili maliyet yatırım olarak defterlenir, oysa gözlenen düzelme ölçüm sisteminin o dönemde daha dar bir bantta çalışmasından kaynaklanmış olabilir. Aynı belirsizlik, tedarikçi skorkartlarına aktarıldığında ticari sonuç doğurur: skor üzerinden fiyat kırılır, hacim kaydırılır, alternatif tedarikçi geliştirme programı başlatılır. Ölçüm sisteminin payı doğrulanmadığı sürece bu kararların tümü, doğruluğu test edilmemiş bir katmanın üzerine kurulur, ve zinciri geri sararak hatanın nereden geldiğini bulmak, çoğu zaman kararın kendisini yeniden almaktan pahalıdır.
Dördüncü katman değerleme masasında görünür. Bir üretim şirketinin inceleme sürecinde kalite performansı, tarihsel fire oranları ve müşteri şikâyet kayıtları üzerinden değerlendirilir; bu verilerin varlığı bir olgunluk göstergesi sayılır. Buna karşılık deneyimli bir inceleme, veriyi değil verinin üretim yöntemini sorar: ölçüm sistemlerinin yeterliliği hangi sıklıkla doğrulanmıştır, doğrulama kayıtları ürün ailesi bazında mı yoksa cihaz bazında mı tutulmuştur, tolerans daraldığında ölçüm sisteminin yeniden değerlendirildiğine dair bir iz var mıdır. Bu iz bulunamadığında, tarihsel kalite verisinin tamamı kanıt değerini kaybeder; sonuç, düşük fire oranının değerlemeye yansımaması, garanti yükümlülükleri için escrow talebi ya da temsil ve tekeffül kapsamının kalite başlığında genişletilmesi olarak ortaya çıkar. Şirket iyi performans göstermiş olabilir; gösterebildiğini kanıtlayamadığı ölçüde bu performans fiyatlanmaz.
Bu eğilimi nötrleyen mekanizma operatör eğitimi ya da daha hassas cihaz alımı değil, ölçüm sisteminin süreçten ayrı bir varlık olarak yönetişime bağlanmasıdır. Bunun dört bileşeni vardır. Birincisi, ölçüm sistemi envanterinin cihaz listesi olarak değil, kritik karakteristik–cihaz–operatör–yöntem dörtlüsü olarak tutulması; çünkü doğrulanan şey cihaz değil, o cihazın belirli bir karakteristiği belirli bir yöntemle ölçme kapasitesidir. İkincisi, ölçüm değişkenliğinin toplam içindeki payının periyodik olarak ölçülmesi ve bu payın kalite raporunun yanında değil, içinde raporlanması. Üçüncüsü, ölçüm sistemi yeniden değerlendirmesini tetikleyen olayların önceden tanımlanması — tolerans değişikliği, yeni müşteri şartnamesi, hat hızı artışı, cihaz onarımı, operatör rotasyonu. Dördüncüsü, tedarikçiyle uyuşmazlık durumunda hangi ölçüm sisteminin referans alınacağının sözleşme aşamasında yazılması, ki bu madde uyuşmazlık çıktıktan sonra müzakere edilemez.
BEIREK'in sermaye-yoğun üretim ve altyapı projelerindeki müdahalesi bu dördüncü bileşenden geriye doğru kurulur. Sözleşme mimarisi aşamasında kabul kriterlerinin yanına kabul ölçümünün nasıl yapılacağını — hangi yöntem, hangi ölçüm belirsizliği bandı, uyuşmazlıkta hangi bağımsız referans — yazarız; performans testi ve devreye alma protokollerinde ölçülen değerin yanında ölçümün kendi toleransını ayrı bir satır olarak taşırız, çünkü garanti eşiğine yakın bir sonuçta tarafları karşı karşıya getiren şey performansın kendisi değil, ölçümün belirsizlik bandının eşiği hangi yönde kestiğidir. Bu bant sözleşmede tanımlı değilse, kabul aşamasında ortaya çıkan tartışma teknik bir tartışma olmaktan çıkar ve doğrudan ödeme planına, alıkoyma tutarına ve devreye alma takvimine yansır.
İşletme tarafında ise ölçüm sistemi doğrulamasını, kalite fonksiyonunun kendi içinde kapanan bir uygunluk faaliyeti olmaktan çıkarıp yönetim gözden geçirmesinin sabit bir kalemi haline getiririz. Tutulan kayıt, doğrulamanın yapıldığını gösteren bir sertifika değil, hangi karakteristikte ölçüm payının hangi seviyede olduğunu ve hangi tetikleyiciden sonra yeniden ölçüldüğünü gösteren bir seridir; bu seri, hem iyileştirme çalışmalarının gerçek etkisini ayırmayı hem de bir satış ya da finansman sürecinde kalite verisinin kanıt değerini savunmayı mümkün kılar. Ölçüm sistemi kaydı olan bir şirketin kalite verisi bir iddiadır; kaydı olmayan bir şirketin kalite verisi ise, karşı tarafın makul biçimde iskonto edeceği bir beyandır.
Bir organizasyonun ölçüm disiplini, ölçtüğü şeye ne kadar güvendiğiyle değil, ölçüsünün kendisini ne sıklıkla sorguladığıyla anlaşılır. Kalite verisi üzerine kurulan her karar — hurda bütçesi, tedarikçi rotasyonu, garanti karşılığı, kapasite yatırımı — örtük olarak ölçümün doğru olduğu varsayımını taşır, ve bu varsayım hiçbir yerde açıkça test edilmediği sürece kararların tamamı aynı doğrulanmamış zemine yaslanır. Sorulması gereken soru, hattın geçen ay neden kötüleştiği değil; hattın kötüleştiğini söyleyen sistemin, kendisinin ne kadar değiştiğinin bilinip bilinmediğidir.