--- title: "Geçmişi Kusursuz Açıklayan Model: Backtest Overfitting'in Kurumsal Karşılığı" description: "Backtest overfitting, bir modelin geçmiş veriye giderek daha iyi uyarlanırken o verinin tesadüfi yapısını da parametrelerine taşıması ve koşul değiştiğinde çökmesidir. Kurumsal karşılığı ihale fiyatlama, talep tahmini, stok politikası ve covenant kalibrasyonu modellerinde görülür. Nötrleyen mekanizma bireysel dikkat değil; deneme sayısının kaydı, kilitli örneklem ve modeli kuran ile doğrulayan rollerin ayrılmasıdır." url: https://www.beirek.com/tr/blog/backtest-overfitting canonical: https://www.beirek.com/tr/blog/backtest-overfitting published: 2025-04-15 modified: 2025-04-15 category: "Karar ve Yargı Yanılgıları" category_url: https://www.beirek.com/tr/blog/category/judgement-decision-making language: tr-TR reading_time_minutes: 9 publisher: BEIREK LLC publisher_url: https://www.beirek.com license: "© BEIREK LLC — citation with attribution and link permitted" keywords: ["backtest overfitting","aşırı uyarlama","tahmin modeli doğrulama","contingency kalibrasyonu","kilitli örneklem","yatırım komitesi karar mimarisi","talep tahmini riski"] topics: ["Karar ve yargı yanılgıları","Model riski ve doğrulama yönetişimi","Sermaye-yoğun projelerde fiyatlama ve tahmin disiplini"] alternate_language_url: https://www.beirek.com/en/blog/backtest-overfitting --- # Geçmişi Kusursuz Açıklayan Model: Backtest Overfitting'in Kurumsal Karşılığı > **Kısaca:** Backtest overfitting, bir modelin geçmiş veriye giderek daha iyi uyarlanırken o verinin tesadüfi yapısını da parametrelerine taşıması ve koşul değiştiğinde çökmesidir. Kurumsal karşılığı ihale fiyatlama, talep tahmini, stok politikası ve covenant kalibrasyonu modellerinde görülür. Nötrleyen mekanizma bireysel dikkat değil; deneme sayısının kaydı, kilitli örneklem ve modeli kuran ile doğrulayan rollerin ayrılmasıdır. *Bir modelin geçmiş veriye ne kadar iyi oturduğu, o modelin gelecekte ne kadar isabetli olacağı hakkında tek başına bilgi taşımaz; taşıdığı bilgi, kaç denemenin sonunda o uyumun elde edildiği rakamıyla birlikte anlam kazanır. Kurumsal kararda bu ikinci rakam neredeyse hiç sorulmaz, ve maliyeti model çöktüğünde değil, koşul değiştiğinde ortaya çıkar.* --- Bir yatırım komitesi ya da fiyatlama gözden geçirme oturumunda tekrarlayan bir örüntü vardır: sunulan modelin geçmiş sonuçları ne kadar yakın açıkladığı gösterildiğinde, odadaki güven belirgin biçimde yükselir. Son beş yılın tamamlanmış ihalelerini birkaç puanlık sapmayla yeniden üreten bir maliyet eğrisi, ya da geçmiş on iki çeyrekteki talep dalgalanmasını neredeyse birebir izleyen bir tahmin fonksiyonu, tartışmayı kapatan bir kanıt gibi işlem görür. Oysa aynı oturumda hiç sorulmayan bir rakam vardır, ve o rakam analistin kendi dizüstü bilgisayarında kalır: bu uyuma ulaşmadan önce kaç farklı değişken seti, kaç farklı zaman penceresi, kaç farklı ağırlıklandırma denenmiştir. Modelin geçmişe ne kadar iyi oturduğu bilgisi, tek başına, gelecekteki isabet hakkında sanıldığı kadar bilgi taşımaz; taşıdığı bilgi ancak ikinci rakamla birlikte yorumlanabilir hâle gelir. Bu asimetri tesadüfi değildir, çünkü kurumsal gözden geçirme ritüelleri sonucu değerlendirmek üzere kurulmuştur, süreci değil. Sunum dosyasına giren şey nihai kurgu ile onun geçmiş performansıdır; elenen kurguların sayısı ve elenme gerekçesi ise dosyaya hiç girmez, zira kimse onları istememiştir ve istenmediği ölçüde de kaydedilmemiştir. Karar verici, önüne gelen tek bir modelin geçmişle uyumunu değerlendirdiğini sanırken, gerçekte çok sayıda denemenin içinden geçmişe en iyi oturanının seçilmiş olmasının sonucunu değerlendirmektedir, ve bu iki durumun istatistiksel anlamı aynı değildir. Sunumu hazırlayan kişinin niyeti burada belirleyici değildir; kalibrasyonu iyileştirmek onun işidir ve bunu yapmakla mesleki olarak doğru davranmaktadır. Mekanizmanın adı backtest overfitting — bir modelin geçmiş veriye giderek daha iyi uyarlanırken, o verideki kalıcı yapıyı değil, örneklemin tesadüfi yapısını da parametrelerine taşıması. Her veri kümesi iki bileşen içerir: tekrar eden, kalıcı bir ilişki ile o dönemin kendine özgü, tekrar etmeyecek dalgalanması. Bir kurguyu geçmiş veriye göre iyileştirmek, ilk aşamada birinci bileşeni yakalamayı sağlar; belirli bir noktadan sonra ise iyileştirmenin tek yolu ikinci bileşene uyum sağlamak kalır, çünkü açıklanacak kalıcı yapı tükenmiştir. Sorun, model üzerinde çalışan kişinin bu iki aşamanın sınırını gözlemleyememesidir; ekranda görünen tek şey, uyum ölçüsünün her denemede biraz daha iyileşmesidir. Bu eğilim bir hata değil, belirli koşullarda tamamen işlevsel bir yöntemdir. Bir mekanizmanın nasıl çalıştığı önceden biliniyorsa, denenen kurgu sayısı sınırlıysa ve örneklem denenen parametre sayısına göre birkaç büyüklük mertebesi genişse, geçmiş veriye kalibrasyon isabeti gerçekten artırır — mühendislik disiplinlerinin tamamı bu mantıkla çalışır. Yöntemin bozulduğu nokta, denenen kurgu sayısının örneklem genişliğine yaklaşmasıdır; bu eşikten sonra, denemeler arasından en iyi performansı gösterenin seçilmesi, sinyali değil gürültüyü seçmek anlamına gelir. Kurumsal ortamda bu eşik sessizce aşılır, zira modeli iyileştirmek için harcanan her ek gün, denenen kurgu sayısını artırırken örneklemi genişletmez. Örneklemin kendisi de çoğu zaman nötr değildir, ve bu ikinci katman ilkinden daha az fark edilir. Tamamlanmış projelerden oluşturulan bir maliyet veri tabanı, iptal edilmiş, finansmanı kapanmamış ya da yüklenici değişikliğiyle yeniden yapılandırılmış projeleri içermez; dolayısıyla model, sonuçlanan işlerin özelliklerine kalibre edilir ve sonuçlanmama olasılığını üreten koşullar veri kümesinden yapısal olarak dışlanmış olur. Aynı biçimde, mevcut müşteri portföyünden türetilen bir fiyat esnekliği tahmini, bu fiyat seviyesini kabul etmediği için portföyde bulunmayan alıcıların davranışı hakkında hiçbir bilgi taşımaz. Bu durumda geçmişe uyum kusursuz görünebilir; kusursuzluğun kaynağı, modelin doğruluğu değil, sorunun veri kümesinden çıkarılmış olmasıdır. Kurumsal bedel ilk olarak fiyatlama disiplininde birikir. Geçmiş ihale sonuçlarına aşırı uyarlanmış bir maliyet modeli, tipik olarak contingency kalemini gerçekte gerekenden dar hesaplar, çünkü geçmiş dönemin sapmalarını sistematik bir yapı olarak yorumlayıp modele içselleştirmiş ve geriye açıklanmamış varyans olarak çok az şey bırakmıştır. Dar contingency ile verilen teklif kazanma olasılığını yükseltir, dolayısıyla model kısa vadede kendini haklı çıkarmış görünür; kazanılan işlerin marj profili ise ancak icra döneminde, gecikme cezası tavanına yaklaşma sıklığı ve yeniden işleme maliyetleri üzerinden görünür hâle gelir. Aynı mantık stok politikasında yeniden sipariş noktasının, kredi tahsisinde limit eşiğinin ve borç yapılandırmasında DSCR baz senaryosunun kalibrasyonunda tekrarlanır. İkinci birikim yeri kapasite ve yatırım kararlarıdır. Bir tesis genişletmesinin ya da yeni hattın gerekçesini taşıyan talep modeli, geçmiş çeyreklerin dalgalanmasını yüksek isabetle açıklıyorsa, yatırım komitesi bu isabeti gelecek projeksiyonuna aktarma eğilimindedir; oysa modelin açıklama gücünün önemli bir kısmı, tekrar etmeyecek bir dönemin özelliklerinden gelmiş olabilir. Bu durumda hata, tahminin bir miktar sapmasıyla sınırlı kalmaz; sabit yatırımın geri dönüş takvimi, taahhüt edilen alım hacimleri ve buna bağlanmış tedarikçi sözleşmeleri, artık gerçekleşmeyen bir talep eğrisine kilitlenmiştir. Sermaye-yoğun kararlarda modelin hatası bilançoya bir tahmin sapması olarak değil, atıl kapasite ve yeniden müzakere edilemeyen taahhüt olarak yazılır. Üçüncü katman değerlemede görünür, ve genellikle satış sürecinin ortasında fark edilir. Bir şirketin tahmin kabiliyeti, due diligence sürecinde modelin yapısına bakılarak değil, geçmiş tahminlerin gerçekleşmelerle karşılaştırılması yoluyla test edilir; tahminlerin sürüm sürüm kaydedilmediği, yalnızca son hâlin arşivlendiği kurumlarda bu test yapılamaz. Test edilemeyen bir tahmin kabiliyeti, alıcı tarafından tipik olarak yokluk varsayımıyla fiyatlanır — projeksiyona dayanan değer bileşeni ya iskonto edilir, ya earn-out yapısına ötelenir, ya da temsil ve tekeffül kapsamının genişletilmesiyle satıcıya geri yüklenir. Modelin kalitesi burada bir mühendislik meselesi olmaktan çıkıp, doğrudan kapanış fiyatının bir bileşeni hâline gelir. Bedelin zaman içindeki dağılımı, sorunun kendini gizlemesini kolaylaştırır. Aşırı uyarlanmış bir model kurulduğu anda hata vermez; verinin türetildiği koşullar sürdüğü sürece makul sonuçlar üretmeye devam eder, ve bu dönem boyunca güven birikir, tampon daralır, modele bağlanan karar sayısı artar. Çöküş, tipik olarak koşulun değiştiği anda ve tam da tamponun en dar olduğu noktada gerçekleşir. Bunu izleyen teşhis ise neredeyse her zaman aynıdır — piyasa değişti, girdi fiyatları öngörülemez biçimde hareket etti, emsalsiz bir dönemdi — ve bu teşhis yöntemi koruduğu ölçüde bir sonraki döngüde aynı refleksi yeniden üretir. Bu eğilim bireysel ihtiyatla değil, model çevresine kurulan bir mimariyle yönetilir, ve bu mimarinin dört bileşeni vardır. Birincisi deneme kaydıdır: denenen her kurgunun, denendiği anda — sonuç görülmeden ve onaya sunulmadan önce — sayı, değişken seti ve gerekçeyle kaydedilmesi; nihai modelin performansı ancak bu sayı bilinerek yorumlanabilir. İkincisi kilitli örneklemdir: veri kümesinin bir bölümünün modelleme başlamadan önce ayrılması ve yalnızca bir kez, nihai kurgu sabitlendikten sonra açılması; bu bölüm bir kez açıldıktan sonra kalibrasyona geri dönülüyorsa, ayrılmış olmasının bir anlamı kalmaz. Üçüncüsü rol ayrımıdır: modeli kuran ile doğrulayan aynı kişi olduğunda, doğrulama adımı kaçınılmaz olarak kalibrasyonun devamına dönüşür. Dördüncüsü ise önceden ilan edilmiş durdurma eşiğidir: modelin hangi sapma seviyesinde ve hangi süre boyunca sapma gösterdiğinde kullanımdan kaldırılacağının, model devreye alınmadan önce yazılı olarak sabitlenmesi. BEIREK, yönettiği sermaye-yoğun projelerde fiyatlama, maliyet ve talep modellerini bir çıktı olarak değil, kayıt zinciri olan bir süreç olarak ele alır. Uygulamada bu, model dosyasının yanında bir kurgu kaydının tutulması — hangi varsayım setinin ne zaman ve hangi gerekçeyle denendiği, hangisinin elendiği — ve nihai modelin komiteye bu kayıtla birlikte sunulması anlamına gelir; komite böylece tek bir modelin geçmişe uyumunu değil, o uyumun hangi arama alanından çıktığını değerlendirir. Buna paralel olarak veri kümesinin bir bölümü, modelleme başlamadan önce kilitlenir ve nihai kurgu sabitlendikten sonra tek seferlik doğrulama için açılır; doğrulamayı yürüten rol, modeli kuran ekipten ayrıdır ve kalibrasyona geri dönüş yetkisi taşımaz. Bu mimarinin ikinci ayağı, modelin devreye alındıktan sonraki ömrünü yöneten ritimdir. Contingency oranı, DSCR baz senaryosu ya da talep eğrisi gibi karara bağlanmış her parametre için, hangi sapma bandının ve hangi sürenin gözden geçirmeyi tetikleyeceği devreye alma anında yazılır; icra döneminde bu eşik aşıldığında, gözden geçirme tartışmaya açılmaz, otomatik olarak başlar. Aynı ritim içinde her tahmin sürümü tarihiyle birlikte saklanır, ve sonraki dönemlerde gerçekleşmelerle karşılaştırılabilir hâlde tutulur; bu arşiv hem modelin kendi kalitesini ölçülebilir kılar, hem de ileride bir satış ya da finansman sürecinde tahmin kabiliyetinin dışarıdan doğrulanabilmesini sağlar. Kurumsal hafızanın burada üstlendiği işlev, geçmişi hatırlamak değil, geçmiş hakkında ne kadar bildiğimizin sınırını kayıt altında tutmaktır. Bir modelin geçmişi ne kadar iyi açıkladığı sorusu, tek başına sorulduğunda cevaplanabilir görünür ama karar için kullanılamaz; kullanılabilir hâle gelmesi, o açıklamanın kaç denemenin ardından ve hangi veri kümesinden elde edildiğinin aynı dosyada durmasına bağlıdır. Bu ikinci bilginin kurumda üretilip üretilmediği, modelin matematiğinden çok, kimin neyi ne zaman kaydettiğine dair bir yönetişim tercihidir — ve tercihin sonucu, tipik olarak modelin kurulduğu dönemde değil, koşulun değiştiği ilk dönemde tahsil edilir. ## Ana Noktalar - Bir modelin geçmişe uyum kalitesi, o uyuma ulaşmak için kaç farklı kurgunun denendiği bilinmeden yorumlanamaz; ikinci rakam olmadan birincisi anlamsızdır. - Denenen kurgu sayısı örneklem büyüklüğüne yaklaştıkça, seçilen modelin üstünlüğü giderek sinyalden değil örneklemin tesadüfi yapısından gelir. - Kurumsal bedel modelin hata verdiği anda değil, koşul değiştiğinde ve tampon zaten tüketilmişken; contingency, LD maruziyeti ve işletme sermayesi üzerinden görünür. - Model başarısızlığı tipik olarak 'piyasa değişti' diye teşhis edildiğinde, yöntem korunur ve aynı kalibrasyon refleksi bir sonraki döngüde tekrarlanır. - Etkili müdahale bireysel ihtiyat değil, deneme kaydı, önceden kilitlenmiş örneklem, kuran-doğrulayan rol ayrımı ve ilan edilmiş durdurma eşiğinden oluşan bir mimaridir. ## Sorular ### Backtest overfitting nedir ve kurumsal karar süreçlerinde nasıl ortaya çıkar? Backtest overfitting, bir modelin geçmiş veriye giderek daha iyi uyarlanırken o verinin kalıcı yapısını değil, tekrar etmeyecek dalgalanmasını da parametrelerine taşımasıdır. Kurumsal ortamda ihale fiyatlama eğrilerinde, talep tahminlerinde, stok yeniden sipariş noktalarında ve DSCR baz senaryolarında görülür. Model kurulduğu koşullar sürdüğü sürece isabetli görünür; koşul değiştiğinde ise sapma, tamponun zaten daraldığı bir noktada ortaya çıkar. ### Bir modelin geçmiş veriye aşırı uyarlanıp uyarlanmadığı nasıl anlaşılır? Tek başına uyum ölçüsü bu soruyu cevaplamaz. Belirleyici bilgi, o uyuma ulaşılana kadar kaç farklı değişken seti, zaman penceresi ve ağırlıklandırmanın denendiğidir; denenen kurgu sayısı örneklem genişliğine yaklaştıkça, seçilen modelin üstünlüğü büyük olasılıkla gürültüden gelir. İkinci gösterge, modelleme başlamadan önce ayrılmış ve tek seferlik açılan bir doğrulama örnekleminin bulunup bulunmadığıdır; böyle bir örneklem yoksa ayrım yapılamaz. ### Aşırı uyarlanmış bir fiyatlama modelinin şirkete maliyeti nedir? İlk maliyet contingency kaleminde birikir: model geçmiş sapmaları sistematik yapı olarak içselleştirdiğinde, açıklanmamış varyans olarak geriye çok az şey bırakır ve tampon gerçekte gerekenden dar hesaplanır. Bu, kısa vadede kazanma oranını yükseltir; icra döneminde ise gecikme cezası tavanına yaklaşma sıklığı, yeniden işleme maliyetleri ve işletme sermayesi baskısı olarak görünür. Kapasite kararlarında ise atıl yatırım ve yeniden müzakere edilemeyen taahhüt biçimini alır. ### Model riski bireysel dikkatle değil hangi kurumsal mekanizmayla yönetilir? Dört bileşenli bir mimariyle: denenen her kurgunun sonuç görülmeden önce kaydedilmesi; veri kümesinin bir bölümünün modelleme öncesinde kilitlenip nihai kurgu sabitlendikten sonra tek kez açılması; modeli kuran ile doğrulayan rollerin ayrılması; ve modelin hangi sapma bandında kullanımdan kaldırılacağının devreye alma anında yazılı olarak sabitlenmesi. Bu bileşenler kişisel ihtiyata değil, kayıt ve yetki dağılımına dayandığı için ekip değiştiğinde de ayakta kalır. --- Kaynak: https://www.beirek.com/tr/blog/backtest-overfitting Yayımlayan: BEIREK LLC — https://www.beirek.com