Aşırı uyum gösterme
Overfitting Nedir?
Aşırı uyum, bir işlev sınırlı bir veri noktası kümesine çok yakın hizalandığında ortaya çıkan istatistikte bir modelleme hatasıdır. Sonuç olarak model, diğer veri kümelerine değil, yalnızca ilk veri kümesine referans olarak kullanışlıdır.
Modeli gereğinden fazla uydurmak, genellikle incelenen verilerdeki kendine özgü özellikleri açıklamak için aşırı karmaşık bir model yapma biçimini alır. Gerçekte, incelenen verilerin içinde bir dereceye kadar hata veya rastgele gürültü vardır. Bu nedenle, modeli biraz yanlış verilere çok yakından uydurmaya çalışmak, modeli önemli hatalarla etkileyebilir ve tahmin gücünü azaltabilir.
Temel Çıkarımlar
- Aşırı uyum, belirli bir işlevin minimum veri noktası kümesine çok yakın hizalanmasının bir sonucu olarak veri modellemede meydana gelen bir hatadır.
- Finans uzmanları, sınırlı verilere dayanan bir modeli aşırı uydurma ve hatalı sonuçlarla sonuçlanma riski altındadır.
- Bir model aşırı uydurma nedeniyle tehlikeye atıldığında, model yatırım için öngörücü bir araç olarak değerini kaybedebilir.
Aşırı Uyumu Anlamak
Örneğin, yaygın bir problem, kalıpları bulmak için tarihsel piyasa verilerinin kapsamlı veritabanlarında arama yapmak için bilgisayar algoritmaları kullanmaktır. Yeterli çalışma verildiğinde, borsadaki getiri gibi şeyleri yakın doğrulukla tahmin ediyor görünen ayrıntılı teoremler geliştirmek çoğu zaman mümkündür.
Bununla birlikte, örneklemin dışındaki verilere uygulandığında, bu tür teoremler muhtemelen bir modelin gerçekte sadece tesadüfi olaylara aşırı uygun olduğunu kanıtlayabilir. Her durumda, bir modeli, onu geliştirmek için kullanılan örneklemin dışındaki verilere karşı test etmek önemlidir.
Aşırı Takma Nasıl Önlenir
Aşırı uymayı önlemenin yolları arasında, modeli eğitmek için kullanılan verilerin katlara veya bölümlere bölündüğü ve modelin her katlama için çalıştırıldığı çapraz doğrulama bulunur. Ardından, genel hata tahmininin ortalaması alınır. Diğer yöntemler arasında, tahminlerin en az iki ayrı modelden birleştirildiği birleştirme, mevcut veri setinin farklı görünmesi için yapıldığı veri artırma ve aşırı uyumdan kaçınmak için modelin düzene sokulduğu veri sadeleştirme yer alır.
Finans uzmanları, sınırlı verilere dayalı bir modele aşırı uymanın tehlikelerinin her zaman farkında olmalıdır.
Aşırı Uyum Örneği
Aşırı uyum da makine öğreniminde bir faktördür. Bir makineye belirli verileri tek bir şekilde taraması öğretildiğinde ortaya çıkabilir, ancak aynı işlem yeni bir veri kümesine uygulandığında sonuçlar yanlış olur. Örneğin, istediğinden daha yüksek bir üniversiteden ayrılma oranı gören bir üniversite, bir başvuru sahibinin mezuniyete kadar bunu tamamlama olasılığını tahmin etmek için bir model oluşturmak istediğine karar verir. Bunu yapmak için, üniversite 5.000 başvurandan ve bunların sonuçlarından oluşan bir veri setinden bir model eğitiyor. Ardından, modeli orijinal veri kümesinde (5.000 başvurandan oluşan grup) çalıştırır ve model, sonucu% 98 doğrulukla tahmin eder. Ancak doğruluğunu test etmek için, modeli ikinci bir veri kümesinde de çalıştırıyorlar: 5.000 daha fazla başvuru. Bununla birlikte, bu sefer, model dar bir veri alt kümesine, bu durumda ilk 5.000 uygulamaya çok yakın olduğundan model yalnızca% 50 doğrudur.