الأساسيات: كيف يتعلّم النموذج فعلًا
كل نموذج يُلاءم بيانات، والحرفة كلها في مدى إحكام تلك الملاءمة. فإن كانت مرتخية أخطأ النمط، وإن كانت محكمة أكثر من اللازم حفظ ضجيج عيّنتك بالذات وأخفق في أي بيانات جديدة. حرّك مقبض التعقيد وراقب الخطأين: خطأ التدريب ينخفض طوال الطريق، بينما خطأ البيانات غير المرئية ينخفض ثم يعود للصعود. والفجوة بين المنحنيين هي فرط المطابقة مجسّدًا. وإتقان قراءة تلك الفجوة يمكّنك من تشخيص معظم إخفاقات النماذج قبل كتابة سطر واحد — فهي الصورة نفسها خلف كل عبارة «نجح في الاختبار وتعطّل في الإنتاج».
أساسيات الذكاء
كيف يتعلّم النموذج: نقص المطابقة وفرطها
النموذج البسيط جدًا يفوّت النمط، والمعقّد جدًا يحفظ التشويش. أضف بيانات وتشويشًا واضبط التعقيد لتشعر بالمفاضلة التي تكمن خلف تعلّم الآلة كله.
المزيد من الأمثلة يصعّب فرط المطابقة.
البيانات الحقيقية فوضوية — التشويش ما يحفظه النموذج المعقّد خطأً.
درجة كثير الحدود. المنخفض = خط جامد؛ المرتفع = تموّجات جامحة.
مع بيانات كافية وتعقيد مناسب، يتبع المنحنى الحقيقي ويعمّم جيدًا.