مجموعات التدريب والتحقق والاختبار: كيف نقسّم البيانات ولماذا؟
Training, Validation and Test Sets
الجواب المختصر
نقسّم البيانات إلى ثلاث مجموعات: التدريب (أكبر جزء، يتعلم منه النموذج)، والتحقق (تُستخدم أثناء التجريب لضبط الإعدادات كعدد الطبقات أو سرعة التعلم واختيار البنية دون المساس بالاختبار)، والاختبار (جزء لم يره النموذج قط يُستخدم بعد الانتهاء لتقدير الأداء الحقيقي). وإن كانت نتائج التدريب ممتازة والاختبار ضعيفًا فالنموذج غالبًا حفظ التفاصيل ولم يتعمم. ويجب أن تمثل كل مجموعة توزيع الفئات نفسه قدر الإمكان.
| المجموعة | وظيفتها | ملاحظة |
|---|---|---|
| التدريب | تعليم النموذج الأنماط | الأكبر حجمًا (مثل 80%) |
| التحقق | ضبط المعلمات واختيار أفضل بنية أثناء التجريب | مستقلة نسبيًا عن الاختبار |
| الاختبار | تقدير الأداء الحقيقي بعد انتهاء التدريب | لا تُستخدم في أي قرار تصميمي |
قواعد التقسيم
- حافظ على نسب الفئات: إن كانت فئة 20% وأخرى 80% فابقَ قريبًا منها في المجموعات الثلاث.
- إن اخترت الاختبار من فترة مختلفة تمامًا أو من نوع حالات مميز فالتقدير غير عادل: قد تظن النموذج سيئًا جدًا أو ممتازًا والحقيقة في مكان آخر.
- في المسائل الزمنية (تأخر الرحلات، استهلاك الكهرباء) لا تخلط المستقبل بالماضي: درّب على السنوات السابقة واختبر على فترة لاحقة.
- راجع التوازن: إن جاءت معظم إجابات رضا الطلبة من تخصص واحد فالنتيجة لا تعكس البقية.
وبعد النشر تستمر المراقبة لأن البيانات تتغير (المراقبة وانحراف البيانات). وانظر أنواع التعلم والانحدار الخطي لمثال تطبيقي على التقسيم.
وتذكّر أن التقسيم قرار تصميمي يجب توثيقه: نسب المجموعات، وكيف اختيرت العينات، وما الاحتياط لمنع التسرب.
المصطلحات: عربي ↔ English
- مجموعة تدريب
- Training Set
- مجموعة تحقق
- Validation Set
- مجموعة اختبار
- Test Set
- فرط التعلم
- Overfitting
- تلوث بيانات الاختبار
- Test Data Leakage
لماذا يهمّ هذا في BTEC؟
الخطأ الشائع: تلوث بيانات الاختبار، أي تسرب أمثلة منها إلى التدريب فيبدو النموذج رائعًا ثم ينهار على بيانات جديدة.
أسئلة تجيب عنها هذه الصفحة
- لماذا نقسم البيانات إلى تدريب واختبار؟
- ما الفرق بين مجموعة التحقق والاختبار؟
مفاهيم مرتبطة
- الذكاء الاصطناعي القابل للتفسير (XAI) وانحراف البيانات: لماذا نراقب النموذج بعد النشر؟XAI يجعل قرارات النموذج مفهومة للإنسان، وهو مهم حين يؤثر القرار في الناس أو المال أو السلامة. وقد يضعف النموذج مع الزمن إن تغيرت البيانات (Data Drift)، لذلك تُراقَب البيانات والدقة والانحياز بعد النشر.
- التعلم تحت الإشراف وبدون إشراف: الفرق وأمثلةفي التعلم تحت الإشراف تكون لدينا مدخلات X معها الإجابة الصحيحة Y فيتعلم النموذج العلاقة بينهما ثم يتنبأ، وفي التعلم بدون إشراف مدخلات فقط ويكتشف النموذج الأنماط، كتقسيم العملاء إلى مجموعات.
- الانحدار الخطي (Linear Regression) ومقياس الخطأ MSEالانحدار الخطي يبحث عن أفضل خط مستقيم y = mx + c يقرّب العلاقة بين المدخل والمخرج، حيث m الميل وc المقطع. ويقيس MSE متوسط مربع الخطأ بين القيم الحقيقية والمتوقعة: كلما صغر كان النموذج أدق.
- نموذج ARIMA للتنبؤ بالسلاسل الزمنية: AR وI وMAARIMA نموذج يتنبأ بقيم مستقبلية من الماضي في بيانات مرتبة بالزمن، ويتكون من ثلاثة أجزاء: AR (الاعتماد على القيم السابقة)، وI (إزالة الاتجاه العام بأخذ الفروق)، وMA (التعامل مع الضوضاء والتذبذب).
- أشجار القرار (Decision Trees): كيف تتعلم وكيف نقرأها وما الـ Overfitting؟شجرة القرار تشبه لعبة الأسئلة المتتابعة (نعم/لا): تقسم البيانات خطوة بخطوة بسؤال بسيط على ميزة حتى تصل إلى قرار نهائي في الأوراق. سهلة التفسير، لكنها قد تحفظ بيانات التدريب إن كانت عميقة جدًا.
- الانحدار اللوجستي: كيف يتحول الاحتمال إلى قرار؟الانحدار اللوجستي نموذج تعلم تحت الإشراف يُستخدم عندما تكون النتيجة فئة 0 أو 1: يتوقع احتمالًا بين 0 و1 عبر دالة السيجمويد ثم يحوّله إلى قرار بعتبة (غالبًا 0.5).
- تجهيز البيانات لنماذج الذكاء الاصطناعي: اختيار السجلات وتقليل البيانات والميزات والتطبيعبعد اختيار السجلات نبحث عن القيم المفقودة وأسبابها والتكرارات، ثم نحوّل القيم الخام إلى ميزات أوضح، ونطبّع الأرقام، ونراجع منطقية الحقول وتوزيعها، ونقلل البيانات الشخصية إلى ما يلزم فقط.
عن كاتب الصفحة
مدرّس BTEC IT · الأردن
- نوع المحتوى
- شرح مبني على مادة أحمد دومي — وليس نصًّا رسميًّا من Pearson
- آخر مراجعة
- المصدر
- مدخل إلى الذكاء الاصطناعي وتطبيقاته — كتاب الوحدة (أحمد دومي) — الصفحات 86–89