تنظيف السلسلة الزمنية ومعالجة القيم المفقودة: الحذف أم التعويض؟
Cleaning Time Series and Handling Missing Values
الجواب المختصر
السلسلة الزمنية قياسات متكررة مع الزمن. مثال: نادٍ رياضي يسجل عدد الداخلين كل ساعة، لكن بعض القراءات تفشل في الوصول فتظهر NA. وجود NA يكسر استمرارية السلسلة ويمنع كثيرًا من خوارزميات التعلم من العمل. الخيارات: حذف الصفوف الناقصة (لكنه قد يُضيّع جزءًا كبيرًا من البيانات)، أو التعويض بمتوسط الساعة نفسها عبر الأيام الأخرى (يحافظ على نمط الذروة المسائية)، أو آخر قيمة معروفة (LOCF) وقد يمدد قمة الزحام لساعة زائدة.
الخيارات
| الطريقة | الميزة | المشكلة |
|---|---|---|
| حذف الصفوف الناقصة | بسيطة | فقدان جزء كبير من البيانات إن كانت نسبة الفشل مرتفعة |
| متوسط الساعة عبر الأيام | يحافظ على نمط ساعات الذروة | قد يخفف من ارتفاع بعض القيم الحقيقية إن كانت قمة اليوم أكبر بكثير من المعتاد |
| آخر قيمة معروفة (LOCF) | سهلة وتحافظ على الاستمرارية | قد تمدد قمة الزحام لساعة لا يوجد فيها العدد نفسه فعلًا |
درس المثال
النتيجة بعد التعويض سلسلة مكتملة الأرقام مع بقاء فكرة وجود ساعات مزدحمة وأخرى هادئة. لكن اختيار الطريقة يؤثر في شكل البيانات، فتنظيف البيانات ليس عملًا آليًا بالكامل بل يحتاج علمًا وفهمًا لسياق المشكلة. وقد تنشأ القيم المفقودة من خلل في الحساس أو انقطاع الاتصال.
الفكرة العامة مشروحة في فحوص موثوقية البيانات وخطوات تنظيف البيانات. وللتنبؤ بالسلاسل الزمنية انظر نموذج ARIMA.
وسجّل في تقريرك الطريقة التي اخترتها ولماذا، فتغيير الطريقة قد يغيّر النتائج.
المصطلحات: عربي ↔ English
- سلسلة زمنية
- Time Series
- قيمة مفقودة
- Missing Value
- تعويض
- Imputation
- آخر قيمة معروفة
- LOCF
لماذا يهمّ هذا في BTEC؟
لا توجد طريقة صحيحة وحيدة: تجرِّب أكثر من تقنية وتقارن أثرها قبل الاستقرار على واحدة.
أسئلة تجيب عنها هذه الصفحة
- كيف أعالج القيم المفقودة؟
- ما هي طرق تعويض القيم المفقودة؟
مفاهيم مرتبطة
- فحوص موثوقية البيانات: بيانات ناقصة أم خاطئة؟ وحجم البيانات والتناسققبل الاعتماد على البيانات تُفحص أربع خصائص: الاكتمال (هل هناك قيم مفقودة وهل يمكن استنتاجها؟)، والخطأ (قيمة موجودة لكنها غير صحيحة)، وحجم البيانات، والتناسق في طريقة التسجيل.
- خطوات تنظيف ومعالجة البيانات: من البيانات الخام إلى بيانات جاهزةمعالجة البيانات سلسلة عمليات على البيانات الخام لتنظيمها وتصحيحها: توحيد كتابة الأسماء والتواريخ والهواتف، وتصحيح الأخطاء، وإزالة المكرر، وترتيبها في صفوف وأعمدة، والتأكد من اكتمال الحقول المهمة.
- نموذج ARIMA للتنبؤ بالسلاسل الزمنية: AR وI وMAARIMA نموذج يتنبأ بقيم مستقبلية من الماضي في بيانات مرتبة بالزمن، ويتكون من ثلاثة أجزاء: AR (الاعتماد على القيم السابقة)، وI (إزالة الاتجاه العام بأخذ الفروق)، وMA (التعامل مع الضوضاء والتذبذب).
- تجهيز البيانات لنماذج الذكاء الاصطناعي: اختيار السجلات وتقليل البيانات والميزات والتطبيعبعد اختيار السجلات نبحث عن القيم المفقودة وأسبابها والتكرارات، ثم نحوّل القيم الخام إلى ميزات أوضح، ونطبّع الأرقام، ونراجع منطقية الحقول وتوزيعها، ونقلل البيانات الشخصية إلى ما يلزم فقط.
عن كاتب الصفحة
مدرّس BTEC IT · الأردن
- نوع المحتوى
- شرح مبني على مادة أحمد دومي — وليس نصًّا رسميًّا من Pearson
- آخر مراجعة
- المصدر
- مدخل إلى الذكاء الاصطناعي وتطبيقاته — كتاب الوحدة (أحمد دومي) — الصفحتان 75–76