خطوات تنظيف ومعالجة البيانات: من البيانات الخام إلى بيانات جاهزة
Data Cleaning and Processing Steps
الجواب المختصر
معالجة البيانات (Data Processing) مجموعة عمليات تُجرى على البيانات الخام لتنظيمها وتصحيحها وتحويلها إلى شكل أوضح وأنفع. أهمها: توحيد طريقة كتابة الأسماء، واستخدام تنسيق موحد للتواريخ، وكتابة أرقام الهواتف بطريقة ثابتة، وتصحيح الأخطاء الإملائية والقيم الخاطئة، وإزالة البيانات المكررة وغير الضرورية، وترتيبها في صفوف وأعمدة مناسبة، والتأكد من اكتمال الحقول المهمة.
البيانات الأولية لا تكون جاهزة دائمًا
البيانات الأولية هي كما جُمعت من المصدر قبل التنظيم، وقد تحتوي أخطاء أو قيمًا مكررة أو طرق كتابة مختلفة. قائمة عملاء قد تحمل الاسم نفسه مكتوبًا بطريقتين، أو رقم هاتف ناقصًا، أو تاريخًا بتنسيق مختلف عن بقية السجلات.
الخطوات
- توحيد كتابة الأسماء.
- استخدام تنسيق موحد للتواريخ.
- كتابة أرقام الهواتف بطريقة ثابتة.
- تصحيح الأخطاء الإملائية أو القيم غير الصحيحة.
- إزالة البيانات المكررة وغير الضرورية.
- ترتيب البيانات في صفوف وأعمدة مناسبة.
- التأكد من اكتمال الحقول المهمة.
مثال: قبل وبعد
| المشكلة | قبل المعالجة | بعد المعالجة |
|---|---|---|
| اختلاف كتابة الاسم | أحمد / احمد | كتابة واحدة موحدة |
| اختلاف تنسيق التاريخ | 31/01/2023 و31-1-2023 و31/01/23 | تنسيق واحد |
| اختلاف تنسيق الهاتف | 079XXXXXXX و+96279XXXXXXX | تنسيق ثابت |
| تكرار سجل العميل مرتين | سجلان لعميل واحد | الاحتفاظ بسجل واحد |
| بيانات ناقصة | حقل وظيفة فارغ | استكمال المعلومة إن توفرت |
كلما صارت البيانات أدق وأكثر تنظيمًا صارت النتائج المستخرجة منها أكثر موثوقية. وللتفريق بين الناقص والخاطئ انظر فحوص موثوقية البيانات، وللنتيجة على القرار جودة البيانات. والتنظيف في جداول البيانات: أنواع البيانات في الخلايا.
المصطلحات: عربي ↔ English
- البيانات الأولية
- Raw Data
- معالجة البيانات
- Data Processing
- تنظيف البيانات
- Data Cleaning
- بيانات مكررة
- Duplicate Data
لماذا يهمّ هذا في BTEC؟
كل تحليل أو لوحة معلومات تُبنى فوق بيانات نظيفة. إن لم تنظّف البيانات أولًا فالنتائج قد تبدو دقيقة وهي مضللة.
أسئلة تجيب عنها هذه الصفحة
- كيف أنظف البيانات؟
- ما هي خطوات معالجة البيانات؟
مفاهيم مرتبطة
- فحوص موثوقية البيانات: بيانات ناقصة أم خاطئة؟ وحجم البيانات والتناسققبل الاعتماد على البيانات تُفحص أربع خصائص: الاكتمال (هل هناك قيم مفقودة وهل يمكن استنتاجها؟)، والخطأ (قيمة موجودة لكنها غير صحيحة)، وحجم البيانات، والتناسق في طريقة التسجيل.
- جودة البيانات: الاكتمال والدقة والاتساق والحداثةجودة البيانات هي صلاحيتها للتحليل والقرار: الاكتمال والدقة والاتساق والحداثة، ويضاف إليها في الحصة التحيّز وحجم العينة. وتُحسَّن بتنقية البيانات وإزالة التكرار وتسوية الجداول.
- الفرق بين البيانات والمعلوماتالبيانات حقائق وأرقام لا معنى لها بمفردها، والمعلومات بيانات عولجت ونُظّمت وأُعطيت معنى وسياقًا فأصبح ممكنًا الاستفادة منها في القرار.
- أنواع البيانات في جداول البيانات وتنسيق الخلايااختيار النوع الصحيح للبيانات (نص، عدد صحيح، عشري، تاريخ، وقت، عملة، قيمة منطقية) مهم لأن البرنامج يتعامل مع كل نوع بطريقة مختلفة. مثال: رقم الهاتف يُخزَّن نصًا حتى لا يفقد الصفر الأول.
- تنظيف السلسلة الزمنية ومعالجة القيم المفقودة: الحذف أم التعويض؟عند ظهور قيم مفقودة (NA) في سلسلة زمنية يمكن حذف الصفوف أو تعويضها: بمتوسط الساعة نفسها عبر الأيام أو بآخر قيمة معروفة (LOCF). لكل طريقة أثر مختلف في شكل البيانات، لذلك تُجرَّب أكثر من طريقة ويُقارَن أثرها.
- تجهيز البيانات لنماذج الذكاء الاصطناعي: اختيار السجلات وتقليل البيانات والميزات والتطبيعبعد اختيار السجلات نبحث عن القيم المفقودة وأسبابها والتكرارات، ثم نحوّل القيم الخام إلى ميزات أوضح، ونطبّع الأرقام، ونراجع منطقية الحقول وتوزيعها، ونقلل البيانات الشخصية إلى ما يلزم فقط.
- من البيانات إلى لوحة المعلومات: كيف تبني لوحة تساعد على اتخاذ القرار؟لوحة المعلومات الجيدة تبدأ من البيانات لا من الرسم: تنظيف البيانات، واختيار النوع الصحيح لكل عمود، وإجراء الحسابات، وبناء ملخصات، ثم عرضها بمخططات تشرح ما يحدث فعلًا.
- التحقق من صحة البيانات في جداول البيانات: قوائم الاختيار ورسائل الخطأقواعد التحقق من صحة البيانات تمنع إدخال قيم لا تتوافق مع قواعد محددة (نوع أو نطاق أو قائمة اختيارات) مع رسالة خطأ توضح ما يجب إدخاله. لا تثبت أن القيمة صحيحة في الواقع، لكنها تضمن أنها ضمن المسموح.
عن كاتب الصفحة
مدرّس BTEC IT · الأردن
- نوع المحتوى
- شرح مبني على مادة أحمد دومي — وليس نصًّا رسميًّا من Pearson
- آخر مراجعة
- المصدر
- وحدة البيانات والمعلومات — الصف العاشر (أحمد دومي) — إعداد ومعالجة البيانات