8.6 KiB
دورة حياة علم البيانات: التحليل
 |
|---|
| دورة حياة علم البيانات: التحليل - رسم توضيحي بواسطة @nitya |
اختبار ما قبل المحاضرة
اختبار ما قبل المحاضرة
التحليل في دورة حياة البيانات يؤكد أن البيانات يمكنها الإجابة على الأسئلة المطروحة أو حل مشكلة معينة. يمكن أن يركز هذا الخطوة أيضًا على التأكد من أن النموذج يعالج هذه الأسئلة والمشاكل بشكل صحيح. هذه الدرس يركز على تحليل البيانات الاستكشافي أو EDA، وهي تقنيات لتحديد الميزات والعلاقات داخل البيانات ويمكن استخدامها لتحضير البيانات للنمذجة.
سنستخدم مجموعة بيانات كمثال من Kaggle لنوضح كيف يمكن تطبيق ذلك باستخدام Python ومكتبة Pandas. تحتوي هذه المجموعة على عدد من الكلمات الشائعة الموجودة في الرسائل الإلكترونية، ومصادر هذه الرسائل مجهولة. استخدم دفتر الملاحظات في هذا الدليل لمتابعة الشرح.
تحليل البيانات الاستكشافي
مرحلة الالتقاط في دورة الحياة هي حيث يتم جمع البيانات وكذلك تحديد المشاكل والأسئلة المطروحة، ولكن كيف نعرف أن البيانات يمكن أن تدعم النتيجة النهائية؟ تذكر أن عالم البيانات قد يطرح الأسئلة التالية عند الحصول على البيانات:
- هل لدي بيانات كافية لحل هذه المشكلة؟
- هل جودة البيانات مقبولة لهذه المشكلة؟
- إذا اكتشفت معلومات إضافية من خلال هذه البيانات، هل يجب أن نعيد النظر أو نعيد تعريف الأهداف؟ تحليل البيانات الاستكشافي هو عملية التعرف على البيانات ويمكن استخدامها للإجابة على هذه الأسئلة، وكذلك تحديد التحديات المتعلقة بالعمل مع مجموعة البيانات. دعونا نركز على بعض التقنيات المستخدمة لتحقيق ذلك.
توصيف البيانات، الإحصاءات الوصفية، وPandas
كيف نقيم ما إذا كانت لدينا بيانات كافية لحل هذه المشكلة؟ يمكن لتوصيف البيانات تلخيص وجمع بعض المعلومات العامة حول مجموعة البيانات من خلال تقنيات الإحصاءات الوصفية. يساعد توصيف البيانات في فهم ما هو متاح لدينا، وتساعد الإحصاءات الوصفية في فهم عدد الأشياء المتاحة لدينا.
في بعض الدروس السابقة، استخدمنا Pandas لتوفير بعض الإحصاءات الوصفية باستخدام وظيفة describe(). توفر هذه الوظيفة العدد، القيم القصوى والدنيا، المتوسط، الانحراف المعياري، والكمّيات على البيانات الرقمية. استخدام الإحصاءات الوصفية مثل وظيفة describe() يمكن أن يساعدك في تقييم ما لديك وما إذا كنت بحاجة إلى المزيد.
أخذ العينات والاستعلام
استكشاف كل شيء في مجموعة بيانات كبيرة يمكن أن يكون مستهلكًا للوقت جدًا وعادة ما يتم تركه للكمبيوتر للقيام به. ومع ذلك، فإن أخذ العينات هو أداة مفيدة لفهم البيانات ويسمح لنا بفهم أفضل لما تحتويه مجموعة البيانات وما تمثله. باستخدام عينة، يمكنك تطبيق الاحتمالات والإحصاءات للتوصل إلى بعض الاستنتاجات العامة حول بياناتك. بينما لا توجد قاعدة محددة حول مقدار البيانات التي يجب أخذ عينات منها، من المهم ملاحظة أنه كلما زادت البيانات التي تأخذ عينات منها، زادت دقة التعميم الذي يمكنك القيام به حول البيانات.
تحتوي مكتبة Pandas على وظيفة sample() حيث يمكنك تمرير حجة تحدد عدد العينات العشوائية التي ترغب في الحصول عليها واستخدامها.
الاستعلام العام عن البيانات يمكن أن يساعدك في الإجابة على بعض الأسئلة والنظريات العامة التي قد تكون لديك. على عكس أخذ العينات، يسمح لك الاستعلام بالتحكم والتركيز على أجزاء محددة من البيانات التي لديك أسئلة حولها.
وظيفة query() في مكتبة Pandas تسمح لك بتحديد الأعمدة والحصول على إجابات بسيطة حول البيانات من خلال الصفوف المسترجعة.
الاستكشاف باستخدام التصورات
لا يتعين عليك الانتظار حتى يتم تنظيف البيانات وتحليلها بالكامل لبدء إنشاء التصورات. في الواقع، وجود تمثيل بصري أثناء الاستكشاف يمكن أن يساعد في تحديد الأنماط والعلاقات والمشاكل في البيانات. علاوة على ذلك، توفر التصورات وسيلة للتواصل مع الأشخاص الذين لا يشاركون في إدارة البيانات ويمكن أن تكون فرصة لمشاركة وتوضيح أسئلة إضافية لم يتم تناولها في مرحلة الالتقاط. راجع القسم الخاص بالتصورات لمعرفة المزيد عن بعض الطرق الشائعة للاستكشاف بصريًا.
الاستكشاف لتحديد التناقضات
جميع المواضيع في هذا الدرس يمكن أن تساعد في تحديد القيم المفقودة أو غير المتسقة، ولكن Pandas توفر وظائف للتحقق من بعضها. isna() أو isnull() يمكن أن تتحقق من القيم المفقودة. جزء مهم من استكشاف هذه القيم داخل بياناتك هو استكشاف سبب وصولها إلى هذه الحالة في المقام الأول. يمكن أن يساعدك ذلك في اتخاذ الإجراءات اللازمة لحلها.
اختبار ما بعد المحاضرة
المهمة
إخلاء المسؤولية:
تم ترجمة هذا المستند باستخدام خدمة الترجمة بالذكاء الاصطناعي Co-op Translator. بينما نسعى لتحقيق الدقة، يرجى العلم أن الترجمات الآلية قد تحتوي على أخطاء أو معلومات غير دقيقة. يجب اعتبار المستند الأصلي بلغته الأصلية المصدر الموثوق. للحصول على معلومات حاسمة، يُوصى بالاستعانة بترجمة بشرية احترافية. نحن غير مسؤولين عن أي سوء فهم أو تفسيرات خاطئة تنشأ عن استخدام هذه الترجمة.