|
|
4 weeks ago | |
|---|---|---|
| .. | ||
| README.md | 4 weeks ago | |
| assignment.md | 7 months ago | |
README.md
تعریف دادهها
![]() |
|---|
| تعریف دادهها - اسکچنوت توسط @nitya |
دادهها حقایق، اطلاعات، مشاهدات و اندازهگیریهایی هستند که برای کشف و پشتیبانی از تصمیمگیریهای آگاهانه استفاده میشوند. یک نقطه داده یک واحد تکی داده در یک مجموعه داده است، که خود مجموعهای از نقاط داده است. مجموعه دادهها ممکن است در فرمتها و ساختارهای مختلفی باشند و معمولاً بر اساس منبع خود یا جایی که دادهها آمدهاند، تنظیم میشوند. به عنوان مثال، درآمد ماهانه یک شرکت ممکن است در یک صفحه گسترده باشد اما دادههای ضربان قلب ساعتی از یک ساعت هوشمند ممکن است در فرمت JSON باشد. معمول است که دانشمندان داده با انواع مختلف دادهها در یک مجموعه داده کار کنند.
این درس بر شناسایی و طبقهبندی دادهها بر اساس ویژگیها و منابع آنها تمرکز دارد.
آزمون پیشدرس
چگونه دادهها توصیف میشوند
داده خام
داده خام دادهای است که از منبع خود در حالت اولیه آمده و تحلیل یا سازماندهی نشده است. برای درک اینکه چه اتفاقی در یک مجموعه داده میافتد، باید آن را به فرمتی سازماندهی کرد که هم برای انسانها و هم فناوری که ممکن است برای تحلیل بیشتر استفاده شود، قابل فهم باشد. ساختار یک مجموعه داده توصیف میکند که چگونه سازماندهی شده و میتواند در دستههای ساختاریافته، بدون ساختار و نیمهساختاریافته طبقهبندی شود. این انواع ساختار بسته به منبع متفاوت خواهند بود اما نهایتاً در این سه دسته قرار میگیرند.
داده کمی
داده کمی مشاهدات عددی در یک مجموعه داده است و معمولاً میتواند تحلیل، اندازهگیری و به صورت ریاضی استفاده شود. برخی مثالهای داده کمی عبارتند از: جمعیت یک کشور، قد یک فرد یا درآمد سهماهه یک شرکت. با تحلیل اضافی، دادههای کمی میتواند برای کشف روندهای فصلی شاخص کیفیت هوا (AQI) یا برآورد احتمال ترافیک در ساعت شلوغی یک روز کاری معمولی استفاده شود.
داده کیفی
داده کیفی که همچنین به عنوان داده دستهای شناخته میشود، دادهای است که به صورت عینی قابل اندازهگیری نیست مانند مشاهدات داده کمی. معمولاً فرمتهای مختلفی از دادههای ذهنی است که کیفیت چیزی مانند یک محصول یا فرآیند را ثبت میکند. گاهی داده کیفی عددی است اما معمولاً به صورت ریاضی استفاده نمیشود، مانند شماره تلفن یا زمان ثبت. چند مثال از داده کیفی عبارتند از: کامنتهای ویدیو، برند و مدل یک خودرو یا رنگ مورد علاقه نزدیکترین دوستان شما. داده کیفی میتواند برای فهمیدن اینکه کدام محصولات بیشتر دوست داشته شدهاند یا شناسایی کلمات کلیدی محبوب در رزومههای درخواست شغل استفاده شود.
داده ساختاریافته
داده ساختاریافته دادهای است که به صورت ردیفها و ستونها سازماندهی شده که هر ردیف مجموعه یکسانی از ستونها را دارد. ستونها نمایانگر مقداری از نوع خاصی هستند و با نامی که نمایانگر آن مقدار است مشخص میشوند، در حالی که ردیفها مقادیر واقعی را در خود دارند. ستونها اغلب قوانین یا محدودیتهای خاصی روی مقادیر دارند تا اطمینان حاصل شود که مقادیر به درستی ستون را نمایندگی میکنند. به عنوان مثال، یک صفحه گسترده مشتریان که در هر ردیف باید شماره تلفن وجود داشته باشد و شماره تلفنها هرگز شامل حروف الفبایی نباشند. ممکن است قوانینی روی ستون شماره تلفن اعمال شده باشد تا مطمئن شود که هرگز خالی نیست و فقط شامل اعداد است.
مزیت داده ساختاریافته این است که میتواند به گونهای سازماندهی شود که با دادههای ساختاریافته دیگر مرتبط شود. ولی چون داده برای سازماندهی به روشی خاص طراحی شده، تغییرات در ساختار کلی آن میتواند نیازمند تلاش زیادی باشد. به عنوان مثال، افزودن ستون ایمیل به صفحه مشتریان که نمیتواند خالی باشد یعنی باید راهی برای اضافه کردن این مقادیر به ردیفهای موجود مشتریان در مجموعه داده پیدا کنید.
مثالهای داده ساختاریافته: صفحات گسترده، پایگاه دادههای رابطهای، شمارههای تلفن، صورتحسابهای بانکی
داده بدون ساختار
داده بدون ساختار معمولاً نمیتواند در ردیفها یا ستونها دستهبندی شود و فرمت یا قوانین مشخصی برای پیروی ندارد. چون داده بدون ساختار محدودیتهای کمتری در ساختار خود دارد، اضافه کردن اطلاعات جدید آسانتر است نسبت به مجموعه داده ساختاریافته. اگر حسگری که داده فشار جو را هر ۲ دقیقه اندازهگیری میکند بهروزرسانی شده و اکنون دما را هم اندازه میگیرد، اگر داده بدون ساختار باشد نیازی به تغییر دادههای موجود نیست. اما این ممکن است تحلیل یا بررسی چنین دادهای را طولانیتر کند. مثلاً دانشمندی که میخواهد دمای متوسط ماه گذشته را از دادههای حسگر پیدا کند اما متوجه شود حسگر در برخی دادهها به جای عدد معمولی، حرف "e" را ثبت کرده تا نشان دهد خراب بوده که یعنی داده ناقص است.
مثالهای داده بدون ساختار: فایلهای متنی، پیامهای متنی، فایلهای ویدیویی
نیمهساختاریافته
داده نیمهساختاریافته ویژگیهایی دارد که آن را ترکیبی از داده ساختاریافته و بدون ساختار میکند. معمولاً با فرمت ردیفها و ستونها مطابقت ندارد اما به گونهای سازماندهی شده که ساختاری محسوب میشود و ممکن است فرمت یا قوانین ثابتی را دنبال کند. ساختار بین منابع متفاوت است، مثلاً از سلسلهمراتب واضح تا چیزی انعطافپذیر که افزودن اطلاعات جدید را آسان میکند. متادادهها شاخصهایی هستند که کمک میکنند تصمیم بگیریم داده چگونه سازماندهی و ذخیره شده است و نامهای مختلفی بر اساس نوع داده دارند. برخی نامهای رایج متاداده عبارتند از برچسبها، عناصر، موجودیتها و ویژگیها. مثلاً یک پیام ایمیل معمولی موضوع، متن و مجموعه گیرندگان دارد و میتواند بر اساس فرستنده یا زمان ارسال سازماندهی شود.
مثالهای داده نیمهساختاریافته: HTML، فایلهای CSV، قالب نویسهگذاری شیء جاوااسکریپت (JSON)
منابع داده
منبع داده مکان اولیهای است که داده در آن تولید شده یا "زندگی میکند" و بسته به اینکه چگونه و چه زمانی جمعآوری شده متفاوت است. دادهای که توسط کاربر یا کاربرانش تولید میشود داده اولیه نامیده میشود در حالی که داده ثانویه از منبعی است که داده را برای استفاده عمومی جمعآوری کرده است. مثلاً گروهی از دانشمندان که مشاهداتی را در یک جنگل بارانی جمعآوری میکنند داده اولیه محسوب میشوند و اگر تصمیم بگیرند آن را با دیگر دانشمندان به اشتراک بگذارند برای افرادی که استفاده میکنند داده ثانویه خواهد بود.
پایگاههای داده منبع رایجی هستند و به یک سیستم مدیریت پایگاه داده متکی هستند که داده را میزبانی و نگهداری میکند و کاربران با فرمانهایی به نام کوئری داده را بررسی میکنند. فایلها به عنوان منابع داده میتوانند شامل فایلهای صوتی، تصویری و ویدئویی و همچنین صفحات گسترده مانند اکسل باشند. منابع اینترنتی مکان رایجی برای میزبانی داده هستند که پایگاههای داده و فایلها در آن یافت میشوند. رابطهای برنامهنویسی کاربردی که به API معروف هستند به برنامهنویسان امکان میدهند راههایی برای به اشتراکگذاری داده با کاربران خارجی از طریق اینترنت ایجاد کنند، در حالی که فرآیند وب اسکرپینگ داده را از یک صفحه وب استخراج میکند. دروس بخش کار با دادهها بر نحوه استفاده از منابع مختلف داده تمرکز دارند.
نتیجهگیری
در این درس آموختیم:
- داده چیست
- چگونه داده توصیف میشود
- چگونه داده طبقهبندی و دستهبندی میشود
- داده کجا میتواند یافت شود
🚀 چالش
کاگل منبع فوقالعادهای از مجموعه دادههای آزاد است. از ابزار جستجوی مجموعه دادهها استفاده کنید تا چند مجموعه داده جالب پیدا کنید و ۳ تا ۵ مجموعه داده را با این معیارها طبقهبندی کنید:
- داده کمی است یا کیفی؟
- داده ساختاریافته است، بدون ساختار است یا نیمهساختاریافته؟
آزمون پس از درس
مرور و خودآموزی
- این واحد از Microsoft Learn، با عنوان شناسایی فرمتهای داده یک تحلیل دقیق از داده ساختاریافته، نیمهساختاریافته و بدون ساختار ارائه میدهد.
تمرین
سلب مسئولیت: این سند با استفاده از سرویس ترجمه هوش مصنوعی Co-op Translator ترجمه شده است. در حالی که ما در تلاش برای دقت هستیم، لطفاً توجه داشته باشید که ترجمههای خودکار ممکن است شامل خطاها یا نادرستیهایی باشند. سند اصلی به زبان مادری خود باید به عنوان منبع معتبر در نظر گرفته شود. برای اطلاعات حیاتی، ترجمه حرفهای انسانی توصیه میشود. ما در قبال هرگونه سوء تفاهم یا برداشت نادرست ناشی از استفاده از این ترجمه مسئولیتی نداریم.
