Data-Science-For-Beginners/translations/uk/1-Introduction/03-defining-data

Визначення Даних

Визначення Даних - Sketchnote від @nitya

Дані — це факти, інформація, спостереження та виміри, які використовуються для відкриттів і для підтримки обґрунтованих рішень. Точка даних — це окремий елемент даних у наборі даних, який є колекцією точок даних. Набори даних можуть мати різні формати та структури, і зазвичай залежать від їх джерела або того, звідки походять дані. Наприклад, місячні доходи компанії можуть зберігатися у електронній таблиці, а погодинні дані про частоту серцебиття з розумного годинника можуть зберігатися у форматі JSON. Для науковців даних звично працювати з різними типами даних у межах одного набору.

Цей урок зосереджений на визначенні та класифікації даних за їх характеристиками та джерелами.

Передлекційне Опитування

Як описують дані

Сирі Дані

Сирі дані — це дані, які надійшли зі свого джерела у початковому вигляді і не були проаналізовані або організовані. Щоб зрозуміти, що відбувається з набором даних, його потрібно організувати у формат, який можна зрозуміти людям, а також технологіям, які можуть далі аналізувати ці дані. Структура набору даних описує, як він організований, і може класифікуватися як структурований, неструктурований і напівавтоматизований. Ці типи структур варіюються залежно від джерела, але в кінцевому підсумку вписуються у ці три категорії.

Кількісні Дані

Кількісні дані — це числові спостереження у наборі даних, які зазвичай можуть бути проаналізовані, виміряні та математично використані. Прикладами кількісних даних є: населення країни, зріст людини чи квартальні доходи компанії. З додатковим аналізом кількісні дані можна використати для виявлення сезонних тенденцій Індексу Якості Повітря (AQI) або оцінки ймовірності автомобільних заторів у звичайний робочий день.

Якісні Дані

Якісні дані, також відомі як категоріальні дані, — це дані, які не можна виміряти об’єктивно, як це робиться з кількісними спостереженнями. Зазвичай це суб’єктивні дані в різних форматах, що відображають якість чогось, наприклад продукту або процесу. Іноді якісні дані числові, але їх зазвичай не використовують математично, як-от номери телефонів чи часові позначки. Прикладами якісних даних є: коментарі до відео, марка і модель автомобіля або улюблений колір близьких друзів. Якісні дані можна використати, щоб зрозуміти, які продукти подобаються споживачам, або визначити популярні ключові слова в резюме кандидатів.

Структуровані Дані

Структуровані дані — це дані, організовані у рядки та стовпці, де кожен рядок має однаковий набір стовпців. Стовпці представляють значення певного типу і мають ідентифікатор з ім’ям, що описує, що це за значення, а рядки містять власне значення. Часто до стовпців додають певні правила або обмеження на значення, щоб забезпечити точне представлення даних. Наприклад, у таблиці клієнтів кожен рядок повинен містити номер телефону, і в номерах телефонів не можуть бути літери. Можуть існувати правила для стовпця з номерами телефонів, які гарантують, що він ніколи не буде порожнім і міститиме лише цифри.

Перевага структурованих даних полягає в тому, що їх можна організувати так, щоб пов’язати з іншими структурованими даними. Проте через строгість структури внесення змін у загальну структуру може потребувати великих зусиль. Наприклад, додавання стовпця електронної пошти в таблицю клієнтів, який не може бути порожнім, означає, що потрібно з’ясувати, як додати ці значення у вже існуючі рядки клієнтів у наборі даних.

Приклади структурованих даних: електронні таблиці, реляційні бази даних, номери телефонів, банківські виписки

Неструктуровані Дані

Неструктуровані дані зазвичай не піддаються класифікації у рядки чи стовпці і не мають формату або набору правил для дотримання. Через менші обмеження на структуру до неструктурованих даних легше додавати нову інформацію у порівнянні зі структурованими. Якщо датчик, що вимірює барометричний тиск кожні 2 хвилини, отримує оновлення, що дозволяє йому вимірювати температуру, неструктуровані дані не вимагають зміни вже наявних даних. Однак це може ускладнити аналіз або дослідження таких даних. Наприклад, вчений, який хоче знайти середню температуру за минулий місяць за даними датчиків, виявляє, що в деяких записах датчик замість числа поставив "e", щоб позначити, що він був несправний, через що дані неповні.

Приклади неструктурованих даних: текстові файли, текстові повідомлення, відеофайли

Напівавтоматизовані Дані

Напівавтоматизовані дані мають характеристики обох типів — структурованих і неструктурованих. Зазвичай вони не відповідають формату рядків і стовпців, але організовані таким чином, що вважаються структурованими і можуть дотримуватись фіксованого формату або набору правил. Структура варіюється залежно від джерела — від чітко визначеної ієрархії до більш гнучкої, яка дозволяє легко інтегрувати нову інформацію. Метадані — це індикатори, які допомагають вирішити, як дані організовані і збережені, і мають різні назви залежно від типу даних. Звичні назви метаданих — теги, елементи, сутності та атрибути. Наприклад, типовий електронний лист має тему, текст і набір отримувачів, і може бути організований за відправником або датою відправлення.

Приклади напівавтоматизованих даних: HTML, CSV-файли, JavaScript Object Notation (JSON)

Джерела Даних

Джерело даних — це початкове розташування, де дані були згенеровані або де вони "знаходяться", і воно варіюється залежно від способу та часу збору. Дані, створені користувачем(-ми), відомі як первинні дані, тоді як вторинні дані надходять із джерела, яке зібрало дані для загального використання. Наприклад, група вчених, що збирає спостереження в дощовому лісі, вважається первинним джерелом, а якщо вони вирішать поділитися цими даними з іншими вченими, для них це вже буде вторинне джерело.

Бази даних — це поширене джерело, яке використовує систему керування базами даних для розміщення і підтримки даних, де користувачі застосовують команди, що називаються запитами, для дослідження даних. Файли як джерела даних можуть бути аудіо-, зображеннями та відеофайлами, а також електронними таблицями типу Excel. Інтернет-джерела є поширеним місцем розміщення даних, де можна знайти як бази даних, так і файли. API (інтерфейси програмування додатків) дозволяють програмістам створювати способи обміну даними з зовнішніми користувачами через Інтернет, тоді як веб-скрапінг — це процес вилучення даних зі сторінки веб-сайту. Уроки з роботи з даними зосереджені на тому, як використовувати різноманітні джерела даних.

Висновок

У цьому уроці ми дізналися:

• Що таке дані
• Як описують дані
• Як класифікують і категоризують дані
• Де можна знайти дані

🚀 Виклик

Kaggle — це відмінне джерело відкритих наборів даних. Використовуйте інструмент пошуку наборів даних, щоб знайти цікаві набори та класифікувати 3-5 наборів даних за такими критеріями:

• Чи є дані кількісними чи якісними?
• Чи є дані структурованими, неструктурованими чи напівавтоматизованими?

Післялекційне опитування

Огляд та Самостійне Вивчення

• Цей підрозділ Microsoft Learn під назвою Ідентифікація форматів даних має детальний розбір структурованих, напівавтоматизованих та неструктурованих даних.

Завдання

Класифікація наборів даних

---

Відмова від відповідальності: Цей документ було перекладено за допомогою сервісу штучного інтелекту для перекладу Co-op Translator. Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ рідною мовою слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу.