Data-Science-For-Beginners/translations/ru/1-Introduction/03-defining-data

Определение данных

Определение данных - Sketchnote от @nitya

Данные — это факты, информация, наблюдения и измерения, которые используются для открытия нового и поддержки обоснованных решений. Точкой данных называется единица данных в наборе данных, который является коллекцией таких точек. Наборы данных могут иметь разные форматы и структуры, обычно зависящие от источника, или откуда данные были получены. Например, ежемесячный доход компании может быть в электронной таблице, а почасовые данные о частоте сердечных сокращений с умных часов могут быть в формате JSON. Для специалистов по данным обычно нормально работать с разными типами данных в одном наборе.

Этот урок сфокусирован на идентификации и классификации данных по их характеристикам и источникам.

Тест перед лекцией

Как описываются данные

Исходные данные

Исходные данные — это данные, полученные из источника в их первоначальном виде и не подвергавшиеся анализу или организации. Чтобы понять, что происходит с набором данных, его нужно организовать в формат, который будет понятен людям, а также технологиям, используемым для дальнейшего анализа. Структура набора данных описывает, как он организован, и может классифицироваться как структурированная, неструктурированная и полуструктурированная. Эти типы структуры будут различаться в зависимости от источника, но в конечном счёте попадают в эти три категории.

Количественные данные

Количественные данные — это числовые наблюдения в наборе данных, которые обычно можно анализировать, измерять и использовать математически. Примеры количественных данных: население страны, рост человека или квартальная прибыль компании. С дополнительным анализом количественные данные можно использовать для выявления сезонных тенденций Индекса качества воздуха (AQI) или для оценки вероятности возникновения пробок в часы пик в обычный рабочий день.

Качественные данные

Качественные данные, также известные как категориальные данные, — это данные, которые нельзя объективно измерить, как количественные данные. Обычно это различные форматы субъективных данных, которые отражают качество чего-либо, например продукта или процесса. Иногда качественные данные могут быть числовыми, но обычно не используются математически, например телефонные номера или отметки времени. Примеры качественных данных: комментарии к видео, марка и модель автомобиля, любимый цвет ваших близких друзей. Качественные данные могут использоваться для понимания, какие продукты потребителям нравятся больше, или для выявления популярных ключевых слов в резюме.

Структурированные данные

Структурированные данные — это данные, организованные в строки и столбцы, где каждая строка содержит одинаковый набор столбцов. Столбцы представляют значения определённого типа и имеют имя, описывающее, что они представляют, а строки содержат сами значения. Часто для столбцов применяются правила или ограничения, чтобы обеспечить правильное представление данных. Например, представьте таблицу клиентов, где в каждой строке обязательно должен быть номер телефона, и номера не содержат букв. Для столбца с номерами телефона могут быть введены правила, чтобы он никогда не был пустым и содержал только цифры.

Преимущество структурированных данных в том, что они могут быть организованы так, чтобы иметь связь с другими структурированными данными. Однако, поскольку данные спроектированы для определённой структуры, внесение изменений в общую структуру может потребовать много усилий. Например, добавление столбца с электронной почтой, который не может быть пустым, к таблице клиентов означает, что надо будет продумать, как добавить эти значения в уже существующие строки.

Примеры структурированных данных: электронные таблицы, реляционные базы данных, телефонные номера, банковские выписки

Неструктурированные данные

Неструктурированные данные обычно нельзя отнести к строкам или столбцам и они не имеют формата или набора правил. Поскольку у неструктурированных данных меньше ограничений по структуре, добавлять новую информацию в них проще по сравнению со структурированными данными. Если датчик, который измеряет атмосферное давление каждые 2 минуты, получает обновление, позволяющее также измерять температуру, это не требует изменения уже существующих данных, если они неструктурированные. Однако это может усложнить анализ данных. Например, учёный, который хочет найти среднюю температуру за прошлый месяц по данным с датчиков, обнаружит, что в некоторых записях датчик отметил «e», чтобы указать на неполноту данных или поломку.

Примеры неструктурированных данных: текстовые файлы, текстовые сообщения, видеофайлы

Полуструктурированные данные

Полуструктурированные данные сочетают свойства структурированных и неструктурированных данных. Обычно они не соответствуют формату строк и столбцов, но организованы так, что считаются структурированными и могут иметь фиксированный формат или набор правил. Структура варьируется в зависимости от источника, от чётко определённой иерархии до более гибкой, позволяющей легко интегрировать новую информацию. Метаданные — это индикаторы, помогающие определить, как данные организованы и хранятся, и могут называться тегами, элементами, сущностями и атрибутами. Например, обычное электронное письмо имеет тему, тело и набор получателей и может быть организовано по отправителю или дате отправки.

Примеры полуструктурированных данных: HTML, CSV файлы, Формат обмена данными JavaScript (JSON)

Источники данных

Источник данных — это первоначальное место создания данных или место их «нахождения», и зависит от того, как и когда они были собраны. Данные, созданные их пользователями, называются первичными, а вторичные данные — это данные, собранные из источника для общего использования. Например, группа учёных, собирающая наблюдения в тропическом лесу, считается первичным источником, а если эти данные будут переданы другим учёным, для них они станут вторичными.

Базы данных — распространённый источник, который использует систему управления базами данных для хранения и поддержки данных, где пользователи исследуют данные с помощью запросов. Файлы как источники данных могут быть аудио-, изображениями и видеофайлами, а также электронными таблицами, например Excel. Интернет является распространённым местом размещения данных, где могут находиться базы данных и файлы. Интерфейсы программирования приложений (API) позволяют программистам создавать способы обмена данными через интернет, а веб-скрейпинг извлекает данные со страниц сайтов. Уроки по работе с данными посвящены использованию разных источников данных.

Заключение

В этом уроке мы изучили:

• Что такое данные
• Как описываются данные
• Как классифицируются и категоризируются данные
• Где можно найти данные

🚀 Задание

Kaggle — отличный источник открытых наборов данных. Используйте инструмент поиска наборов данных, чтобы найти интересные наборы и классифицировать 3-5 наборов по следующим критериям:

• Являются ли данные количественными или качественными?
• Являются ли данные структурированными, неструктурированными или полуструктурированными?

Тест после лекции

Обзор и самостоятельное изучение

• Этот модуль Microsoft Learn под названием Определение форматов данных подробно разбирает структурированные, полуструктурированные и неструктурированные данные.

Домашнее задание

Классификация наборов данных

---

Отказ от ответственности: Этот документ был переведен с использованием сервиса машинного перевода Co-op Translator. Несмотря на наши усилия по обеспечению точности, имейте в виду, что автоматический перевод может содержать ошибки или неточности. Оригинальный документ на его исходном языке следует считать авторитетным источником. Для получения критически важной информации рекомендуется обратиться к профессиональному человеческому переводу. Мы не несем ответственности за любые недоразумения или неправильные толкования, возникшие в результате использования этого перевода.