msb-public
/
Data-Science-For-Beginners
mirror of https://github.com/microsoft/Data-Science-For-Beginners.git
1
0
Code Issues Projects Releases Wiki Activity
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
Branches Tags
${ item.name }
Create tag ${ searchTerm }
Create branch ${ searchTerm }
from '53b64e066d'
${ noResults }
Data-Science-For-Beginners/translations/uk/5-Data-Science-In-Cloud/17-Introduction/README.md

16 KiB
Raw Blame History Escape

Вступ до науки про дані в хмарі

Скетчнот від (@sketchthedocs)
Наука про дані в хмарі: Вступ - Скетчнот від @nitya

У цьому уроці ви дізнаєтеся основні принципи роботи з хмарою, зрозумієте, чому використання хмарних сервісів може бути корисним для ваших проєктів у сфері науки про дані, а також розглянете приклади проєктів, які реалізуються в хмарі.

Тест перед лекцією

Що таке хмара?

Хмара, або хмарні обчислення, — це надання широкого спектру обчислювальних послуг за принципом "оплата за використання", які розміщені на інфраструктурі через інтернет. Сервіси включають рішення, такі як зберігання даних, бази даних, мережі, програмне забезпечення, аналітика та інтелектуальні сервіси.

Зазвичай ми розрізняємо публічні, приватні та гібридні хмари наступним чином:

  • Публічна хмара: публічна хмара належить і управляється стороннім постачальником хмарних послуг, який надає свої обчислювальні ресурси через інтернет для загального користування.
  • Приватна хмара: стосується хмарних обчислювальних ресурсів, які використовуються виключно однією компанією або організацією, з послугами та інфраструктурою, що підтримуються на приватній мережі.
  • Гібридна хмара: гібридна хмара — це система, яка поєднує публічні та приватні хмари. Користувачі обирають локальний дата-центр, дозволяючи даним і додаткам працювати на одній або кількох публічних хмарах.

Більшість хмарних обчислювальних сервісів поділяються на три категорії: Інфраструктура як послуга (IaaS), Платформа як послуга (PaaS) і Програмне забезпечення як послуга (SaaS).

  • Інфраструктура як послуга (IaaS): користувачі орендують ІТ-інфраструктуру, таку як сервери та віртуальні машини (VMs), сховища, мережі, операційні системи.
  • Платформа як послуга (PaaS): користувачі орендують середовище для розробки, тестування, доставки та управління програмними додатками. Користувачам не потрібно турбуватися про налаштування або управління базовою інфраструктурою серверів, сховищ, мереж і баз даних, необхідних для розробки.
  • Програмне забезпечення як послуга (SaaS): користувачі отримують доступ до програмного забезпечення через інтернет, за запитом і зазвичай на основі підписки. Користувачам не потрібно турбуватися про хостинг і управління програмним забезпеченням, базовою інфраструктурою або обслуговуванням, як-от оновлення програмного забезпечення та виправлення безпеки.

Деякі з найбільших постачальників хмарних послуг — Amazon Web Services, Google Cloud Platform і Microsoft Azure.

Чому обирати хмару для науки про дані?

Розробники та ІТ-професіонали обирають роботу з хмарою з багатьох причин, зокрема:

  • Інновації: ви можете інтегрувати інноваційні сервіси, створені постачальниками хмарних послуг, безпосередньо у ваші додатки.
  • Гнучкість: ви платите лише за ті сервіси, які вам потрібні, і можете обирати з широкого спектру послуг. Зазвичай ви платите за використання і адаптуєте сервіси відповідно до ваших потреб.
  • Бюджет: вам не потрібно робити початкові інвестиції для придбання апаратного та програмного забезпечення, налаштування та управління локальними дата-центрами — ви просто платите за те, що використовуєте.
  • Масштабованість: ваші ресурси можуть масштабуватися відповідно до потреб вашого проєкту, що означає, що ваші додатки можуть використовувати більше або менше обчислювальної потужності, сховища та пропускної здатності, адаптуючись до зовнішніх факторів у будь-який момент часу.
  • Продуктивність: ви можете зосередитися на вашому бізнесі, а не витрачати час на завдання, які можуть бути виконані іншими, наприклад, управління дата-центрами.
  • Надійність: хмарні обчислення пропонують кілька способів постійного резервного копіювання ваших даних, і ви можете налаштувати плани відновлення після аварій, щоб ваш бізнес і сервіси працювали навіть у кризові часи.
  • Безпека: ви можете скористатися політиками, технологіями та засобами контролю, які підвищують безпеку вашого проєкту.

Це деякі з найпоширеніших причин, чому люди обирають хмарні сервіси. Тепер, коли ми краще розуміємо, що таке хмара і які її основні переваги, давайте більш детально розглянемо роботу науковців з даними та розробників, які працюють з даними, і як хмара може допомогти їм вирішити кілька викликів:

  • Зберігання великих обсягів даних: замість того, щоб купувати, управляти та захищати великі сервери, ви можете зберігати ваші дані безпосередньо в хмарі, використовуючи рішення, такі як Azure Cosmos DB, Azure SQL Database і Azure Data Lake Storage.
  • Інтеграція даних: інтеграція даних є важливою частиною науки про дані, яка дозволяє перейти від збору даних до прийняття рішень. Завдяки сервісам інтеграції даних, які пропонуються в хмарі, ви можете збирати, трансформувати та інтегрувати дані з різних джерел в єдине сховище даних, використовуючи Data Factory.
  • Обробка даних: обробка великих обсягів даних вимагає значної обчислювальної потужності, і не кожен має доступ до достатньо потужних машин, тому багато людей обирають використання величезної обчислювальної потужності хмари для запуску та розгортання своїх рішень.
  • Використання аналітичних сервісів: хмарні сервіси, такі як Azure Synapse Analytics, Azure Stream Analytics і Azure Databricks, допомагають перетворити ваші дані на корисні інсайти.
  • Використання сервісів машинного навчання та інтелектуальних сервісів: замість того, щоб починати з нуля, ви можете використовувати алгоритми машинного навчання, які пропонуються постачальником хмарних послуг, з такими сервісами, як AzureML. Ви також можете використовувати когнітивні сервіси, такі як перетворення мови в текст, текст у мову, комп'ютерне бачення тощо.

Приклади науки про дані в хмарі

Давайте зробимо це більш конкретним, розглянувши кілька сценаріїв.

Аналіз настроїв у соціальних мережах у реальному часі

Почнемо зі сценарію, який часто вивчають люди, що починають з машинного навчання: аналіз настроїв у соціальних мережах у реальному часі.

Уявіть, що ви керуєте новинним вебсайтом і хочете використовувати дані в реальному часі, щоб зрозуміти, який контент може зацікавити ваших читачів. Щоб дізнатися більше про це, ви можете створити програму, яка виконує аналіз настроїв даних з публікацій у Twitter на теми, які є актуальними для ваших читачів.

Основні показники, які ви будете аналізувати, — це обсяг твітів на певні теми (хештеги) і настрої, які визначаються за допомогою аналітичних інструментів, що виконують аналіз настроїв навколо зазначених тем.

Кроки, необхідні для створення цього проєкту:

  • Створити хаб подій для потокового введення, який буде збирати дані з Twitter.
  • Налаштувати та запустити клієнтську програму Twitter, яка буде викликати API потокового передавання Twitter.
  • Створити роботу Stream Analytics.
  • Визначити введення та запит для роботи.
  • Створити вихідний канал і визначити вихід роботи.
  • Запустити роботу.

Щоб переглянути повний процес, ознайомтеся з документацією.

Аналіз наукових статей

Розглянемо ще один приклад проєкту, створеного Дмитром Сошниковим, одним із авторів цього курсу.

Дмитро створив інструмент для аналізу статей про COVID. Ознайомившись із цим проєктом, ви побачите, як можна створити інструмент, який витягує знання з наукових статей, отримує інсайти та допомагає дослідникам ефективно орієнтуватися у великих колекціях статей.

Давайте розглянемо різні кроки, використані для цього:

  • Витяг та попередня обробка інформації за допомогою Text Analytics for Health.
  • Використання Azure ML для паралелізації обробки.
  • Зберігання та запити інформації за допомогою Cosmos DB.
  • Створення інтерактивної панелі для дослідження та візуалізації даних за допомогою Power BI.

Щоб переглянути повний процес, відвідайте блог Дмитра.

Як бачите, ми можемо використовувати хмарні сервіси багатьма способами для виконання завдань науки про дані.

Примітка

Джерела:

Тест після лекції

Тест після лекції

Завдання

Дослідження ринку

Відмова від відповідальності:
Цей документ був перекладений за допомогою сервісу автоматичного перекладу Co-op Translator. Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу.