leestott
8dcd54c138
|
3 weeks ago | |
|---|---|---|
| .. | ||
| README.md | 3 weeks ago | |
| assignment.md | 3 weeks ago | |
README.md
Вступ до науки про дані в хмарі
 |
|---|
| Наука про дані в хмарі: Вступ - Скетчнот від @nitya |
У цьому уроці ви дізнаєтеся основні принципи роботи з хмарою, зрозумієте, чому використання хмарних сервісів може бути корисним для ваших проєктів у сфері науки про дані, а також розглянете приклади таких проєктів, реалізованих у хмарі.
Тест перед лекцією
Що таке хмара?
Хмара, або хмарні обчислення, — це надання широкого спектра обчислювальних послуг за моделлю "оплата за використання", які розміщені на інфраструктурі через інтернет. До таких послуг належать рішення, як-от зберігання даних, бази даних, мережі, програмне забезпечення, аналітика та інтелектуальні сервіси.
Зазвичай розрізняють публічні, приватні та гібридні хмари:
- Публічна хмара: належить і управляється стороннім постачальником хмарних послуг, який надає свої обчислювальні ресурси через інтернет для загального користування.
- Приватна хмара: стосується обчислювальних ресурсів, які використовуються виключно однією компанією чи організацією, з послугами та інфраструктурою, що підтримуються в приватній мережі.
- Гібридна хмара: це система, яка поєднує публічні та приватні хмари. Користувачі можуть використовувати локальний дата-центр, дозволяючи при цьому запускати дані та додатки в одній або кількох публічних хмарах.
Більшість хмарних обчислювальних послуг поділяються на три категорії: Інфраструктура як послуга (IaaS), Платформа як послуга (PaaS) і Програмне забезпечення як послуга (SaaS).
- Інфраструктура як послуга (IaaS): користувачі орендують ІТ-інфраструктуру, таку як сервери, віртуальні машини (VM), сховища, мережі, операційні системи.
- Платформа як послуга (PaaS): користувачі орендують середовище для розробки, тестування, доставки та управління програмними додатками. Користувачам не потрібно турбуватися про налаштування чи управління базовою інфраструктурою серверів, сховищ, мереж і баз даних, необхідних для розробки.
- Програмне забезпечення як послуга (SaaS): користувачі отримують доступ до програмного забезпечення через інтернет за запитом і зазвичай на основі підписки. Користувачам не потрібно турбуватися про хостинг і управління програмним забезпеченням, базовою інфраструктурою чи обслуговуванням, як-от оновлення програмного забезпечення та виправлення безпеки.
Серед найбільших постачальників хмарних послуг — Amazon Web Services, Google Cloud Platform і Microsoft Azure.
Чому обирають хмару для науки про дані?
Розробники та ІТ-фахівці обирають роботу з хмарою з багатьох причин, зокрема:
- Інновації: ви можете інтегрувати інноваційні сервіси, створені постачальниками хмарних послуг, безпосередньо у свої додатки.
- Гнучкість: ви платите лише за ті послуги, які вам потрібні, і можете обирати з широкого спектра послуг. Зазвичай ви платите за фактичне використання і адаптуєте послуги відповідно до своїх потреб.
- Бюджет: вам не потрібно робити початкові інвестиції в придбання апаратного та програмного забезпечення, налаштування та управління локальними дата-центрами — ви просто платите за те, що використовуєте.
- Масштабованість: ваші ресурси можуть масштабуватися відповідно до потреб проєкту, що дозволяє вашим додаткам використовувати більше чи менше обчислювальної потужності, сховища та пропускної здатності, адаптуючись до зовнішніх факторів у будь-який момент часу.
- Продуктивність: ви можете зосередитися на своєму бізнесі, а не витрачати час на завдання, які можуть бути передані іншим, наприклад, управління дата-центрами.
- Надійність: хмарні обчислення пропонують кілька способів постійного резервного копіювання ваших даних, а також можливість налаштувати плани відновлення після аварій, щоб ваш бізнес і сервіси продовжували працювати навіть у кризові часи.
- Безпека: ви можете скористатися політиками, технологіями та засобами контролю, які підвищують безпеку вашого проєкту.
Це лише деякі з найпоширеніших причин, чому люди обирають хмарні сервіси. Тепер, коли ми краще розуміємо, що таке хмара і які її основні переваги, давайте детальніше розглянемо роботу науковців з даними та розробників, які працюють із даними, і як хмара може допомогти їм вирішити кілька викликів, з якими вони можуть зіткнутися:
- Зберігання великих обсягів даних: замість того, щоб купувати, управляти та захищати великі сервери, ви можете зберігати свої дані безпосередньо в хмарі, використовуючи такі рішення, як Azure Cosmos DB, Azure SQL Database і Azure Data Lake Storage.
- Інтеграція даних: інтеграція даних є важливою частиною науки про дані, яка дозволяє перейти від збору даних до прийняття рішень. Завдяки сервісам інтеграції даних у хмарі ви можете збирати, трансформувати та інтегрувати дані з різних джерел в єдине сховище даних за допомогою Data Factory.
- Обробка даних: обробка великих обсягів даних вимагає значної обчислювальної потужності, і не всі мають доступ до достатньо потужних машин. Саме тому багато людей обирають використання величезної обчислювальної потужності хмари для запуску та розгортання своїх рішень.
- Використання аналітичних сервісів: хмарні сервіси, такі як Azure Synapse Analytics, Azure Stream Analytics і Azure Databricks, допомагають перетворювати ваші дані на корисну інформацію.
- Використання сервісів машинного навчання та інтелектуальних сервісів: замість того, щоб починати з нуля, ви можете використовувати алгоритми машинного навчання, запропоновані постачальником хмари, за допомогою таких сервісів, як AzureML. Ви також можете використовувати когнітивні сервіси, такі як перетворення мови в текст, тексту в мову, комп'ютерний зір тощо.
Приклади науки про дані в хмарі
Давайте зробимо це більш конкретним, розглянувши кілька сценаріїв.
Аналіз настроїв у соціальних мережах у реальному часі
Почнемо зі сценарію, який часто вивчають новачки в машинному навчанні: аналіз настроїв у соціальних мережах у реальному часі.
Уявіть, що ви керуєте новинним вебсайтом і хочете використовувати дані в реальному часі, щоб зрозуміти, який контент може зацікавити ваших читачів. Для цього ви можете створити програму, яка виконує аналіз настроїв у реальному часі на основі даних із публікацій у Twitter на теми, що цікавлять ваших читачів.
Ключові показники, які вас цікавитимуть, — це обсяг твітів на певні теми (хештеги) та настрій, який визначається за допомогою аналітичних інструментів, що виконують аналіз настроїв щодо заданих тем.
Кроки для створення цього проєкту:
- Створіть хаб подій для потокового введення, який збиратиме дані з Twitter.
- Налаштуйте та запустіть клієнтську програму Twitter, яка викликатиме Streaming API Twitter.
- Створіть завдання Stream Analytics.
- Вкажіть вхідні дані та запит для завдання.
- Створіть вихідний канал і вкажіть вихідні дані завдання.
- Запустіть завдання.
Щоб переглянути повний процес, ознайомтеся з документацією.
Аналіз наукових статей
Розглянемо ще один приклад проєкту, створеного Дмитром Сошниковим, одним із авторів цього курсу.
Дмитро створив інструмент для аналізу статей про COVID. Розглядаючи цей проєкт, ви побачите, як можна створити інструмент, що витягує знання з наукових статей, отримує інсайти та допомагає дослідникам ефективно орієнтуватися у великих колекціях статей.
Кроки, використані для цього:
- Витяг та попередня обробка інформації за допомогою Text Analytics for Health.
- Використання Azure ML для паралельної обробки.
- Зберігання та запити інформації за допомогою Cosmos DB.
- Створення інтерактивної панелі для дослідження та візуалізації даних за допомогою Power BI.
Щоб побачити повний процес, відвідайте блог Дмитра.
Як бачите, хмарні сервіси можна використовувати багатьма способами для виконання завдань науки про дані.
Примітка
Джерела:
- https://azure.microsoft.com/overview/what-is-cloud-computing?ocid=AID3041109
- https://docs.microsoft.com/azure/stream-analytics/stream-analytics-twitter-sentiment-analysis-trends?ocid=AID3041109
- https://soshnikov.com/science/analyzing-medical-papers-with-azure-and-text-analytics-for-health/
Тест після лекції
Завдання
Відмова від відповідальності:
Цей документ був перекладений за допомогою сервісу автоматичного перекладу Co-op Translator. Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають у результаті використання цього перекладу.