leestott
7373a19c39
|
2 weeks ago | |
|---|---|---|
| .. | ||
| README.md | 2 weeks ago | |
| assignment.md | 3 weeks ago | |
README.md
Вступ до науки про дані в хмарі
 |
|---|
| Наука про дані в хмарі: Вступ - Скетчноут від @nitya |
У цьому уроці ви дізнаєтеся основні принципи роботи з хмарою, зрозумієте, чому використання хмарних сервісів може бути корисним для ваших проєктів у сфері науки про дані, а також розглянете приклади проєктів, які реалізуються в хмарі.
Тест перед лекцією
Що таке хмара?
Хмара, або хмарні обчислення, — це надання широкого спектру обчислювальних послуг за принципом "оплата за використання", які розміщені на інфраструктурі через інтернет. Сервіси включають рішення, такі як зберігання даних, бази даних, мережі, програмне забезпечення, аналітика та інтелектуальні сервіси.
Зазвичай ми розрізняємо публічну, приватну та гібридну хмару наступним чином:
- Публічна хмара: публічна хмара належить і управляється стороннім постачальником хмарних послуг, який надає свої обчислювальні ресурси через інтернет для загального користування.
- Приватна хмара: стосується хмарних обчислювальних ресурсів, які використовуються виключно однією компанією або організацією, з послугами та інфраструктурою, що підтримуються на приватній мережі.
- Гібридна хмара: гібридна хмара — це система, яка поєднує публічну та приватну хмару. Користувачі обирають локальний центр обробки даних, дозволяючи при цьому запускати дані та додатки на одній або кількох публічних хмарах.
Більшість хмарних обчислювальних сервісів поділяються на три категорії: Інфраструктура як послуга (IaaS), Платформа як послуга (PaaS) та Програмне забезпечення як послуга (SaaS).
- Інфраструктура як послуга (IaaS): користувачі орендують ІТ-інфраструктуру, таку як сервери та віртуальні машини (VMs), сховища, мережі, операційні системи.
- Платформа як послуга (PaaS): користувачі орендують середовище для розробки, тестування, доставки та управління програмними додатками. Користувачам не потрібно турбуватися про налаштування або управління базовою інфраструктурою серверів, сховищ, мереж і баз даних, необхідних для розробки.
- Програмне забезпечення як послуга (SaaS): користувачі отримують доступ до програмного забезпечення через інтернет, за запитом і зазвичай на основі підписки. Користувачам не потрібно турбуватися про хостинг і управління програмним забезпеченням, базовою інфраструктурою або обслуговуванням, як-от оновлення програмного забезпечення та виправлення безпеки.
Деякі з найбільших постачальників хмарних послуг — це Amazon Web Services, Google Cloud Platform та Microsoft Azure.
Чому обирати хмару для науки про дані?
Розробники та ІТ-професіонали обирають роботу з хмарою з багатьох причин, зокрема:
- Інновації: ви можете інтегрувати інноваційні сервіси, створені постачальниками хмарних послуг, безпосередньо у ваші додатки.
- Гнучкість: ви платите лише за ті сервіси, які вам потрібні, і можете обирати з широкого спектру послуг. Зазвичай ви платите за використання і адаптуєте сервіси відповідно до ваших потреб.
- Бюджет: вам не потрібно робити початкові інвестиції для придбання апаратного та програмного забезпечення, налаштування та запуску локальних центрів обробки даних — ви просто платите за те, що використовуєте.
- Масштабованість: ваші ресурси можуть масштабуватися відповідно до потреб вашого проєкту, що означає, що ваші додатки можуть використовувати більше або менше обчислювальної потужності, сховища та пропускної здатності, адаптуючись до зовнішніх факторів у будь-який момент часу.
- Продуктивність: ви можете зосередитися на вашому бізнесі, а не витрачати час на завдання, які можуть бути виконані іншими, наприклад, управління центрами обробки даних.
- Надійність: хмарні обчислення пропонують кілька способів безперервного резервного копіювання ваших даних, і ви можете налаштувати плани відновлення після аварій, щоб ваш бізнес і сервіси працювали навіть у кризові часи.
- Безпека: ви можете скористатися політиками, технологіями та засобами контролю, які підвищують безпеку вашого проєкту.
Це деякі з найпоширеніших причин, чому люди обирають хмарні сервіси. Тепер, коли ми краще розуміємо, що таке хмара і які її основні переваги, давайте більш детально розглянемо роботу науковців з даними та розробників, які працюють з даними, і як хмара може допомогти їм вирішити кілька викликів, з якими вони можуть зіткнутися:
- Зберігання великих обсягів даних: замість того, щоб купувати, управляти та захищати великі сервери, ви можете зберігати ваші дані безпосередньо в хмарі, використовуючи рішення, такі як Azure Cosmos DB, Azure SQL Database та Azure Data Lake Storage.
- Інтеграція даних: інтеграція даних є важливою частиною науки про дані, яка дозволяє перейти від збору даних до прийняття рішень. Завдяки сервісам інтеграції даних, які пропонуються в хмарі, ви можете збирати, трансформувати та інтегрувати дані з різних джерел в єдине сховище даних, використовуючи Data Factory.
- Обробка даних: обробка великих обсягів даних вимагає значної обчислювальної потужності, і не кожен має доступ до достатньо потужних машин, тому багато людей обирають використання величезної обчислювальної потужності хмари для запуску та розгортання своїх рішень.
- Використання сервісів аналітики даних: хмарні сервіси, такі як Azure Synapse Analytics, Azure Stream Analytics та Azure Databricks, допомагають перетворити ваші дані на корисні інсайти.
- Використання сервісів машинного навчання та інтелектуальних сервісів: замість того, щоб починати з нуля, ви можете використовувати алгоритми машинного навчання, які пропонуються постачальником хмарних послуг, з такими сервісами, як AzureML. Ви також можете використовувати когнітивні сервіси, такі як перетворення мови в текст, текст у мову, комп'ютерне бачення тощо.
Приклади науки про дані в хмарі
Давайте зробимо це більш конкретним, розглянувши кілька сценаріїв.
Аналіз настроїв у соціальних мережах у реальному часі
Почнемо зі сценарію, який часто вивчають люди, що починають з машинного навчання: аналіз настроїв у соціальних мережах у реальному часі.
Припустимо, ви керуєте новинним вебсайтом і хочете використовувати дані в реальному часі, щоб зрозуміти, який контент може зацікавити ваших читачів. Щоб дізнатися більше про це, ви можете створити програму, яка виконує аналіз настроїв у реальному часі даних з публікацій у Twitter на теми, які є актуальними для ваших читачів.
Ключовими показниками, які ви будете аналізувати, є обсяг твітів на певні теми (хештеги) та настрої, які визначаються за допомогою аналітичних інструментів, що виконують аналіз настроїв навколо зазначених тем.
Кроки, необхідні для створення цього проєкту:
- Створити центр подій для потокового введення, який буде збирати дані з Twitter.
- Налаштувати та запустити клієнтську програму Twitter, яка буде викликати API потокового передавання Twitter.
- Створити роботу Stream Analytics.
- Визначити введення та запит для роботи.
- Створити вихідний канал і визначити вихід роботи.
- Запустити роботу.
Щоб переглянути повний процес, ознайомтеся з документацією.
Аналіз наукових статей
Розглянемо ще один приклад проєкту, створеного Дмитром Сошниковим, одним із авторів цього курсу.
Дмитро створив інструмент для аналізу статей про COVID. Розглядаючи цей проєкт, ви побачите, як можна створити інструмент, який витягує знання з наукових статей, отримує інсайти та допомагає дослідникам ефективно орієнтуватися у великих колекціях статей.
Давайте розглянемо різні кроки, використані для цього:
- Витяг та попередня обробка інформації за допомогою Text Analytics for Health.
- Використання Azure ML для паралелізації обробки.
- Зберігання та запити інформації за допомогою Cosmos DB.
- Створення інтерактивної панелі для дослідження та візуалізації даних за допомогою Power BI.
Щоб переглянути повний процес, відвідайте блог Дмитра.
Як бачите, ми можемо використовувати хмарні сервіси різними способами для виконання завдань науки про дані.
Примітка
Джерела:
- https://azure.microsoft.com/overview/what-is-cloud-computing?ocid=AID3041109
- https://docs.microsoft.com/azure/stream-analytics/stream-analytics-twitter-sentiment-analysis-trends?ocid=AID3041109
- https://soshnikov.com/science/analyzing-medical-papers-with-azure-and-text-analytics-for-health/
Тест після лекції
Тест після лекції
Завдання
Відмова від відповідальності:
Цей документ був перекладений за допомогою сервісу автоматичного перекладу Co-op Translator. Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають у результаті використання цього перекладу.