Data-Science-For-Beginners/translations/ml/5-Data-Science-In-Cloud/17-Introduction

ക്ലൗഡിലെ ഡാറ്റാ സയൻസിലേക്ക് പരിചയം

ക്ലൗഡിലെ ഡാറ്റാ സയൻസ്: പരിചയം - Sketchnote by @nitya

ഈ പാഠത്തിൽ, നിങ്ങൾ ക്ലൗഡിന്റെ അടിസ്ഥാന സിദ്ധാന്തങ്ങൾ പഠിക്കും, പിന്നെ ഡാറ്റാ സയൻസ് പ്രോജക്റ്റുകൾ നടക്കാൻ ക്ലൗഡ് സേവനങ്ങൾ ഉപയോഗിക്കുന്നത് എങ്ങനെ നിങ്ങൾക്കു പ്രയോജനപ്പെടും എന്ന് കാണും, കൂടാതെ ക്ലൗഡിൽ പ്രവർത്തിക്കുന്ന ഡാറ്റാ സയൻസ് പ്രോജക്റ്റുകളുടെ ചില ഉദാഹരണങ്ങൾ നാം വീക്ഷിക്കും.

പ്രീ-ലക്‌ചർ ക്വിസ്

ക്ലൗഡ് എന്താണ്?

ക്ലൗഡ്, അല്ലെങ്കിൽ ക്ലൗഡ് കംപ്യൂട്ടിംഗ്, ഇന്റർനെറ്റിലൂടെ ഹോസ്റ്റുചെയ്ത ഒരു ഇൻഫ്രാസ്ട്രക്ച്ചറിലൂടെ പേയ്-ആസ്-യു-ഗോ (ഉപയോഗമുള്ളതുപോലെ പണം നൽകുന്ന) കംപ്യൂട്ടിംഗ് സേവനങ്ങളുടെ വൻകൈമായ വിതരണം അഭിബോധിപ്പിക്കുന്നു. സേവനങ്ങളിൽ സ്റ്റോറേജ്, ഡാറ്റാബേസുകൾ, നെറ്റ്‌വർക്കിംഗ്, സോഫ്റ്റ്വെയർ, അനലിറ്റിക്സ്, ബുദ്ധിശക്തിയുള്ള സേവനങ്ങൾ എന്നിവ ഉൾപ്പെടുന്നു.

നാം പൊതുജന ക്ലൗഡ്, സ്വകാര്യ ക്ലൗഡ്, ഹൈബ്രിഡ് ക്ലൗഡ് എന്നിങ്ങനെ വേർതിരിക്കുന്നു:

• പൊതു ക്ലൗഡ്: ഒരു മൂന്നാംപക്ഷ ക്ലൗഡ് സേവന ദാതാവ് ഉടമയായും ഓപ്പറേറ്റു ചെയ്യുന്ന, ആ രാജ്യത്തിന് (പൊതുജനങ്ങൾക്കായി) കംപ്യൂട്ടിംഗ് സൗകര്യങ്ങൾ ഇന്റർനെറ്റിലൂടെ നൽകുന്ന ഒരു ക്ലൗഡ്.
• സ്വകാര്യ ക്ലൗഡ്: ഒരു ഏക ബിസിനസ്സ് അല്ലെങ്കിൽ സംഘടനയുടെ മാത്രം ഉപയോഗിക്കുന്ന ക്ലൗഡ് കംപ്യൂട്ടിംഗ് സൗകര്യങ്ങളെ വാഗ്ദാനം ചെയ്യുന്നു, സേവനങ്ങളും ഇൻഫ്രാസ്ട്രക്ച്ചറും സ്വകാര്യ നെറ്റ്‌വർക്കിൽ നിലനിൽക്കുന്നു.
• ഹൈബ്രിഡ് ക്ലൗഡ്: പൊതു ക്ലൗഡും സ്വകാര്യ ക്ലൗഡും സംയോജിപ്പിച്ച ഒരു സിസ്റ്റം. ഉപയോക്താക്കൾ ഓൺ-പ്രേമൈസിസ് ഡാറ്റ സെന്റർ തിരഞ്ഞെടുക്കുകയും, അതേസമയം ഒരു അല്ലെങ്കിൽ കൂടുതൽ പൊതു ക്ലൗഡുകളിൽ ഡാറ്റയും ആപ്ലിക്കേഷൻസും പ്രവർത്തിപ്പിക്കാനുമാകും.

ക്ലൗഡ് കംപ്യൂട്ടിംഗ് സേവനങ്ങൾ, സാധാരണയായി, മൂന്ന് വിഭാഗങ്ങളിലായി പിരിയുന്നു: ഇൻഫ്രാസ്ട്രക്ചർ ഏസ് എ സർവീസ് (IaaS), പ്ലാറ്റ്ഫോം ഏസ് എ സർവീസ് (PaaS) ആൻഡ് സോഫ്റ്റ്വെയർ ഏസ് എ സർവീസ് (SaaS).

• ഇൻഫ്രാസ്ട്രക്ചർ ഏസ് എ സർവീസ് (IaaS): ഉപയോക്താക്കൾക്ക് സർവറുകൾ, വെർച്വൽ മെഷീനുകൾ (VMs), സ്റ്റോറേജ്, നെറ്റ്‌വർക്ക്, ഓപ്പറേറ്റിംഗ് സിസ്റ്റം എന്നിവ പോലുള്ള ഒരു IT ഇൻഫ്രാസ്ട്രക്ച്ചർ വാടകയ്ക്ക് നൽകുന്നു
• പ്ലാറ്റ്ഫോം ഏസ് എ സർവീസ് (PaaS): ഉപയോക്താക്കൾക്ക് സോഫ്റ്റ്വെയർ ആപ്ലിക്കേഷൻ നിർമ്മാണം, പരിശോധന, വിതരണം, പരിചരണം എന്നിവയ്ക്ക് അനുയോജ്യമായ അന്തരീക്ഷം വാടകയ്ക്ക് നൽകുന്നു. സർവറുകൾ, സ്റ്റോറേജ്, നെറ്റ്‌വർക്ക്, ഡാറ്റാബേസുകൾ എന്നിവയുടെ അടിസ്ഥാന ഇൻഫ്രാസ്ട്രക്ച്ചർ ഇൻ‌സ്റ്റാൾ ചെയ്യാനും പരിപാലിക്കാനുമുള്ള ആശങ്ക അവർക്ക് ഇല്ല.
• സോഫ്റ്റ്വെയർ ഏസ് എ സർവീസ് (SaaS): ഉപയോക്താക്കൾക്ക് ഇന്റർനെറ്റിൽ നിന്ന്, ആവശ്യമായപ്പോൾ, സാധാരണമാണ് സബ്സ്ക്രിപ്ഷൻ അധിഷ്ഠിതമായി സോഫ്റ്റ്വെയർ ആപ്ലിക്കേഷനുകൾക്ക് പ്രവേശനം ലഭിക്കുന്നു. ഹോസ്റ്റിങ്ങും പരിപാലനവും, സോഫ്റ്റ്വെയർ അപ്ഗ്രേഡുകളും സുരക്ഷാ പാച്ചിംഗ് എന്നിവയിലും അവർക്ക് കരുതൽ വേണ്ട.

മികച്ച ക്ലൗഡ് സേവന ദാതാക്കളിൽ ചിലത് ആമസോൺ വെബ് സേവനങ്ങൾ, ഗൂഗിൾ ക്ലൗഡ് പ്ലാറ്റ്ഫോം, മൈക്രോസോഫ്റ്റ് അസ്പ്രു ആണ്.

ഡാറ്റാ സയൻസിനായി ക്ലൗഡ് തിരഞ്ഞെടുക്കേണ്ടത് എന്തുകൊണ്ടാണ്?

ഡവലപ്പർമാരും ഐടി പ്രൊഫഷണലുകളും നിരവധി കാരണങ്ങൾ മൂലം ക്ലൗഡുമായി ജോലി ചെയ്യാൻ തിരഞ്ഞെടുക്കുന്നു:

• നവോത്ഥാനം: ക്ലൗഡ് ദാതാക്കളുടെ നവീകരണ സേവനങ്ങൾ നേരിട്ട് നിങ്ങളുടെ ആപ്പുകളിൽ ഉൾപ്പെടുത്തിയതിലൂടെ നിങ്ങളുടെ ആപ്ലിക്കേഷനുകൾ ശക്തിപ്പെടുത്താം.
• ലവച്‌ത്വം: നിങ്ങള്ക്കു വേണ്ട സേവനങ്ങൾക്ക് മാത്രമേ പണം നൽകാനാകൂ, വ്യത്യസ്ത സേവനങ്ങളിൽ നിന്ന് തിരഞ്ഞെടുക്കാവുന്നതാണ്. സാധാരണയായി ഉപയോഗമനുസരിച്ചു പണം നൽകുന്നു, ആവശ്യാനുസരണം സേവനങ്ങൾ കൂട്ടിയോ കുറച്ചോ ചെയ്യാം.
• ബജറ്റ്: ഹാർഡ്‌വെയറും സോഫ്റ്റ്വെയറും വാങ്ങാൻ ആദ്യ നിക്ഷേപം ചെയ്യേണ്ട ആവശ്യമില്ല, ഓൺ-സൈറ്റ് ഡാറ്റാ സെന്ററുകൾ സ്ഥാപിക്കാനും നടത്താനും ആവശ്യമായ ചെലവും ഒഴിവാകും, ഉപയോഗാനുസരിച്ച് പണം കൊടുക്കുന്നതും സാധിക്കും.
• സ്കേലബിലിറ്റി: നിങ്ങളുടെ സർവീസുകൾ നിങ്ങളുടെ പ്രോജക്റ്റിന്റെ ആവശ്യങ്ങൾ പ്രകാരം സ്കേൽ ചെയ്യാൻ കഴിയും, ആ അർത്ഥത്തിൽ നിങ്ങളുടെ ആപ്പുകൾ കുറവോ കൂടുതലോ കംപ്യൂട്ടിംഗ് ശേഷി, സ്റ്റോറേജ്, ബാന്ഡ്വിഡ്ത്ത് ഉപയോഗിക്കാനും കഴിയും, ഇത് ഏതുതവണയായാലും പുറത്തുള്ള ഘടകങ്ങൾ അനുസരിച്ച് ആപേക്ഷികമാകുന്നു.
• ഉൽപ്പാദനക്ഷമത: ഡാറ്റാ സെന്ററുകൾ പ്രഭന്ദനം പോലെയുള്ള ജോലി അകത്തേക്ക് വിട്ട്, നിങ്ങളുടെ ബിസിനസ്സ് ശ്രദ്ധിക്കാനാകും.
• വിശ്വസനീയത: ക്ലൗഡ് കംപ്യൂട്ടിംഗ് വിവിധ വഴികളിലൂടെ നിങ്ങളുടെ ഡാറ്റ സ്ഥിരമായി ബാക്കപ്പ് എടുക്കാനും, ആഘാതങ്ങൾക്കിടെ ബിസിനസ്സും സേവനങ്ങളും തുടർക്കോടായി കൂട്ട് നിലനിർത്താനുമുള്ള ദുരന്തം വീണ്ടെടുക്കൽ പദ്ധതികൾ സജ്ജമാക്കാനും സഹായിക്കുന്നു.
• സുരക്ഷ: നിങ്ങളുടെ പ്രോജക്റ്റിന്റെ സുരക്ഷ ശക്തിപ്പെടുത്തുന്ന നയങ്ങൾ, സാങ്കേതികവിദ്യകൾ, നിയന്ത്രണങ്ങൾ മുതലായ അനുകൂലനങ്ങൾ നിങ്ങൾക്ക് ലഭിക്കും.

ഇവയാണ് പലരും ക്ലൗഡ് സേവനങ്ങൾ ഉപയോഗിക്കുന്നത് പ്രധാനമായും തിരഞ്ഞെടുക്കുന്ന കാരണങ്ങൾ. ഇപ്പോൾ ക്ലൗഡിന്റെ അടിസ്ഥാനവും പ്രധാന ലാഭങ്ങളും മനസ്സിലാക്കി, ഡാറ്റാ സയന്റിസ്റ്റുകൾക്കും ഡാറ്റ കൈകാര്യം ചെയ്യുന്ന ഡവലപ്പർമാർക്കും ക്ലൗഡ് എങ്ങനെ സഹായകമാണെന്ന്, അവരുടെ അഭിമുഖീകരിക്കുന്ന ചില വെല്ലുവിളികളോടും നമുക്ക് കൂടുതൽ ദൃശ്യമായി നോക്കാം:

• വലിയ ഡാറ്റയിലേക്കുള്ള സംഗ്രഹം: വലുതും ബുദ്ധിമുട്ടുള്ള സർവറുകൾ വാങ്ങാനോ പരിപാലിക്കാനോ ആവശ്യപ്പെടുന്നതിനുപകരം, നിങ്ങളുടെ ഡാറ്റ നേരിട്ട് ക്ലൗഡിൽ സൂക്ഷിക്കാം, ഉദാഹരണത്തിന് Azure Cosmos DB, Azure SQL Database, Azure Data Lake Storage പോലുള്ള പരിഹാരങ്ങൾ.
• ഡാറ്റ സംയോജനം നടത്തുക: ഡാറ്റാ ശാസ്ത്രത്തിലെ അനിവാര്യ ഘടകമാണ് ഡാറ്റ സംയോജനം, ഡാറ്റ ശേഖരണത്തിൽ നിന്നുള്ള പ്രവർത്തനങ്ങളിലേക്ക് മാറ്റം ചെയ്യാൻ ഇത് സഹായിക്കുന്നു. ക്ലൗഡ്-നൽകുന്ന ഡാറ്റ ഫാക്ടറി പോലുള്ള ഡാറ്റ സംയോജന സേവനങ്ങളാൽ വിവിധ ഉറവിടങ്ങളിൽനിന്നും ഡാറ്റ ശേഖരിക്കുകയും പരിവർത്തനം ചെയ്യുകയും ഒറ്റ ഡാറ്റാ വെയർഹൗസ് ആയി സംയോജിപ്പിക്കാനും കഴിയും.
• ഡാറ്റ പ്രോസസ്സ് ചെയ്യൽ: വൻതോതിലുള്ള ഡാറ്റ പ്രോസസ്സ് ചെയ്യാൻ ഒട്ടും ശക്തമായ കംപ്യൂട്ടിംഗ് ശേഷി ആവശ്യമുണ്ട്, ഇതിന് മിതമായ പവർ ഉള്ള യന്ത്രങ്ങൾ എല്ലാവർക്കും ലഭ്യമല്ല, അതുകൊണ്ട് പലരും അവരുടെ പരിഹാരങ്ങൾ പ്രവർത്തിപ്പിക്കാൻ ക്ലൗഡിന്റെ വലിയ കംപ്യൂട്ടിംഗ് ശേഷി നേരിട്ട് ഉപയോഗിക്കാൻ തിരുപ്പ് ചെയ്യുന്നു.
• ഡാറ്റ അനലിറ്റിക്സ് സേവനങ്ങൾ ഉപയോഗിക്കുക: Azure Synapse Analytics, Azure Stream Analytics, Azure Databricks പോലുള്ള ക്ലൗഡ് സേവനങ്ങൾ നിങ്ങളുടെ ഡാറ്റ ഉപകാരപ്രദമായ അറിവുകളായി മാറ്റാൻ സഹായിക്കുന്നു.
• മെഷീൻ ലേണിംഗ്, ഡാറ്റ ബുദ്ധിമതികൾ സേവനങ്ങൾ ഉപയോഗിക്കുക: നിങ്ങളുടെ സ്വന്തം മെഷീൻ ലേണിംഗ് അല്ഗോരിദങ്ങൾ തുടങ്ങാതെ, ക്ലൗഡ് ദാതാക്കൾ നൽകിയ മെഷീൻ ലേണിംഗ് സർവീസുകൾ ഉപയോഗിക്കാം, ഉദാഹരണത്തിന് AzureML. സ്പീച്ച്-ടു-ടെക്സ്റ്റ്, ടെക്സ്റ്റ് ടു സ്പീച്ച്, കമ്പ്യൂട്ടർ വിഷൻ പോലുള്ള കോഗ്നിറ്റീവ് സേവനങ്ങൾ പ്രയോജനപ്പെടുത്താം.

ക്ലൗഡിലെ ഡാറ്റാ സയൻസിന്റെ ഉദാഹരണങ്ങൾ

കുറെ സാന്ദർഭിക ദൃശ്യങ്ങൾ കാണാം.

യഥാർത്ഥ സമയ സോഷ്യൽ മീഡിയ സ്നേഹം വിശകലനം

മെഷീൻ ലേണിംഗ് പഠനം ആരംഭിക്കുന്നവർ സാധാരണ പഠിക്കുന്ന ഒരു സംജ്ഞാക്രമണം ആണ്: യഥാർത്ഥ സമയത്തിലുണ്ടാകുന്ന സോഷ്യൽ മീഡിയ സ്നേഹം വിശകലനം.

നിങ്ങൾ ഒരു വാർത്താ മീഡിയ വെബ്‌സൈറ്റ് പ്രവർത്തിപ്പിക്കുന്നുവെന്ന് ചിന്തിക്കൂ, നിങ്ങളുടെ പാഠകർക്ക് ഇഷ്ടപ്പെടാവുന്ന ഉള്ളടക്കം എന്ന് തിരിച്ചറിയാൻ ലൈവ് ഡാറ്റ ഉപയോഗിച്ച് സഹായം വേണ്ടുന്നുണ്ട്. അതിനായി, നിങ്ങളുടെ വായനക്കാരുടെ പ്രസക്തമായ വിഷയങ്ങളിൽ നിന്നുള്ള ട്വിറ്റർ പ്രസിദ്ധീകരണങ്ങളുടെ യഥാർത്ഥ സമയ സ്നേഹം വിശകലനം ചെയ്യുന്നതിന് ഒരു പ്രോഗ്രാം നിർമ്മിക്കാം.

പ്രധാന സൂചകങ്ങൾ ആയിരിക്കും ഒരു പ്രത്യേക വിഷയത്തെ (ഹാഷ് ടാഗ്) കുറിച്ച് ട്വിറ്റുകളുടെ വോള്യം (അളവ്) എന്നും സ്നേഹം (Sentiment) എന്നും, സ്നേഹം വിശകലനം ചെയ്യുന്ന അനലിറ്റിക്സ് ഉപകരണങ്ങൾ ഉപയോഗിച്ച് രൂപകൽപ്പന ചെയ്‌തത്.

ഈ പ്രോജക്റ്റ് സൃഷ്ടിക്കാൻ ആവശ്യമായ ഘട്ടങ്ങൾ:

• ട്വിറ്ററിൽ നിന്നുള്ള ഡാറ്റ ശേഖരിക്കാൻ ഒരു ഇവന്റ് ഹബ് സൃഷ്ടിക്കുക
• ട്വിറ്റർ സ്റ്റ്രീമിംഗ് API-കള്‍ വിളിക്കുന്ന ഒരു ട്വിറ്റർ ക്ലയന്റ് ആപ്ലിക്കേഷൻ ക്രമീകരിച്ച് ആരംഭിക്കുക
• ഒരു Stream Analytics ജോബ് സൃഷ്ടിക്കുക
• ജോബ് ഇൻപുട്ടും ക്വറിയും വ്യക്തമാക്കുക
• ഔട്ട്പുട്ട് സിങ്ക് സൃഷ്ടിച്ച് ജോബ് ഔട്ട്പുട്ട് വ്യക്തമാക്കുക
• ജോബ് ആരംഭിക്കുക

പൂർണ്ണ പ്രക്രിയ കാണാൻ, ഡോക്യുമെന്റേഷൻ പരിശോധിക്കുക.

ശാസ്ത്രീയ പത്രപ്രധാനങ്ങൾ വിശകലനം

ഈ കാർയമായ പാഠ്യപദ്ധതിയുടെ ഒരെണ്ണമായ Dmitry Soshnikov സൃഷ്ടിച്ച പ്രോജക്ടിന്റെ മറ്റൊരു ഉദാഹരണം നോക്കാം.

Dmitry COVID പത്രങ്ങൾ വിശകലനം ചെയ്യുന്ന ഒരു ഉപകരണം സൃഷ്ടിച്ചു. ഈ പ്രോജക്ട് പരിശോധിച്ചതോടെ, ശാസ്ത്രീയ ലേഖനങ്ങളിൽ നിന്ന് അറിവ് നേടാനും,洞ന്വേഷണങ്ങൾ അടയാളപ്പെടുത്താനും, വലിയ പത്രസംരംഭങ്ങൾ ഫലപ്രദമായി ഞെക്കിക്കൂടാൻ സഹായിക്കുന്ന ഉപകരണം നിങ്ങൾ നിർമിക്കാൻ സാധിക്കും എന്ന് കാണാം.

ഇതിനുള്ള വിവിധ ഘട്ടങ്ങൾ:

• Text Analytics for Health ഉപയോഗിച്ച് വിവരങ്ങൾ എക്സ്‌ട്രാക്റ്റ് ചെയ്ത് പ്രൊസസ്സ് ചെയ്യൽ
• Azure ML ഉപയോഗിച്ച് പ്രോസസ്സിംഗ് പാരലലൈസ് ചെയ്യൽ
• Cosmos DB ഉപയോഗിച്ച് വിവരങ്ങൾ സംഭരിക്കുകയും ക്വറി ചെയ്ത് ഉപയോഗപ്പെടുത്തുകയും ചെയ്യുക
• Power BI ഉപയോഗിച്ച് ഡാറ്റാ എക്‌സ്‌പ്ലോറേഷൻ, ദൃശ്യവൽക്കരണം നടത്താനുള്ള ഇന്ററാക്ടീവ് ഡാഷ്ബോർഡ് സൃഷ്ടിക്കുക

പൂർണ്ണ പ്രക്രിയ കാണാൻ Dmitry’s ബ്ലോഗ് സന്ദർശിക്കുക.

അന്വേഷിച്ച പോലെ, ഡാറ്റാ സയൻസ് നടത്താൻ ക്ലൗഡ് സേവനങ്ങൾ നാം വിവിധ രീതികളിൽ പ്രയോജനപ്പെടുത്താം.

ഫുട്നോട്ട്

ഉറവിടങ്ങൾ:

• https://azure.microsoft.com/overview/what-is-cloud-computing?ocid=AID3041109
• https://docs.microsoft.com/azure/stream-analytics/stream-analytics-twitter-sentiment-analysis-trends?ocid=AID3041109
• https://soshnikov.com/science/analyzing-medical-papers-with-azure-and-text-analytics-for-health/

പോസ്റ്റ്-ലക്‌ചർ ക്വിസ്

പോസ്റ്റ്-ലക്‌ചർ ക്വിസ്

അസൈൻമെന്റ്

Market Research

---

അറിയിപ്പ്: ഈ രേഖ AI പരിഭാഷാ സേവനം Co-op Translator ഉപയോഗിച്ച് പരിഭാഷപ്പെടുത്തിയതാണ്. ഞങ്ങൾ കൃത്യതയ്ക്കായി ശ്രമിക്കുന്നുവെങ്കിലും, ഓട്ടോമേറ്റഡ് പരിഭാഷകളിൽ പിഴവുകൾ അല്ലെങ്കിൽ തെറ്റായ വിവരങ്ങൾ ഉണ്ടാകാൻ സാധ്യതയുണ്ട്. അതിന്റെ സ്വാഭാവിക ഭാഷയിലുള്ള അസൽ രേഖയാണ് പ്രാമാണികമായ ഉറവിടമായി പരിഗണിക്കേണ്ടത്. നിർണായകമായ വിവരങ്ങൾക്ക്, പ്രൊഫഷണൽ മനുഷ്യ പരിഭാഷ ശുപാർശ ചെയ്യുന്നു. ഈ പരിഭാഷ ഉപയോഗിച്ച് ഉണ്ടാകുന്ന തെറ്റിദ്ധാരണകൾ അല്ലെങ്കിൽ തെറ്റായ വ്യാഖ്യാനങ്ങൾക്കായി ഞങ്ങൾ ഉത്തരവാദികളല്ല.