15 KiB
کلاؤڈ میں ڈیٹا سائنس کا تعارف
 |
|---|
| کلاؤڈ میں ڈیٹا سائنس: تعارف - @nitya کی اسکیچ نوٹ |
اس سبق میں، آپ کلاؤڈ کے بنیادی اصولوں کے بارے میں سیکھیں گے، پھر آپ دیکھیں گے کہ کلاؤڈ سروسز کو اپنے ڈیٹا سائنس پروجیکٹس چلانے کے لیے استعمال کرنا آپ کے لیے کیوں دلچسپ ہو سکتا ہے، اور ہم کلاؤڈ میں چلنے والے کچھ ڈیٹا سائنس پروجیکٹس کی مثالیں دیکھیں گے۔
لیکچر سے پہلے کا کوئز
کلاؤڈ کیا ہے؟
کلاؤڈ، یا کلاؤڈ کمپیوٹنگ، انٹرنیٹ پر ایک انفراسٹرکچر کے ذریعے مختلف قسم کی پے-ایز-یو-گو کمپیوٹنگ سروسز کی فراہمی ہے۔ ان سروسز میں اسٹوریج، ڈیٹا بیسز، نیٹ ورکنگ، سافٹ ویئر، اینالیٹکس، اور ذہین سروسز شامل ہیں۔
ہم عام طور پر پبلک، پرائیویٹ اور ہائبرڈ کلاؤڈز کو درج ذیل طریقے سے فرق کرتے ہیں:
- پبلک کلاؤڈ: پبلک کلاؤڈ کسی تیسرے فریق کلاؤڈ سروس فراہم کنندہ کی ملکیت اور آپریٹ کیا جاتا ہے، جو اپنی کمپیوٹنگ وسائل انٹرنیٹ کے ذریعے عوام کو فراہم کرتا ہے۔
- پرائیویٹ کلاؤڈ: پرائیویٹ کلاؤڈ کمپیوٹنگ وسائل کو کسی ایک کاروبار یا تنظیم کے لیے خاص طور پر استعمال کرنے کو کہتے ہیں، جس میں سروسز اور انفراسٹرکچر ایک پرائیویٹ نیٹ ورک پر برقرار رکھا جاتا ہے۔
- ہائبرڈ کلاؤڈ: ہائبرڈ کلاؤڈ ایک ایسا نظام ہے جو پبلک اور پرائیویٹ کلاؤڈز کو یکجا کرتا ہے۔ صارفین ایک آن-پریمیس ڈیٹا سینٹر کا انتخاب کرتے ہیں، جبکہ ڈیٹا اور ایپلیکیشنز کو ایک یا زیادہ پبلک کلاؤڈز پر چلنے کی اجازت دیتے ہیں۔
زیادہ تر کلاؤڈ کمپیوٹنگ سروسز تین اقسام میں آتی ہیں: انفراسٹرکچر ایز اے سروس (IaaS)، پلیٹ فارم ایز اے سروس (PaaS)، اور سافٹ ویئر ایز اے سروس (SaaS)۔
- انفراسٹرکچر ایز اے سروس (IaaS): صارفین آئی ٹی انفراسٹرکچر جیسے سرورز اور ورچوئل مشینز (VMs)، اسٹوریج، نیٹ ورکس، آپریٹنگ سسٹمز کرائے پر لیتے ہیں۔
- پلیٹ فارم ایز اے سروس (PaaS): صارفین سافٹ ویئر ایپلیکیشنز کو ڈیولپ، ٹیسٹ، ڈیلیور اور مینیج کرنے کے لیے ایک ماحول کرائے پر لیتے ہیں۔ صارفین کو سرورز، اسٹوریج، نیٹ ورک، اور ڈیٹا بیسز کی بنیادی انفراسٹرکچر کو سیٹ اپ یا مینیج کرنے کی فکر نہیں ہوتی۔
- سافٹ ویئر ایز اے سروس (SaaS): صارفین انٹرنیٹ کے ذریعے سافٹ ویئر ایپلیکیشنز تک رسائی حاصل کرتے ہیں، عام طور پر سبسکرپشن کی بنیاد پر۔ صارفین کو سافٹ ویئر ایپلیکیشن، بنیادی انفراسٹرکچر یا مینٹیننس جیسے سافٹ ویئر اپگریڈز اور سیکیورٹی پیچنگ کی فکر نہیں ہوتی۔
کلاؤڈ کے سب سے بڑے فراہم کنندگان میں ایمیزون ویب سروسز، گوگل کلاؤڈ پلیٹ فارم اور مائیکروسافٹ ایزور شامل ہیں۔
ڈیٹا سائنس کے لیے کلاؤڈ کیوں منتخب کریں؟
ڈیولپرز اور آئی ٹی پروفیشنلز کئی وجوہات کی بنا پر کلاؤڈ کے ساتھ کام کرنے کا انتخاب کرتے ہیں، جن میں شامل ہیں:
- جدت: آپ اپنی ایپلیکیشنز کو کلاؤڈ فراہم کنندگان کی جانب سے تخلیق کردہ جدید سروسز کو اپنی ایپس میں شامل کر کے طاقتور بنا سکتے ہیں۔
- لچک: آپ صرف ان سروسز کے لیے ادائیگی کرتے ہیں جن کی آپ کو ضرورت ہوتی ہے اور مختلف قسم کی سروسز میں سے انتخاب کر سکتے ہیں۔ آپ عام طور پر پے-ایز-یو-گو کی بنیاد پر ادائیگی کرتے ہیں اور اپنی ضروریات کے مطابق سروسز کو ایڈجسٹ کرتے ہیں۔
- بجٹ: آپ کو ہارڈویئر اور سافٹ ویئر خریدنے، آن-سائٹ ڈیٹا سینٹرز سیٹ اپ کرنے اور چلانے کے لیے ابتدائی سرمایہ کاری کرنے کی ضرورت نہیں ہوتی، اور آپ صرف وہی ادائیگی کرتے ہیں جو آپ استعمال کرتے ہیں۔
- اسکیل ایبلٹی: آپ کے وسائل آپ کے پروجیکٹ کی ضروریات کے مطابق بڑھ یا کم ہو سکتے ہیں، جس کا مطلب ہے کہ آپ کی ایپس کسی بھی وقت بیرونی عوامل کے مطابق زیادہ یا کم کمپیوٹنگ پاور، اسٹوریج اور بینڈوڈتھ استعمال کر سکتی ہیں۔
- پیداواریت: آپ اپنے کاروبار پر توجہ مرکوز کر سکتے ہیں بجائے اس کے کہ ان کاموں پر وقت ضائع کریں جو کوئی اور مینیج کر سکتا ہے، جیسے ڈیٹا سینٹرز کا انتظام۔
- قابل اعتماد: کلاؤڈ کمپیوٹنگ آپ کے ڈیٹا کا مسلسل بیک اپ لینے کے کئی طریقے پیش کرتا ہے، اور آپ ڈیزاسٹر ریکوری پلانز سیٹ اپ کر سکتے ہیں تاکہ بحران کے وقت بھی آپ کا کاروبار اور سروسز جاری رہیں۔
- سیکیورٹی: آپ ایسی پالیسیز، ٹیکنالوجیز اور کنٹرولز سے فائدہ اٹھا سکتے ہیں جو آپ کے پروجیکٹ کی سیکیورٹی کو مضبوط بناتے ہیں۔
یہ وہ عام وجوہات ہیں جن کی بنا پر لوگ کلاؤڈ سروسز کا انتخاب کرتے ہیں۔ اب جب کہ ہمیں کلاؤڈ کے بارے میں اور اس کے اہم فوائد کے بارے میں بہتر سمجھ آ گئی ہے، آئیے خاص طور پر ڈیٹا سائنسدانوں اور ڈیٹا کے ساتھ کام کرنے والے ڈیولپرز کے کاموں پر نظر ڈالیں، اور یہ دیکھیں کہ کلاؤڈ ان کے سامنے آنے والے مختلف چیلنجز میں کس طرح مدد کر سکتا ہے:
- بڑے پیمانے پر ڈیٹا کو اسٹور کرنا: بڑے سرورز خریدنے، مینیج کرنے اور محفوظ رکھنے کے بجائے، آپ اپنا ڈیٹا براہ راست کلاؤڈ میں اسٹور کر سکتے ہیں، جیسے ایزور کاسماس ڈی بی، ایزور ایس کیو ایل ڈیٹا بیس اور ایزور ڈیٹا لیک اسٹوریج کے حل کے ساتھ۔
- ڈیٹا انٹیگریشن انجام دینا: ڈیٹا انٹیگریشن ڈیٹا سائنس کا ایک لازمی حصہ ہے، جو آپ کو ڈیٹا جمع کرنے سے لے کر عمل کرنے تک کا سفر طے کرنے دیتا ہے۔ کلاؤڈ میں پیش کردہ ڈیٹا انٹیگریشن سروسز کے ساتھ، آپ مختلف ذرائع سے ڈیٹا کو جمع، تبدیل اور ایک واحد ڈیٹا ویئر ہاؤس میں ضم کر سکتے ہیں، ڈیٹا فیکٹری کے ذریعے۔
- ڈیٹا پروسیسنگ: بڑے پیمانے پر ڈیٹا کو پروسیس کرنے کے لیے بہت زیادہ کمپیوٹنگ پاور کی ضرورت ہوتی ہے، اور ہر کسی کے پاس اتنی طاقتور مشینیں دستیاب نہیں ہوتیں، یہی وجہ ہے کہ بہت سے لوگ اپنی حل کو چلانے اور تعینات کرنے کے لیے براہ راست کلاؤڈ کی بڑی کمپیوٹنگ پاور کا استعمال کرتے ہیں۔
- ڈیٹا اینالیٹکس سروسز کا استعمال: کلاؤڈ سروسز جیسے ایزور سیناپس اینالیٹکس، ایزور اسٹریم اینالیٹکس اور ایزور ڈیٹا بریکس آپ کے ڈیٹا کو قابل عمل بصیرت میں تبدیل کرنے میں مدد کرتے ہیں۔
- مشین لرننگ اور ڈیٹا انٹیلیجنس سروسز کا استعمال: شروع سے آغاز کرنے کے بجائے، آپ کلاؤڈ فراہم کنندہ کی جانب سے پیش کردہ مشین لرننگ الگورتھمز کا استعمال کر سکتے ہیں، جیسے ایزور ایم ایل کے ساتھ۔ آپ اسپیک ٹو ٹیکسٹ، ٹیکسٹ ٹو اسپیک، کمپیوٹر وژن اور دیگر جیسی کوگنیٹو سروسز بھی استعمال کر سکتے ہیں۔
کلاؤڈ میں ڈیٹا سائنس کی مثالیں
آئیے اسے مزید واضح کرنے کے لیے کچھ منظرنامے دیکھتے ہیں۔
ریئل ٹائم سوشل میڈیا سینٹیمنٹ اینالیسیس
ہم ایک ایسے منظرنامے سے شروع کریں گے جو مشین لرننگ کے آغاز کرنے والوں کے لیے عام طور پر مطالعہ کیا جاتا ہے: ریئل ٹائم میں سوشل میڈیا سینٹیمنٹ اینالیسیس۔
فرض کریں کہ آپ ایک نیوز میڈیا ویب سائٹ چلاتے ہیں اور آپ لائیو ڈیٹا کا فائدہ اٹھا کر یہ سمجھنا چاہتے ہیں کہ آپ کے قارئین کس قسم کے مواد میں دلچسپی لے سکتے ہیں۔ اس کے بارے میں مزید جاننے کے لیے، آپ ایک ایسا پروگرام بنا سکتے ہیں جو ٹویٹر کی اشاعتوں کے ڈیٹا کا ریئل ٹائم سینٹیمنٹ اینالیسیس انجام دیتا ہے، ان موضوعات پر جو آپ کے قارئین کے لیے متعلقہ ہیں۔
اہم اشاریے جن پر آپ نظر ڈالیں گے وہ ہیں مخصوص موضوعات (ہیش ٹیگز) پر ٹویٹس کی تعداد اور سینٹیمنٹ، جو اینالیٹکس ٹولز کے ذریعے قائم کیا جاتا ہے جو مخصوص موضوعات کے ارد گرد سینٹیمنٹ اینالیسیس انجام دیتے ہیں۔
اس پروجیکٹ کو بنانے کے لیے ضروری اقدامات درج ذیل ہیں:
- ان پٹ اسٹریم کرنے کے لیے ایک ایونٹ ہب بنائیں، جو ٹویٹر سے ڈیٹا جمع کرے گا۔
- ایک ٹویٹر کلائنٹ ایپلیکیشن کو کنفیگر اور شروع کریں، جو ٹویٹر اسٹریمنگ APIs کو کال کرے گی۔
- ایک اسٹریم اینالیٹکس جاب بنائیں۔
- جاب ان پٹ اور کوئری کی وضاحت کریں۔
- ایک آؤٹ پٹ سنک بنائیں اور جاب آؤٹ پٹ کی وضاحت کریں۔
- جاب شروع کریں۔
مکمل عمل دیکھنے کے لیے، دستاویزات دیکھیں۔
سائنسی مقالوں کا تجزیہ
آئیے ایک اور مثال دیکھتے ہیں، جو اس نصاب کے مصنفین میں سے ایک دیمتری سوشنیکوف نے تخلیق کی ہے۔
دیمتری نے ایک ایسا ٹول بنایا جو COVID کے مقالوں کا تجزیہ کرتا ہے۔ اس پروجیکٹ کا جائزہ لے کر، آپ دیکھیں گے کہ آپ ایک ایسا ٹول کیسے بنا سکتے ہیں جو سائنسی مقالوں سے علم نکالتا ہے، بصیرت حاصل کرتا ہے اور محققین کو بڑی تعداد میں مقالوں کے مجموعے کو مؤثر طریقے سے نیویگیٹ کرنے میں مدد دیتا ہے۔
آئیے ان مختلف مراحل کو دیکھتے ہیں جو اس کے لیے استعمال کیے گئے ہیں:
- ٹیکسٹ اینالیٹکس فار ہیلتھ کے ساتھ معلومات نکالنا اور پہلے سے پروسیس کرنا۔
- پروسیسنگ کو متوازی بنانے کے لیے ایزور ایم ایل کا استعمال۔
- معلومات کو اسٹور اور کوئری کرنے کے لیے کاسماس ڈی بی کا استعمال۔
- ڈیٹا کی تلاش اور بصریات کے لیے ایک انٹرایکٹو ڈیش بورڈ بنانا، پاور بی آئی کے ذریعے۔
مکمل عمل دیکھنے کے لیے، دیمتری کا بلاگ دیکھیں۔
جیسا کہ آپ دیکھ سکتے ہیں، ہم کلاؤڈ سروسز کو مختلف طریقوں سے ڈیٹا سائنس انجام دینے کے لیے استعمال کر سکتے ہیں۔
فٹ نوٹ
ذرائع:
- https://azure.microsoft.com/overview/what-is-cloud-computing?ocid=AID3041109
- https://docs.microsoft.com/azure/stream-analytics/stream-analytics-twitter-sentiment-analysis-trends?ocid=AID3041109
- https://soshnikov.com/science/analyzing-medical-papers-with-azure-and-text-analytics-for-health/
لیکچر کے بعد کا کوئز
لیکچر کے بعد کا کوئز
اسائنمنٹ
ڈسکلیمر:
یہ دستاویز AI ترجمہ سروس Co-op Translator کا استعمال کرتے ہوئے ترجمہ کی گئی ہے۔ ہم درستگی کے لیے کوشش کرتے ہیں، لیکن براہ کرم آگاہ رہیں کہ خودکار ترجمے میں غلطیاں یا عدم درستگی ہو سکتی ہیں۔ اصل دستاویز، جو اس کی اصل زبان میں ہے، کو مستند ذریعہ سمجھا جانا چاہیے۔ اہم معلومات کے لیے، پیشہ ور انسانی ترجمہ کی سفارش کی جاتی ہے۔ اس ترجمے کے استعمال سے پیدا ہونے والی کسی بھی غلط فہمی یا غلط تشریح کے لیے ہم ذمہ دار نہیں ہیں۔