leestott
e2b90108bb
|
4 weeks ago | |
|---|---|---|
| .. | ||
| README.md | 4 weeks ago | |
| assignment.md | 4 weeks ago | |
README.md
کلاؤڈ میں ڈیٹا سائنس کا تعارف
 |
|---|
| کلاؤڈ میں ڈیٹا سائنس: تعارف - @nitya کی اسکیچ نوٹ |
اس سبق میں، آپ کلاؤڈ کے بنیادی اصول سیکھیں گے، پھر آپ دیکھیں گے کہ کلاؤڈ سروسز کو اپنے ڈیٹا سائنس پروجیکٹس چلانے کے لیے استعمال کرنا آپ کے لیے کیوں دلچسپ ہو سکتا ہے، اور ہم کلاؤڈ میں چلنے والے کچھ ڈیٹا سائنس پروجیکٹس کی مثالوں پر نظر ڈالیں گے۔
لیکچر سے پہلے کا کوئز
کلاؤڈ کیا ہے؟
کلاؤڈ، یا کلاؤڈ کمپیوٹنگ، انٹرنیٹ پر ایک انفراسٹرکچر کے ذریعے مختلف قسم کی پے-ایز-یو-گو کمپیوٹنگ سروسز کی فراہمی ہے۔ ان سروسز میں اسٹوریج، ڈیٹا بیسز، نیٹ ورکنگ، سافٹ ویئر، اینالیٹکس، اور ذہین سروسز شامل ہیں۔
عام طور پر ہم کلاؤڈ کو تین اقسام میں تقسیم کرتے ہیں:
- پبلک کلاؤڈ: پبلک کلاؤڈ کسی تیسرے فریق کلاؤڈ سروس فراہم کنندہ کی ملکیت اور آپریٹ کیا جاتا ہے، جو اپنی کمپیوٹنگ وسائل انٹرنیٹ کے ذریعے عوام کو فراہم کرتا ہے۔
- پرائیویٹ کلاؤڈ: پرائیویٹ کلاؤڈ وہ کمپیوٹنگ وسائل ہیں جو کسی ایک کاروبار یا تنظیم کے لیے مخصوص ہوتے ہیں، اور یہ خدمات اور انفراسٹرکچر ایک پرائیویٹ نیٹ ورک پر برقرار رکھا جاتا ہے۔
- ہائبرڈ کلاؤڈ: ہائبرڈ کلاؤڈ ایک ایسا نظام ہے جو پبلک اور پرائیویٹ کلاؤڈز کو یکجا کرتا ہے۔ صارفین ایک آن-پریمیس ڈیٹا سینٹر کا انتخاب کرتے ہیں، جبکہ ڈیٹا اور ایپلیکیشنز کو ایک یا زیادہ پبلک کلاؤڈز پر چلانے کی اجازت دیتے ہیں۔
زیادہ تر کلاؤڈ کمپیوٹنگ سروسز تین اقسام میں آتی ہیں: انفراسٹرکچر ایز اے سروس (IaaS)، پلیٹ فارم ایز اے سروس (PaaS)، اور سافٹ ویئر ایز اے سروس (SaaS)۔
- انفراسٹرکچر ایز اے سروس (IaaS): صارفین آئی ٹی انفراسٹرکچر جیسے سرورز، ورچوئل مشینز (VMs)، اسٹوریج، نیٹ ورکس، اور آپریٹنگ سسٹمز کرائے پر لیتے ہیں۔
- پلیٹ فارم ایز اے سروس (PaaS): صارفین سافٹ ویئر ایپلیکیشنز کو ڈیولپ، ٹیسٹ، ڈیلیور اور مینیج کرنے کے لیے ایک ماحول کرائے پر لیتے ہیں۔ صارفین کو سرورز، اسٹوریج، نیٹ ورک، اور ڈیٹا بیسز کی بنیادی انفراسٹرکچر کو سیٹ اپ یا مینیج کرنے کی فکر نہیں ہوتی۔
- سافٹ ویئر ایز اے سروس (SaaS): صارفین انٹرنیٹ کے ذریعے سافٹ ویئر ایپلیکیشنز تک رسائی حاصل کرتے ہیں، جو عام طور پر سبسکرپشن کی بنیاد پر فراہم کی جاتی ہیں۔ صارفین کو سافٹ ویئر ایپلیکیشن کی ہوسٹنگ، مینیجمنٹ، یا مینٹیننس جیسے سافٹ ویئر اپگریڈز اور سیکیورٹی پیچنگ کی فکر نہیں ہوتی۔
کلاؤڈ کے سب سے بڑے فراہم کنندگان میں ایمیزون ویب سروسز، گوگل کلاؤڈ پلیٹ فارم، اور مائیکروسافٹ ایژر شامل ہیں۔
ڈیٹا سائنس کے لیے کلاؤڈ کیوں منتخب کریں؟
ڈیولپرز اور آئی ٹی پروفیشنلز کئی وجوہات کی بنا پر کلاؤڈ کے ساتھ کام کرنے کا انتخاب کرتے ہیں، جن میں شامل ہیں:
- جدت: آپ اپنی ایپلیکیشنز کو کلاؤڈ فراہم کنندگان کی جانب سے فراہم کردہ جدید سروسز کو اپنے ایپس میں شامل کرکے طاقتور بنا سکتے ہیں۔
- لچک: آپ صرف ان سروسز کے لیے ادائیگی کرتے ہیں جن کی آپ کو ضرورت ہوتی ہے اور مختلف قسم کی سروسز میں سے انتخاب کر سکتے ہیں۔ آپ عام طور پر پے-ایز-یو-گو کی بنیاد پر ادائیگی کرتے ہیں اور اپنی ضروریات کے مطابق سروسز کو ایڈجسٹ کر سکتے ہیں۔
- بجٹ: آپ کو ہارڈویئر اور سافٹ ویئر خریدنے، آن-سائٹ ڈیٹا سینٹرز سیٹ اپ کرنے اور چلانے کے لیے ابتدائی سرمایہ کاری کرنے کی ضرورت نہیں ہوتی، اور آپ صرف وہی ادائیگی کرتے ہیں جو آپ استعمال کرتے ہیں۔
- اسکیل ایبلٹی: آپ کے وسائل آپ کے پروجیکٹ کی ضروریات کے مطابق بڑھ یا گھٹ سکتے ہیں، جس کا مطلب ہے کہ آپ کی ایپس کسی بھی وقت بیرونی عوامل کے مطابق زیادہ یا کم کمپیوٹنگ پاور، اسٹوریج، اور بینڈوڈتھ استعمال کر سکتی ہیں۔
- پیداواری صلاحیت: آپ اپنے کاروبار پر توجہ مرکوز کر سکتے ہیں بجائے اس کے کہ ان کاموں پر وقت ضائع کریں جو کوئی اور مینیج کر سکتا ہے، جیسے ڈیٹا سینٹرز کا انتظام۔
- اعتماد: کلاؤڈ کمپیوٹنگ آپ کے ڈیٹا کو مسلسل بیک اپ کرنے کے کئی طریقے فراہم کرتا ہے، اور آپ ڈیزاسٹر ریکوری پلانز سیٹ اپ کر سکتے ہیں تاکہ بحران کے وقت بھی آپ کا کاروبار اور خدمات جاری رہ سکیں۔
- سیکیورٹی: آپ ان پالیسیوں، ٹیکنالوجیز، اور کنٹرولز سے فائدہ اٹھا سکتے ہیں جو آپ کے پروجیکٹ کی سیکیورٹی کو مضبوط بناتے ہیں۔
یہ کلاؤڈ سروسز کو منتخب کرنے کی چند عام وجوہات ہیں۔ اب جب کہ ہمیں کلاؤڈ کے بارے میں اور اس کے اہم فوائد کے بارے میں بہتر سمجھ آ گئی ہے، آئیے ڈیٹا سائنسدانوں اور ڈیٹا کے ساتھ کام کرنے والے ڈیولپرز کے کاموں پر خاص طور پر نظر ڈالیں، اور یہ دیکھیں کہ کلاؤڈ ان کے سامنے آنے والے مختلف چیلنجز میں کس طرح مدد کر سکتا ہے:
- بڑے پیمانے پر ڈیٹا کو اسٹور کرنا: بڑے سرورز خریدنے، مینیج کرنے اور محفوظ رکھنے کے بجائے، آپ اپنا ڈیٹا براہ راست کلاؤڈ میں اسٹور کر سکتے ہیں، جیسے ایژر کاسماس ڈی بی، ایژر ایس کیو ایل ڈیٹا بیس، اور ایژر ڈیٹا لیک اسٹوریج کے حل کے ساتھ۔
- ڈیٹا انٹیگریشن انجام دینا: ڈیٹا انٹیگریشن ڈیٹا سائنس کا ایک لازمی حصہ ہے، جو آپ کو ڈیٹا جمع کرنے سے لے کر عمل کرنے تک منتقلی کرنے دیتا ہے۔ کلاؤڈ میں فراہم کردہ ڈیٹا انٹیگریشن سروسز کے ساتھ، آپ مختلف ذرائع سے ڈیٹا کو جمع، تبدیل اور ایک ڈیٹا ویئر ہاؤس میں ضم کر سکتے ہیں، ڈیٹا فیکٹری کے ذریعے۔
- ڈیٹا پروسیسنگ: بڑے پیمانے پر ڈیٹا کو پروسیس کرنے کے لیے بہت زیادہ کمپیوٹنگ پاور کی ضرورت ہوتی ہے، اور ہر کسی کے پاس اتنی طاقتور مشینیں دستیاب نہیں ہوتیں، یہی وجہ ہے کہ بہت سے لوگ اپنی حل کو چلانے اور تعینات کرنے کے لیے براہ راست کلاؤڈ کی زبردست کمپیوٹنگ پاور کا استعمال کرتے ہیں۔
- ڈیٹا اینالیٹکس سروسز کا استعمال: کلاؤڈ سروسز جیسے ایژر سیناپس اینالیٹکس، ایژر اسٹریم اینالیٹکس، اور ایژر ڈیٹا برکس آپ کے ڈیٹا کو قابل عمل بصیرت میں تبدیل کرنے میں مدد کرتے ہیں۔
- مشین لرننگ اور ڈیٹا انٹیلیجنس سروسز کا استعمال: شروع سے آغاز کرنے کے بجائے، آپ کلاؤڈ فراہم کنندہ کی طرف سے پیش کردہ مشین لرننگ الگورتھمز کا استعمال کر سکتے ہیں، جیسے ایژر ایم ایل کے ساتھ۔ آپ تقریر سے متن، متن سے تقریر، کمپیوٹر وژن اور مزید جیسی ذہین خدمات بھی استعمال کر سکتے ہیں۔
کلاؤڈ میں ڈیٹا سائنس کی مثالیں
آئیے اسے مزید واضح بنانے کے لیے چند منظرناموں پر نظر ڈالیں۔
ریئل ٹائم سوشل میڈیا سینٹیمنٹ اینالیسیس
ہم ایک ایسے منظرنامے سے آغاز کریں گے جو مشین لرننگ کے آغاز کرنے والوں کے لیے عام طور پر مطالعہ کیا جاتا ہے: ریئل ٹائم سوشل میڈیا سینٹیمنٹ اینالیسیس۔
فرض کریں کہ آپ ایک نیوز میڈیا ویب سائٹ چلاتے ہیں اور آپ لائیو ڈیٹا کا استعمال کرکے یہ سمجھنا چاہتے ہیں کہ آپ کے قارئین کس قسم کے مواد میں دلچسپی رکھتے ہیں۔ اس کے بارے میں مزید جاننے کے لیے، آپ ایک ایسا پروگرام بنا سکتے ہیں جو ٹویٹر کی اشاعتوں کے ڈیٹا کا ریئل ٹائم سینٹیمنٹ اینالیسیس انجام دے، ان موضوعات پر جو آپ کے قارئین کے لیے متعلقہ ہیں۔
آپ جن اہم اشاریوں پر نظر ڈالیں گے وہ مخصوص موضوعات (ہیش ٹیگز) پر ٹویٹس کا حجم اور سینٹیمنٹ ہیں، جو اینالیٹکس ٹولز کے ذریعے قائم کیا جاتا ہے جو مخصوص موضوعات کے ارد گرد سینٹیمنٹ اینالیسیس انجام دیتے ہیں۔
اس پروجیکٹ کو بنانے کے لیے ضروری اقدامات درج ذیل ہیں:
- ان پٹ کو اسٹریم کرنے کے لیے ایک ایونٹ ہب بنائیں، جو ٹویٹر سے ڈیٹا جمع کرے گا۔
- ایک ٹویٹر کلائنٹ ایپلیکیشن کو کنفیگر اور شروع کریں، جو ٹویٹر اسٹریمنگ APIs کو کال کرے گا۔
- ایک اسٹریم اینالیٹکس جاب بنائیں۔
- جاب ان پٹ اور کوئری کی وضاحت کریں۔
- ایک آؤٹ پٹ سنک بنائیں اور جاب آؤٹ پٹ کی وضاحت کریں۔
- جاب شروع کریں۔
مکمل عمل دیکھنے کے لیے، دستاویزات دیکھیں۔
سائنسی مقالوں کا تجزیہ
آئیے ایک اور پروجیکٹ کی مثال دیکھتے ہیں جو اس نصاب کے ایک مصنف دیمتری سوشنیکوف نے بنایا ہے۔
دیمتری نے ایک ایسا ٹول بنایا جو COVID کے مقالوں کا تجزیہ کرتا ہے۔ اس پروجیکٹ کا جائزہ لے کر، آپ دیکھیں گے کہ آپ ایک ایسا ٹول کیسے بنا سکتے ہیں جو سائنسی مقالوں سے علم نکالتا ہے، بصیرت حاصل کرتا ہے، اور محققین کو مقالوں کے بڑے مجموعوں میں مؤثر طریقے سے نیویگیٹ کرنے میں مدد دیتا ہے۔
آئیے دیکھتے ہیں کہ اس کے لیے استعمال کیے گئے مختلف اقدامات کیا ہیں:
- ٹیکسٹ اینالیٹکس فار ہیلتھ کے ساتھ معلومات نکالنا اور پری پروسیسنگ کرنا۔
- پروسیسنگ کو متوازی بنانے کے لیے ایژر ایم ایل کا استعمال۔
- معلومات کو اسٹور اور کوئری کرنے کے لیے کاسماس ڈی بی کا استعمال۔
- ڈیٹا کی تلاش اور بصریات کے لیے ایک انٹرایکٹو ڈیش بورڈ بنانا، پاور بی آئی کا استعمال کرتے ہوئے۔
مکمل عمل دیکھنے کے لیے، دیمتری کے بلاگ پر جائیں۔
جیسا کہ آپ دیکھ سکتے ہیں، ہم کلاؤڈ سروسز کو مختلف طریقوں سے ڈیٹا سائنس انجام دینے کے لیے استعمال کر سکتے ہیں۔
فٹ نوٹ
ذرائع:
- https://azure.microsoft.com/overview/what-is-cloud-computing?ocid=AID3041109
- https://docs.microsoft.com/azure/stream-analytics/stream-analytics-twitter-sentiment-analysis-trends?ocid=AID3041109
- https://soshnikov.com/science/analyzing-medical-papers-with-azure-and-text-analytics-for-health/
لیکچر کے بعد کا کوئز
اسائنمنٹ
ڈسکلیمر:
یہ دستاویز AI ترجمہ سروس Co-op Translator کا استعمال کرتے ہوئے ترجمہ کی گئی ہے۔ ہم درستگی کے لیے پوری کوشش کرتے ہیں، لیکن براہ کرم آگاہ رہیں کہ خودکار ترجمے میں غلطیاں یا خامیاں ہو سکتی ہیں۔ اصل دستاویز کو اس کی اصل زبان میں مستند ذریعہ سمجھا جانا چاہیے۔ اہم معلومات کے لیے، پیشہ ور انسانی ترجمہ کی سفارش کی جاتی ہے۔ اس ترجمے کے استعمال سے پیدا ہونے والی کسی بھی غلط فہمی یا غلط تشریح کے لیے ہم ذمہ دار نہیں ہیں۔