leestott
8029ff828a
|
2 weeks ago | |
|---|---|---|
| .. | ||
| README.md | 2 weeks ago | |
| assignment.md | 3 weeks ago | |
README.md
کلاؤڈ میں ڈیٹا سائنس کا تعارف
 |
|---|
| کلاؤڈ میں ڈیٹا سائنس: تعارف - @nitya کی اسکیچ نوٹ |
اس سبق میں، آپ کلاؤڈ کے بنیادی اصولوں کے بارے میں سیکھیں گے، پھر آپ دیکھیں گے کہ کلاؤڈ سروسز کو اپنے ڈیٹا سائنس پروجیکٹس چلانے کے لیے استعمال کرنا آپ کے لیے کیوں دلچسپ ہو سکتا ہے، اور ہم کلاؤڈ میں چلنے والے کچھ ڈیٹا سائنس پروجیکٹس کے مثالیں دیکھیں گے۔
لیکچر سے پہلے کا کوئز
کلاؤڈ کیا ہے؟
کلاؤڈ، یا کلاؤڈ کمپیوٹنگ، انٹرنیٹ پر موجود انفراسٹرکچر کے ذریعے مختلف قسم کی پے-ایز-یو-گو کمپیوٹنگ سروسز فراہم کرنے کا عمل ہے۔ ان سروسز میں اسٹوریج، ڈیٹا بیسز، نیٹ ورکنگ، سافٹ ویئر، اینالیٹکس، اور ذہین سروسز شامل ہیں۔
ہم عام طور پر پبلک، پرائیویٹ اور ہائبرڈ کلاؤڈز کو درج ذیل طریقے سے فرق کرتے ہیں:
- پبلک کلاؤڈ: پبلک کلاؤڈ کسی تیسرے فریق کلاؤڈ سروس فراہم کنندہ کی ملکیت اور آپریشن میں ہوتا ہے، جو اپنی کمپیوٹنگ وسائل انٹرنیٹ کے ذریعے عوام کو فراہم کرتا ہے۔
- پرائیویٹ کلاؤڈ: پرائیویٹ کلاؤڈ کمپیوٹنگ وسائل کو کسی ایک کاروبار یا تنظیم کے لیے مخصوص کرتا ہے، جس میں سروسز اور انفراسٹرکچر ایک پرائیویٹ نیٹ ورک پر برقرار رکھا جاتا ہے۔
- ہائبرڈ کلاؤڈ: ہائبرڈ کلاؤڈ ایک نظام ہے جو پبلک اور پرائیویٹ کلاؤڈز کو یکجا کرتا ہے۔ صارفین ایک آن-پریمیس ڈیٹا سینٹر کا انتخاب کرتے ہیں، جبکہ ڈیٹا اور ایپلیکیشنز کو ایک یا زیادہ پبلک کلاؤڈز پر چلانے کی اجازت دیتے ہیں۔
زیادہ تر کلاؤڈ کمپیوٹنگ سروسز تین اقسام میں آتی ہیں: انفراسٹرکچر ایز اے سروس (IaaS)، پلیٹ فارم ایز اے سروس (PaaS)، اور سافٹ ویئر ایز اے سروس (SaaS)۔
- انفراسٹرکچر ایز اے سروس (IaaS): صارفین آئی ٹی انفراسٹرکچر جیسے سرورز، ورچوئل مشینز (VMs)، اسٹوریج، نیٹ ورکس، آپریٹنگ سسٹمز کرائے پر لیتے ہیں۔
- پلیٹ فارم ایز اے سروس (PaaS): صارفین سافٹ ویئر ایپلیکیشنز کو ڈیولپ، ٹیسٹ، ڈیلیور اور مینیج کرنے کے لیے ایک ماحول کرائے پر لیتے ہیں۔ صارفین کو سرورز، اسٹوریج، نیٹ ورک، اور ڈیٹا بیسز کی بنیادی انفراسٹرکچر کو سیٹ اپ یا مینیج کرنے کی فکر نہیں ہوتی۔
- سافٹ ویئر ایز اے سروس (SaaS): صارفین انٹرنیٹ کے ذریعے سافٹ ویئر ایپلیکیشنز تک رسائی حاصل کرتے ہیں، عام طور پر سبسکرپشن کی بنیاد پر۔ صارفین کو سافٹ ویئر ایپلیکیشن کی ہوسٹنگ، مینیجمنٹ، یا مینٹیننس جیسے سافٹ ویئر اپگریڈز اور سیکیورٹی پیچنگ کی فکر نہیں ہوتی۔
کلاؤڈ کے بڑے فراہم کنندگان میں ایمیزون ویب سروسز، گوگل کلاؤڈ پلیٹ فارم، اور مائیکروسافٹ ایزور شامل ہیں۔
ڈیٹا سائنس کے لیے کلاؤڈ کیوں منتخب کریں؟
ڈیولپرز اور آئی ٹی پروفیشنلز کئی وجوہات کی بنا پر کلاؤڈ کے ساتھ کام کرنے کا انتخاب کرتے ہیں، جن میں شامل ہیں:
- جدت: آپ اپنی ایپلیکیشنز کو کلاؤڈ فراہم کنندگان کی جانب سے تخلیق کردہ جدید سروسز کو براہ راست اپنے ایپس میں شامل کرکے طاقتور بنا سکتے ہیں۔
- لچک: آپ صرف وہی سروسز استعمال کرتے ہیں جن کی آپ کو ضرورت ہوتی ہے اور مختلف سروسز میں سے انتخاب کر سکتے ہیں۔ آپ عام طور پر پے-ایز-یو-گو کی بنیاد پر ادائیگی کرتے ہیں اور اپنی ضروریات کے مطابق سروسز کو ایڈجسٹ کرتے ہیں۔
- بجٹ: آپ کو ہارڈویئر اور سافٹ ویئر خریدنے، آن-سائٹ ڈیٹا سینٹرز سیٹ اپ کرنے اور چلانے کے لیے ابتدائی سرمایہ کاری کرنے کی ضرورت نہیں ہوتی، اور آپ صرف وہی ادائیگی کرتے ہیں جو آپ استعمال کرتے ہیں۔
- اسکیل ایبلٹی: آپ کے وسائل پروجیکٹ کی ضروریات کے مطابق بڑھ یا کم سکتے ہیں، جس کا مطلب ہے کہ آپ کی ایپس کسی بھی وقت بیرونی عوامل کے مطابق زیادہ یا کم کمپیوٹنگ پاور، اسٹوریج اور بینڈوڈتھ استعمال کر سکتی ہیں۔
- پیداواریت: آپ اپنے کاروبار پر توجہ مرکوز کر سکتے ہیں بجائے اس کے کہ وقت ان کاموں پر ضائع کریں جو کوئی اور مینیج کر سکتا ہے، جیسے ڈیٹا سینٹرز کا انتظام۔
- قابل اعتماد: کلاؤڈ کمپیوٹنگ آپ کے ڈیٹا کو مسلسل بیک اپ کرنے کے کئی طریقے فراہم کرتا ہے، اور آپ ڈیزاسٹر ریکوری پلانز سیٹ اپ کر سکتے ہیں تاکہ بحران کے وقت بھی آپ کا کاروبار اور سروسز جاری رہ سکیں۔
- سیکیورٹی: آپ ایسی پالیسیوں، ٹیکنالوجیز اور کنٹرولز سے فائدہ اٹھا سکتے ہیں جو آپ کے پروجیکٹ کی سیکیورٹی کو مضبوط بناتے ہیں۔
یہ کچھ عام وجوہات ہیں جن کی بنا پر لوگ کلاؤڈ سروسز استعمال کرنے کا انتخاب کرتے ہیں۔ اب جب کہ ہم کلاؤڈ کے بارے میں اور اس کے اہم فوائد کو بہتر طور پر سمجھ چکے ہیں، آئیے ڈیٹا سائنسدانوں اور ڈیٹا کے ساتھ کام کرنے والے ڈیولپرز کے کاموں پر خاص طور پر نظر ڈالیں، اور کلاؤڈ ان کے سامنے آنے والے کئی چیلنجز میں کس طرح مدد کر سکتا ہے:
- بڑے ڈیٹا کو ذخیرہ کرنا: بڑے سرورز خریدنے، مینیج کرنے اور محفوظ رکھنے کے بجائے، آپ اپنا ڈیٹا براہ راست کلاؤڈ میں ذخیرہ کر سکتے ہیں، جیسے ایزور کاسماس ڈی بی، ایزور ایس کیو ایل ڈیٹا بیس اور ایزور ڈیٹا لیک اسٹوریج۔
- ڈیٹا انٹیگریشن انجام دینا: ڈیٹا انٹیگریشن ڈیٹا سائنس کا ایک لازمی حصہ ہے، جو آپ کو ڈیٹا جمع کرنے سے لے کر عمل کرنے تک منتقلی کرنے دیتا ہے۔ کلاؤڈ میں پیش کردہ ڈیٹا انٹیگریشن سروسز کے ساتھ، آپ مختلف ذرائع سے ڈیٹا جمع، تبدیل اور ایک ڈیٹا ویئرہاؤس میں ضم کر سکتے ہیں، جیسے ڈیٹا فیکٹری۔
- ڈیٹا پروسیسنگ: بڑے پیمانے پر ڈیٹا پروسیسنگ کے لیے بہت زیادہ کمپیوٹنگ پاور کی ضرورت ہوتی ہے، اور ہر کسی کے پاس اتنی طاقتور مشینیں دستیاب نہیں ہوتیں، یہی وجہ ہے کہ بہت سے لوگ اپنی حل کو چلانے اور تعینات کرنے کے لیے براہ راست کلاؤڈ کی بڑی کمپیوٹنگ پاور کا استعمال کرتے ہیں۔
- ڈیٹا اینالیٹکس سروسز کا استعمال: کلاؤڈ سروسز جیسے ایزور سیناپس اینالیٹکس، ایزور اسٹریم اینالیٹکس اور ایزور ڈیٹا برکس آپ کو اپنے ڈیٹا کو قابل عمل بصیرت میں تبدیل کرنے میں مدد دیتے ہیں۔
- مشین لرننگ اور ڈیٹا انٹیلیجنس سروسز کا استعمال: شروع سے آغاز کرنے کے بجائے، آپ کلاؤڈ فراہم کنندہ کی جانب سے پیش کردہ مشین لرننگ الگورتھمز استعمال کر سکتے ہیں، جیسے ایزور ایم ایل۔ آپ کوگنیٹو سروسز بھی استعمال کر سکتے ہیں، جیسے اسپیک ٹو ٹیکسٹ، ٹیکسٹ ٹو اسپیک، کمپیوٹر وژن اور مزید۔
کلاؤڈ میں ڈیٹا سائنس کی مثالیں
آئیے اسے مزید واضح کرنے کے لیے کچھ منظرنامے دیکھتے ہیں۔
ریئل ٹائم سوشل میڈیا سینٹیمنٹ اینالیسیس
ہم ایک ایسے منظرنامے سے شروع کریں گے جو مشین لرننگ کے ساتھ شروع کرنے والے لوگوں کے لیے عام طور پر مطالعہ کیا جاتا ہے: ریئل ٹائم سوشل میڈیا سینٹیمنٹ اینالیسیس۔
فرض کریں کہ آپ ایک نیوز میڈیا ویب سائٹ چلاتے ہیں اور آپ لائیو ڈیٹا کا استعمال کرکے یہ سمجھنا چاہتے ہیں کہ آپ کے قارئین کس مواد میں دلچسپی لے سکتے ہیں۔ اس کے بارے میں مزید جاننے کے لیے، آپ ایک پروگرام بنا سکتے ہیں جو ٹویٹر پر شائع ہونے والے ڈیٹا کا ریئل ٹائم سینٹیمنٹ اینالیسیس انجام دیتا ہے، ان موضوعات پر جو آپ کے قارئین کے لیے اہم ہیں۔
آپ جن اہم اشاریوں کو دیکھیں گے وہ مخصوص موضوعات (ہیش ٹیگز) پر ٹویٹس کی تعداد اور سینٹیمنٹ ہیں، جو اینالیٹکس ٹولز کے ذریعے قائم کیا جاتا ہے جو مخصوص موضوعات کے ارد گرد سینٹیمنٹ اینالیسیس انجام دیتے ہیں۔
اس پروجیکٹ کو بنانے کے لیے ضروری اقدامات درج ذیل ہیں:
- ان پٹ اسٹریم کے لیے ایک ایونٹ ہب بنائیں، جو ٹویٹر سے ڈیٹا جمع کرے گا۔
- ایک ٹویٹر کلائنٹ ایپلیکیشن کو کنفیگر اور شروع کریں، جو ٹویٹر اسٹریمنگ APIs کو کال کرے گا۔
- ایک اسٹریم اینالیٹکس جاب بنائیں۔
- جاب ان پٹ اور کوئری کی وضاحت کریں۔
- ایک آؤٹ پٹ سنک بنائیں اور جاب آؤٹ پٹ کی وضاحت کریں۔
- جاب شروع کریں۔
پورے عمل کو دیکھنے کے لیے، دستاویزات دیکھیں۔
سائنسی مقالوں کا تجزیہ
آئیے ایک اور پروجیکٹ کی مثال دیکھتے ہیں جو دیمتری سوشنیکوف، اس نصاب کے ایک مصنف، نے بنایا ہے۔
دیمتری نے ایک ٹول بنایا جو COVID مقالوں کا تجزیہ کرتا ہے۔ اس پروجیکٹ کا جائزہ لے کر، آپ دیکھیں گے کہ آپ ایک ایسا ٹول کیسے بنا سکتے ہیں جو سائنسی مقالوں سے علم نکالتا ہے، بصیرت حاصل کرتا ہے اور محققین کو مقالوں کے بڑے مجموعوں میں مؤثر طریقے سے نیویگیٹ کرنے میں مدد دیتا ہے۔
آئیے ان مختلف مراحل کو دیکھتے ہیں جو اس کے لیے استعمال کیے گئے ہیں:
- ٹیکسٹ اینالیٹکس فار ہیلتھ کے ساتھ معلومات نکالنا اور پری پروسیسنگ کرنا۔
- ایزور ایم ایل کا استعمال کرکے پروسیسنگ کو پیراللائز کرنا۔
- کاسماس ڈی بی کے ساتھ معلومات کو ذخیرہ کرنا اور کوئری کرنا۔
- پاور بی آئی کا استعمال کرکے ڈیٹا ایکسپلوریشن اور ویژولائزیشن کے لیے ایک انٹرایکٹو ڈیش بورڈ بنانا۔
پورے عمل کو دیکھنے کے لیے، دیمتری کا بلاگ دیکھیں۔
جیسا کہ آپ دیکھ سکتے ہیں، ہم کلاؤڈ سروسز کو کئی طریقوں سے ڈیٹا سائنس انجام دینے کے لیے استعمال کر سکتے ہیں۔
فٹ نوٹ
ذرائع:
- https://azure.microsoft.com/overview/what-is-cloud-computing?ocid=AID3041109
- https://docs.microsoft.com/azure/stream-analytics/stream-analytics-twitter-sentiment-analysis-trends?ocid=AID3041109
- https://soshnikov.com/science/analyzing-medical-papers-with-azure-and-text-analytics-for-health/
لیکچر کے بعد کا کوئز
لیکچر کے بعد کا کوئز
اسائنمنٹ
ڈسکلیمر:
یہ دستاویز AI ترجمہ سروس Co-op Translator کا استعمال کرتے ہوئے ترجمہ کی گئی ہے۔ ہم درستگی کے لیے کوشش کرتے ہیں، لیکن براہ کرم آگاہ رہیں کہ خودکار ترجمے میں غلطیاں یا غیر درستیاں ہو سکتی ہیں۔ اصل دستاویز کو اس کی اصل زبان میں مستند ذریعہ سمجھا جانا چاہیے۔ اہم معلومات کے لیے، پیشہ ور انسانی ترجمہ کی سفارش کی جاتی ہے۔ ہم اس ترجمے کے استعمال سے پیدا ہونے والی کسی بھی غلط فہمی یا غلط تشریح کے ذمہ دار نہیں ہیں۔