20 KiB
مشین لرننگ کی تکنیکیں
مشین لرننگ ماڈلز بنانے، استعمال کرنے، اور ان کے ڈیٹا کو برقرار رکھنے کا عمل دیگر ترقیاتی ورک فلو سے بہت مختلف ہے۔ اس سبق میں، ہم اس عمل کو واضح کریں گے اور ان اہم تکنیکوں کا خاکہ پیش کریں گے جو آپ کو جاننی چاہئیں۔ آپ:
- مشین لرننگ کے بنیادی عمل کو اعلیٰ سطح پر سمجھیں گے۔
- بنیادی تصورات جیسے 'ماڈلز'، 'پیش گوئیاں'، اور 'ٹریننگ ڈیٹا' کو دریافت کریں گے۔
لیکچر سے پہلے کا کوئز
🎥 اوپر دی گئی تصویر پر کلک کریں تاکہ اس سبق پر ایک مختصر ویڈیو دیکھی جا سکے۔
تعارف
اعلیٰ سطح پر، مشین لرننگ (ML) کے عمل کو تخلیق کرنے کا فن کئی مراحل پر مشتمل ہوتا ہے:
- سوال کا انتخاب کریں۔ زیادہ تر ML عمل ایک ایسے سوال سے شروع ہوتے ہیں جس کا جواب کسی سادہ کنڈیشنل پروگرام یا قواعد پر مبنی انجن سے نہیں دیا جا سکتا۔ یہ سوالات اکثر ڈیٹا کے مجموعے کی بنیاد پر پیش گوئیوں کے گرد گھومتے ہیں۔
- ڈیٹا جمع کریں اور تیار کریں۔ اپنے سوال کا جواب دینے کے لیے، آپ کو ڈیٹا کی ضرورت ہوگی۔ آپ کے ڈیٹا کا معیار اور بعض اوقات مقدار یہ طے کرے گی کہ آپ اپنے سوال کا کتنا اچھا جواب دے سکتے ہیں۔ ڈیٹا کو بصری طور پر دیکھنا اس مرحلے کا ایک اہم پہلو ہے۔ اس مرحلے میں ڈیٹا کو ٹریننگ اور ٹیسٹنگ گروپ میں تقسیم کرنا بھی شامل ہے تاکہ ماڈل بنایا جا سکے۔
- ٹریننگ کا طریقہ منتخب کریں۔ آپ کے سوال اور ڈیٹا کی نوعیت پر منحصر ہے، آپ کو یہ منتخب کرنا ہوگا کہ آپ ماڈل کو کس طرح تربیت دینا چاہتے ہیں تاکہ یہ آپ کے ڈیٹا کی بہترین عکاسی کرے اور اس کے خلاف درست پیش گوئیاں کرے۔
- ماڈل کو تربیت دیں۔ اپنے ٹریننگ ڈیٹا کا استعمال کرتے ہوئے، آپ مختلف الگورتھمز کا استعمال کریں گے تاکہ ماڈل کو ڈیٹا میں پیٹرنز کو پہچاننے کی تربیت دی جا سکے۔
- ماڈل کا جائزہ لیں۔ آپ اپنے جمع کردہ سیٹ سے پہلے کبھی نہ دیکھے گئے ڈیٹا (اپنے ٹیسٹنگ ڈیٹا) کا استعمال کریں گے تاکہ یہ دیکھا جا سکے کہ ماڈل کی کارکردگی کیسی ہے۔
- پیرامیٹر کی ترتیب۔ اپنے ماڈل کی کارکردگی کی بنیاد پر، آپ مختلف پیرامیٹرز یا متغیرات کا استعمال کرتے ہوئے عمل کو دوبارہ کر سکتے ہیں جو ماڈل کو تربیت دینے کے لیے استعمال ہونے والے الگورتھمز کے رویے کو کنٹرول کرتے ہیں۔
- پیش گوئی کریں۔ نئے ان پٹس کا استعمال کریں تاکہ اپنے ماڈل کی درستگی کو جانچ سکیں۔
کون سا سوال پوچھنا ہے
کمپیوٹرز ڈیٹا میں چھپے ہوئے پیٹرنز کو دریافت کرنے میں خاص طور پر ماہر ہیں۔ یہ صلاحیت ان محققین کے لیے بہت مددگار ہے جن کے پاس کسی خاص شعبے کے بارے میں ایسے سوالات ہیں جن کا جواب آسانی سے کنڈیشنل قواعد کے انجن بنا کر نہیں دیا جا سکتا۔ مثال کے طور پر، ایک ایکچوریل کام کے لیے، ایک ڈیٹا سائنسدان سگریٹ نوشی کرنے والوں اور نہ کرنے والوں کی اموات کے بارے میں ہاتھ سے بنائے گئے قواعد بنا سکتا ہے۔
تاہم، جب بہت سے دوسرے متغیرات کو مساوات میں شامل کیا جاتا ہے، تو ایک ML ماڈل ماضی کی صحت کی تاریخ کی بنیاد پر مستقبل کی اموات کی شرح کی پیش گوئی کرنے میں زیادہ مؤثر ثابت ہو سکتا ہے۔ ایک زیادہ خوشگوار مثال اپریل کے مہینے میں کسی خاص مقام کے لیے موسم کی پیش گوئی کرنا ہو سکتی ہے، جو ڈیٹا جیسے عرض البلد، طول البلد، موسمیاتی تبدیلی، سمندر کے قریب ہونے، جیٹ اسٹریم کے پیٹرنز، اور مزید پر مبنی ہو۔
✅ یہ سلائیڈ ڈیک موسم کے ماڈلز میں مشین لرننگ کے استعمال کے لیے ایک تاریخی نقطہ نظر پیش کرتا ہے۔
ماڈل بنانے سے پہلے کے کام
ماڈل بنانا شروع کرنے سے پہلے، آپ کو کئی کام مکمل کرنے کی ضرورت ہے۔ اپنے سوال کو جانچنے اور ماڈل کی پیش گوئیوں کی بنیاد پر ایک مفروضہ بنانے کے لیے، آپ کو کئی عناصر کی شناخت اور ترتیب دینے کی ضرورت ہے۔
ڈیٹا
اپنے سوال کا کسی بھی قسم کی یقین دہانی کے ساتھ جواب دینے کے لیے، آپ کو صحیح قسم کے مناسب مقدار میں ڈیٹا کی ضرورت ہوگی۔ اس وقت آپ کو دو کام کرنے کی ضرورت ہے:
- ڈیٹا جمع کریں۔ ڈیٹا تجزیہ میں انصاف پسندی کے پچھلے سبق کو ذہن میں رکھتے ہوئے، اپنے ڈیٹا کو احتیاط سے جمع کریں۔ اس ڈیٹا کے ذرائع، اس میں موجود کسی بھی اندرونی تعصب سے آگاہ رہیں، اور اس کی اصل کو دستاویزی شکل دیں۔
- ڈیٹا تیار کریں۔ ڈیٹا کی تیاری کے عمل میں کئی مراحل شامل ہیں۔ اگر ڈیٹا مختلف ذرائع سے آ رہا ہو تو آپ کو اسے اکٹھا کرنا اور معمول پر لانا پڑ سکتا ہے۔ آپ مختلف طریقوں سے ڈیٹا کے معیار اور مقدار کو بہتر بنا سکتے ہیں، جیسے کہ سٹرنگز کو نمبروں میں تبدیل کرنا (جیسا کہ ہم کلسٹرنگ میں کرتے ہیں)۔ آپ اصل ڈیٹا کی بنیاد پر نیا ڈیٹا بھی تیار کر سکتے ہیں (جیسا کہ ہم کلاسیفکیشن میں کرتے ہیں)۔ آپ ڈیٹا کو صاف اور ایڈٹ کر سکتے ہیں (جیسا کہ ہم ویب ایپ سبق سے پہلے کریں گے)۔ آخر میں، آپ کو اسے بے ترتیب اور شفل کرنے کی بھی ضرورت ہو سکتی ہے، جو آپ کی تربیتی تکنیکوں پر منحصر ہے۔
✅ ڈیٹا جمع کرنے اور اس پر عمل کرنے کے بعد، ایک لمحہ نکالیں تاکہ یہ دیکھ سکیں کہ آیا اس کی شکل آپ کے مطلوبہ سوال کو حل کرنے کی اجازت دے گی۔ ہو سکتا ہے کہ ڈیٹا آپ کے دیے گئے کام میں اچھی کارکردگی نہ دکھائے، جیسا کہ ہم اپنے کلسٹرنگ اسباق میں دریافت کرتے ہیں!
فیچرز اور ہدف
ایک فیچر آپ کے ڈیٹا کی ایک قابل پیمائش خاصیت ہے۔ بہت سے ڈیٹاسیٹس میں یہ ایک کالم ہیڈنگ کے طور پر ظاہر ہوتا ہے جیسے 'تاریخ'، 'سائز' یا 'رنگ'۔ آپ کا فیچر ویری ایبل، جو عام طور پر کوڈ میں X کے طور پر ظاہر ہوتا ہے، ان پٹ ویری ایبل کی نمائندگی کرتا ہے جسے ماڈل کو تربیت دینے کے لیے استعمال کیا جائے گا۔
ایک ہدف وہ چیز ہے جس کی آپ پیش گوئی کرنے کی کوشش کر رہے ہیں۔ ہدف، جو عام طور پر کوڈ میں y کے طور پر ظاہر ہوتا ہے، اس سوال کے جواب کی نمائندگی کرتا ہے جو آپ اپنے ڈیٹا سے پوچھنے کی کوشش کر رہے ہیں: دسمبر میں کون سے رنگ کے کدو سب سے سستے ہوں گے؟ سان فرانسسکو میں کون سے محلوں میں بہترین جائیداد کی قیمت ہوگی؟ کبھی کبھی ہدف کو لیبل ایٹریبیوٹ بھی کہا جاتا ہے۔
اپنے فیچر ویری ایبل کا انتخاب کریں
🎓 فیچر سلیکشن اور فیچر ایکسٹریکشن آپ کو کیسے پتہ چلے گا کہ ماڈل بناتے وقت کون سا ویری ایبل منتخب کرنا ہے؟ آپ شاید فیچر سلیکشن یا فیچر ایکسٹریکشن کے عمل سے گزریں گے تاکہ بہترین کارکردگی والے ماڈل کے لیے صحیح ویری ایبلز کا انتخاب کیا جا سکے۔ تاہم، یہ دونوں ایک جیسے نہیں ہیں: "فیچر ایکسٹریکشن اصل فیچرز کے فنکشنز سے نئے فیچرز بناتا ہے، جبکہ فیچر سلیکشن فیچرز کے ایک سب سیٹ کو واپس کرتا ہے۔" (ماخذ)
اپنے ڈیٹا کو بصری بنائیں
ڈیٹا سائنسدان کے ٹول کٹ کا ایک اہم پہلو ڈیٹا کو بصری طور پر ظاہر کرنے کی طاقت ہے، جو کئی بہترین لائبریریوں جیسے سی بورن یا میٹپلاٹ لِب کے ذریعے ممکن ہے۔ اپنے ڈیٹا کو بصری طور پر ظاہر کرنا آپ کو چھپے ہوئے تعلقات کو دریافت کرنے کی اجازت دے سکتا ہے جن سے آپ فائدہ اٹھا سکتے ہیں۔ آپ کے بصری نمائندے آپ کو تعصب یا غیر متوازن ڈیٹا کو بھی ظاہر کرنے میں مدد دے سکتے ہیں (جیسا کہ ہم کلاسیفکیشن میں دریافت کرتے ہیں)۔
اپنے ڈیٹاسیٹ کو تقسیم کریں
ٹریننگ سے پہلے، آپ کو اپنے ڈیٹاسیٹ کو دو یا اس سے زیادہ غیر مساوی حصوں میں تقسیم کرنے کی ضرورت ہے جو اب بھی ڈیٹا کی اچھی نمائندگی کرتے ہیں۔
- ٹریننگ۔ ڈیٹاسیٹ کا یہ حصہ آپ کے ماڈل کو تربیت دینے کے لیے استعمال کیا جاتا ہے۔ یہ سیٹ اصل ڈیٹاسیٹ کا زیادہ تر حصہ ہوتا ہے۔
- ٹیسٹنگ۔ ایک ٹیسٹ ڈیٹاسیٹ ایک آزاد ڈیٹا گروپ ہے، جو اکثر اصل ڈیٹا سے اکٹھا کیا جاتا ہے، جسے آپ بنائے گئے ماڈل کی کارکردگی کی تصدیق کے لیے استعمال کرتے ہیں۔
- ویلیڈیٹنگ۔ ایک ویلیڈیشن سیٹ ایک چھوٹا آزاد گروپ ہے جسے آپ ماڈل کے ہائپرپیرامیٹرز یا آرکیٹیکچر کو بہتر بنانے کے لیے استعمال کرتے ہیں۔ آپ کے ڈیٹا کے سائز اور آپ کے سوال پر منحصر ہے، آپ کو یہ تیسرا سیٹ بنانے کی ضرورت نہیں ہو سکتی (جیسا کہ ہم ٹائم سیریز فورکاسٹنگ میں نوٹ کرتے ہیں)۔
ماڈل بنانا
اپنے ٹریننگ ڈیٹا کا استعمال کرتے ہوئے، آپ کا مقصد ایک ماڈل بنانا ہے، یا اپنے ڈیٹا کی ایک شماریاتی نمائندگی، جو مختلف الگورتھمز کا استعمال کرتے ہوئے اسے ٹرین کرے۔ ماڈل کو تربیت دینا اسے ڈیٹا کے سامنے ظاہر کرتا ہے اور اسے دریافت کیے گئے پیٹرنز کے بارے میں مفروضے بنانے، ان کی تصدیق کرنے، اور قبول یا مسترد کرنے کی اجازت دیتا ہے۔
ٹریننگ کا طریقہ منتخب کریں
آپ کے سوال اور آپ کے ڈیٹا کی نوعیت پر منحصر ہے، آپ اسے تربیت دینے کے لیے ایک طریقہ منتخب کریں گے۔ سائکیٹ لرن کی دستاویزات کے ذریعے قدم بہ قدم چلتے ہوئے - جسے ہم اس کورس میں استعمال کرتے ہیں - آپ ماڈل کو تربیت دینے کے کئی طریقے دریافت کر سکتے ہیں۔ آپ کے تجربے پر منحصر ہے، آپ کو بہترین ماڈل بنانے کے لیے کئی مختلف طریقے آزمانے پڑ سکتے ہیں۔ آپ ممکنہ طور پر ایک ایسے عمل سے گزریں گے جس میں ڈیٹا سائنسدان ماڈل کی کارکردگی کا جائزہ لیتے ہیں، اسے غیر دیکھے گئے ڈیٹا کے ساتھ کھلاتے ہیں، درستگی، تعصب، اور دیگر معیار کو کم کرنے والے مسائل کی جانچ کرتے ہیں، اور دیے گئے کام کے لیے سب سے مناسب تربیتی طریقہ منتخب کرتے ہیں۔
ماڈل کو تربیت دیں
اپنے ٹریننگ ڈیٹا سے لیس ہو کر، آپ 'فٹ' کرنے کے لیے تیار ہیں تاکہ ایک ماڈل بنایا جا سکے۔ آپ دیکھیں گے کہ بہت سی ML لائبریریوں میں آپ کو 'model.fit' کوڈ ملے گا - یہ وہ وقت ہے جب آپ اپنے فیچر ویری ایبل کو ایک ویلیوز کے ارے کے طور پر بھیجتے ہیں (عام طور پر 'X') اور ایک ہدف ویری ایبل (عام طور پر 'y')۔
ماڈل کا جائزہ لیں
ایک بار جب تربیتی عمل مکمل ہو جاتا ہے (ایک بڑے ماڈل کو تربیت دینے کے لیے کئی تکرار، یا 'ایپکس' لگ سکتے ہیں)، آپ ماڈل کے معیار کا جائزہ لینے کے قابل ہو جائیں گے، ٹیسٹ ڈیٹا کا استعمال کرتے ہوئے اس کی کارکردگی کا اندازہ لگائیں گے۔ یہ ڈیٹا اصل ڈیٹا کا ایک سب سیٹ ہے جس کا ماڈل نے پہلے تجزیہ نہیں کیا ہے۔ آپ اپنے ماڈل کے معیار کے بارے میں میٹرکس کی ایک ٹیبل پرنٹ کر سکتے ہیں۔
🎓 ماڈل فٹنگ
مشین لرننگ کے سیاق و سباق میں، ماڈل فٹنگ اس فنکشن کی درستگی کو ظاہر کرتا ہے جو ماڈل کے بنیادی ڈیٹا کا تجزیہ کرنے کی کوشش کرتا ہے جس سے وہ واقف نہیں ہے۔
🎓 انڈر فٹنگ اور اوور فٹنگ عام مسائل ہیں جو ماڈل کے معیار کو کم کرتے ہیں، کیونکہ ماڈل یا تو کافی اچھا فٹ نہیں ہوتا یا بہت زیادہ فٹ ہو جاتا ہے۔ اس کی وجہ سے ماڈل یا تو اپنے تربیتی ڈیٹا کے ساتھ بہت زیادہ یا بہت کم ہم آہنگ پیش گوئیاں کرتا ہے۔ ایک اوور فٹ ماڈل تربیتی ڈیٹا کو بہت اچھی طرح سے پیش گوئی کرتا ہے کیونکہ اس نے ڈیٹا کی تفصیلات اور شور کو بہت اچھی طرح سے سیکھ لیا ہے۔ ایک انڈر فٹ ماڈل درست نہیں ہے کیونکہ یہ نہ تو اپنے تربیتی ڈیٹا کا صحیح تجزیہ کر سکتا ہے اور نہ ہی اس ڈیٹا کا جسے اس نے ابھی تک 'دیکھا' نہیں ہے۔
جن لوپر کے ذریعہ انفوگرافک
پیرامیٹر کی ترتیب
ایک بار جب آپ کی ابتدائی تربیت مکمل ہو جائے، ماڈل کے معیار کا مشاہدہ کریں اور اس کے 'ہائپرپیرامیٹرز' کو ایڈجسٹ کرکے اسے بہتر بنانے پر غور کریں۔ اس عمل کے بارے میں مزید پڑھیں دستاویزات میں۔
پیش گوئی
یہ وہ لمحہ ہے جب آپ بالکل نئے ڈیٹا کا استعمال کرتے ہوئے اپنے ماڈل کی درستگی کو جانچ سکتے ہیں۔ ایک 'ایپلائیڈ' ML سیٹنگ میں، جہاں آپ پروڈکشن میں ماڈل استعمال کرنے کے لیے ویب اثاثے بنا رہے ہیں، یہ عمل صارف کے ان پٹ (مثال کے طور پر ایک بٹن دبانے) کو متغیر کے طور پر ترتیب دینے اور ماڈل کو استدلال یا تشخیص کے لیے بھیجنے پر مشتمل ہو سکتا ہے۔
ان اسباق میں، آپ یہ سیکھیں گے کہ ان مراحل کو کیسے تیار کرنا، بنانا، جانچنا، جائزہ لینا، اور پیش گوئی کرنا ہے - ایک ڈیٹا سائنسدان کے تمام اشارے اور مزید، جیسے جیسے آپ 'فل اسٹیک' ML انجینئر بننے کے سفر میں آگے بڑھتے ہیں۔
🚀چیلنج
ایک فلو چارٹ بنائیں جو ایک ML پریکٹیشنر کے مراحل کی عکاسی کرے۔ آپ اس عمل میں ابھی کہاں ہیں؟ آپ کو کہاں مشکل پیش آنے کی توقع ہے؟ آپ کو کیا آسان لگتا ہے؟
لیکچر کے بعد کا کوئز
جائزہ اور خود مطالعہ
آن لائن تلاش کریں کہ ڈیٹا سائنسدانوں کے انٹرویوز جو اپنے روزمرہ کے کام پر بات کرتے ہیں۔ یہاں ایک لنک ہے۔
اسائنمنٹ
ایک ڈیٹا سائنسدان کا انٹرویو کریں
ڈسکلیمر:
یہ دستاویز AI ترجمہ سروس Co-op Translator کا استعمال کرتے ہوئے ترجمہ کی گئی ہے۔ ہم درستگی کے لیے کوشش کرتے ہیں، لیکن براہ کرم آگاہ رہیں کہ خودکار ترجمے میں غلطیاں یا عدم درستگی ہو سکتی ہیں۔ اصل دستاویز کو اس کی اصل زبان میں مستند ذریعہ سمجھا جانا چاہیے۔ اہم معلومات کے لیے، پیشہ ور انسانی ترجمہ کی سفارش کی جاتی ہے۔ اس ترجمے کے استعمال سے پیدا ہونے والی کسی بھی غلط فہمی یا غلط تشریح کے لیے ہم ذمہ دار نہیں ہیں۔