31 KiB
পোস্টস্ক্রিপ্ট: বাস্তব জীবনে মেশিন লার্নিং
স্কেচনোট: Tomomi Imura
এই পাঠক্রমে, আপনি ডেটা প্রশিক্ষণের জন্য প্রস্তুত করার এবং মেশিন লার্নিং মডেল তৈরি করার বিভিন্ন পদ্ধতি শিখেছেন। আপনি একাধিক ক্লাসিক রিগ্রেশন, ক্লাস্টারিং, ক্লাসিফিকেশন, ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং এবং টাইম সিরিজ মডেল তৈরি করেছেন। অভিনন্দন! এখন, আপনি হয়তো ভাবছেন, এই সবকিছুর উদ্দেশ্য কী... এই মডেলগুলোর বাস্তব জীবনে কী ব্যবহার রয়েছে?
যদিও শিল্পক্ষেত্রে AI, যা সাধারণত ডিপ লার্নিং ব্যবহার করে, অনেক আগ্রহ অর্জন করেছে, তবুও ক্লাসিক্যাল মেশিন লার্নিং মডেলগুলোর মূল্যবান প্রয়োগ রয়েছে। আপনি হয়তো ইতিমধ্যেই এই প্রয়োগগুলোর কিছু ব্যবহার করছেন! এই পাঠে, আপনি দেখবেন কীভাবে আটটি ভিন্ন শিল্প এবং বিষয়-সম্পর্কিত ক্ষেত্র এই ধরনের মডেল ব্যবহার করে তাদের অ্যাপ্লিকেশনগুলোকে আরও কার্যকর, নির্ভরযোগ্য, বুদ্ধিমান এবং ব্যবহারকারীদের জন্য মূল্যবান করে তুলছে।
পূর্ব-পাঠ কুইজ
💰 অর্থনীতি
অর্থনৈতিক ক্ষেত্রে মেশিন লার্নিং-এর অনেক সুযোগ রয়েছে। এই ক্ষেত্রের অনেক সমস্যাই মডেলিং এবং মেশিন লার্নিং ব্যবহার করে সমাধান করা যায়।
ক্রেডিট কার্ড জালিয়াতি সনাক্তকরণ
আমরা এই কোর্সে k-means ক্লাস্টারিং সম্পর্কে শিখেছি, কিন্তু এটি কীভাবে ক্রেডিট কার্ড জালিয়াতি সম্পর্কিত সমস্যাগুলো সমাধানে ব্যবহার করা যায়?
k-means ক্লাস্টারিং ক্রেডিট কার্ড জালিয়াতি সনাক্তকরণে আউটলিয়ার ডিটেকশন নামে একটি কৌশলে সহায়ক। আউটলিয়ার, বা ডেটার সেট সম্পর্কে পর্যবেক্ষণে বিচ্যুতি, আমাদের জানাতে পারে যে একটি ক্রেডিট কার্ড স্বাভাবিকভাবে ব্যবহার করা হচ্ছে কিনা বা কিছু অস্বাভাবিক ঘটছে কিনা। নিচের লিঙ্কে দেওয়া গবেষণাপত্রে দেখানো হয়েছে, আপনি k-means ক্লাস্টারিং অ্যালগরিদম ব্যবহার করে ক্রেডিট কার্ড ডেটা সাজাতে পারেন এবং প্রতিটি লেনদেনকে একটি ক্লাস্টারে বরাদ্দ করতে পারেন এটি কতটা আউটলিয়ার হিসেবে দেখা যাচ্ছে তার ভিত্তিতে। এরপর, আপনি ঝুঁকিপূর্ণ ক্লাস্টারগুলো মূল্যায়ন করতে পারেন জালিয়াতি বনাম বৈধ লেনদেনের জন্য। রেফারেন্স
সম্পদ ব্যবস্থাপনা
সম্পদ ব্যবস্থাপনায়, একজন ব্যক্তি বা প্রতিষ্ঠান তাদের ক্লায়েন্টদের পক্ষ থেকে বিনিয়োগ পরিচালনা করে। তাদের কাজ হলো দীর্ঘমেয়াদে সম্পদ টিকিয়ে রাখা এবং বৃদ্ধি করা, তাই এমন বিনিয়োগ বেছে নেওয়া গুরুত্বপূর্ণ যা ভালো পারফর্ম করে।
কোনো নির্দিষ্ট বিনিয়োগ কীভাবে পারফর্ম করে তা মূল্যায়নের একটি উপায় হলো পরিসংখ্যানগত রিগ্রেশন। লিনিয়ার রিগ্রেশন একটি মূল্যবান টুল যা একটি ফান্ড কীভাবে কোনো বেঞ্চমার্কের তুলনায় পারফর্ম করে তা বোঝার জন্য। আমরা আরও জানতে পারি যে রিগ্রেশনের ফলাফল পরিসংখ্যানগতভাবে গুরুত্বপূর্ণ কিনা, বা এটি ক্লায়েন্টের বিনিয়োগে কতটা প্রভাব ফেলবে। আপনি আরও বিশ্লেষণ প্রসারিত করতে পারেন মাল্টিপল রিগ্রেশন ব্যবহার করে, যেখানে অতিরিক্ত ঝুঁকির কারণগুলো বিবেচনায় নেওয়া যায়। একটি নির্দিষ্ট ফান্ডের জন্য এটি কীভাবে কাজ করবে তার উদাহরণ দেখতে নিচের গবেষণাপত্রটি দেখুন। রেফারেন্স
🎓 শিক্ষা
শিক্ষাক্ষেত্রও একটি খুব আকর্ষণীয় ক্ষেত্র যেখানে মেশিন লার্নিং প্রয়োগ করা যায়। এখানে চমৎকার সমস্যাগুলো সমাধান করা যায় যেমন পরীক্ষায় বা প্রবন্ধে প্রতারণা সনাক্ত করা বা সংশোধন প্রক্রিয়ায় ইচ্ছাকৃত বা অনিচ্ছাকৃত পক্ষপাতিত্ব পরিচালনা করা।
শিক্ষার্থীর আচরণ পূর্বাভাস
Coursera, একটি অনলাইন ওপেন কোর্স প্রদানকারী, তাদের টেক ব্লগে অনেক ইঞ্জিনিয়ারিং সিদ্ধান্ত নিয়ে আলোচনা করে। এই কেস স্টাডিতে, তারা একটি রিগ্রেশন লাইন প্লট করেছে যাতে একটি নিম্ন NPS (Net Promoter Score) রেটিং এবং কোর্স ধরে রাখা বা বাদ দেওয়ার মধ্যে কোনো সম্পর্ক আছে কিনা তা অন্বেষণ করা যায়। রেফারেন্স
পক্ষপাতিত্ব কমানো
Grammarly, একটি লেখার সহকারী যা বানান এবং ব্যাকরণ ত্রুটি পরীক্ষা করে, তাদের পণ্যগুলোর মধ্যে উন্নত ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং সিস্টেম ব্যবহার করে। তাদের টেক ব্লগে একটি আকর্ষণীয় কেস স্টাডি প্রকাশিত হয়েছে যেখানে তারা মেশিন লার্নিং-এ লিঙ্গ পক্ষপাতিত্ব মোকাবিলা করেছে, যা আপনি আমাদের প্রারম্ভিক ন্যায্যতা পাঠে শিখেছেন। রেফারেন্স
👜 খুচরা
খুচরা খাত অবশ্যই মেশিন লার্নিং-এর ব্যবহার থেকে উপকৃত হতে পারে, সবকিছু থেকে শুরু করে গ্রাহকের যাত্রা উন্নত করা থেকে শুরু করে ইনভেন্টরি অপ্টিমাইজ করার জন্য।
গ্রাহকের যাত্রা ব্যক্তিগতকরণ
Wayfair, একটি কোম্পানি যা আসবাবপত্রের মতো গৃহস্থালির সামগ্রী বিক্রি করে, গ্রাহকদের তাদের রুচি এবং প্রয়োজনের জন্য সঠিক পণ্য খুঁজে পেতে সাহায্য করা অত্যন্ত গুরুত্বপূর্ণ। এই নিবন্ধে, কোম্পানির ইঞ্জিনিয়াররা বর্ণনা করেছেন কীভাবে তারা ML এবং NLP ব্যবহার করে "গ্রাহকদের জন্য সঠিক ফলাফল তুলে ধরেন"। বিশেষভাবে, তাদের Query Intent Engine তৈরি করা হয়েছে সত্তা নিষ্কাশন, ক্লাসিফায়ার প্রশিক্ষণ, সম্পদ এবং মতামত নিষ্কাশন, এবং গ্রাহক পর্যালোচনায় অনুভূতি ট্যাগিং ব্যবহার করে। এটি অনলাইন খুচরা বিক্রিতে NLP কীভাবে কাজ করে তার একটি ক্লাসিক ব্যবহার। রেফারেন্স
ইনভেন্টরি ব্যবস্থাপনা
StitchFix, একটি বক্স সার্ভিস যা ভোক্তাদের কাছে পোশাক পাঠায়, সুপারিশ এবং ইনভেন্টরি ব্যবস্থাপনার জন্য ব্যাপকভাবে ML-এর উপর নির্ভর করে। তাদের স্টাইলিং টিম এবং মার্চেন্ডাইজিং টিম একসঙ্গে কাজ করে, আসলে: "আমাদের একজন ডেটা বিজ্ঞানী একটি জেনেটিক অ্যালগরিদম নিয়ে পরীক্ষা-নিরীক্ষা করেছেন এবং এটি পোশাকের ক্ষেত্রে প্রয়োগ করেছেন ভবিষ্যদ্বাণী করতে যে এমন একটি সফল পোশাকের টুকরো যা আজ বিদ্যমান নেই। আমরা এটি মার্চেন্ডাইজ টিমের কাছে নিয়ে এসেছি এবং এখন তারা এটি একটি টুল হিসেবে ব্যবহার করতে পারে।" রেফারেন্স
🏥 স্বাস্থ্যসেবা
স্বাস্থ্যসেবা খাত গবেষণা কাজ এবং রোগীদের পুনরায় ভর্তি বা রোগের বিস্তার বন্ধ করার মতো লজিস্টিক সমস্যাগুলো অপ্টিমাইজ করতে ML ব্যবহার করতে পারে।
ক্লিনিকাল ট্রায়াল ব্যবস্থাপনা
ক্লিনিকাল ট্রায়ালে বিষাক্ততা ড্রাগ নির্মাতাদের জন্য একটি বড় উদ্বেগ। কতটা বিষাক্ততা সহনীয়? এই গবেষণায়, বিভিন্ন ক্লিনিকাল ট্রায়াল পদ্ধতি বিশ্লেষণ করে ক্লিনিকাল ট্রায়ালের ফলাফল পূর্বাভাসের জন্য একটি নতুন পদ্ধতি তৈরি করা হয়েছে। বিশেষভাবে, তারা র্যান্ডম ফরেস্ট ব্যবহার করে একটি ক্লাসিফায়ার তৈরি করতে সক্ষম হয়েছে যা ড্রাগের গ্রুপগুলোর মধ্যে পার্থক্য করতে পারে। রেফারেন্স
হাসপাতাল পুনরায় ভর্তি ব্যবস্থাপনা
হাসপাতাল সেবা ব্যয়বহুল, বিশেষত যখন রোগীদের পুনরায় ভর্তি করতে হয়। এই গবেষণাপত্রে একটি কোম্পানি আলোচনা করেছে যারা ক্লাস্টারিং অ্যালগরিদম ব্যবহার করে পুনরায় ভর্তি সম্ভাবনা পূর্বাভাস দেয়। এই ক্লাস্টারগুলো বিশ্লেষকদের সাহায্য করে "পুনরায় ভর্তি গ্রুপগুলো আবিষ্কার করতে যেগুলো একটি সাধারণ কারণ ভাগ করে নিতে পারে।" রেফারেন্স
রোগ ব্যবস্থাপনা
সম্প্রতি মহামারী দেখিয়েছে কীভাবে মেশিন লার্নিং রোগের বিস্তার বন্ধ করতে সাহায্য করতে পারে। এই নিবন্ধে, আপনি ARIMA, লজিস্টিক কার্ভ, লিনিয়ার রিগ্রেশন এবং SARIMA-এর ব্যবহার চিনতে পারবেন। "এই কাজটি এই ভাইরাসের বিস্তারের হার গণনা করার এবং মৃত্যুর সংখ্যা, সুস্থতা এবং নিশ্চিত কেস পূর্বাভাস দেওয়ার একটি প্রচেষ্টা, যাতে এটি আমাদের আরও ভালোভাবে প্রস্তুত হতে এবং টিকে থাকতে সাহায্য করতে পারে।" রেফারেন্স
🌲 প্রকৃতি এবং সবুজ প্রযুক্তি
প্রকৃতি এবং পরিবেশে অনেক সংবেদনশীল সিস্টেম রয়েছে যেখানে প্রাণী এবং প্রকৃতির মধ্যে আন্তঃক্রিয়া গুরুত্বপূর্ণ। এই সিস্টেমগুলো সঠিকভাবে পরিমাপ করা এবং কিছু ঘটলে যথাযথভাবে কাজ করা গুরুত্বপূর্ণ, যেমন বন আগুন বা প্রাণীর জনসংখ্যার হ্রাস।
বন ব্যবস্থাপনা
আপনি আগের পাঠে রিইনফোর্সমেন্ট লার্নিং সম্পর্কে শিখেছেন। এটি প্রকৃতিতে প্যাটার্ন পূর্বাভাস দেওয়ার ক্ষেত্রে খুবই কার্যকর হতে পারে। বিশেষভাবে, এটি বন আগুন এবং আক্রমণাত্মক প্রজাতির বিস্তারের মতো পরিবেশগত সমস্যাগুলো ট্র্যাক করতে ব্যবহার করা যেতে পারে। কানাডায়, একটি গবেষক দল রিইনফোর্সমেন্ট লার্নিং ব্যবহার করে স্যাটেলাইট ইমেজ থেকে বন আগুনের গতিশীলতার মডেল তৈরি করেছে। একটি উদ্ভাবনী "স্পেশালি স্প্রেডিং প্রসেস (SSP)" ব্যবহার করে, তারা একটি বন আগুনকে "ল্যান্ডস্কেপের যেকোনো সেলে এজেন্ট" হিসেবে কল্পনা করেছে। "আগুন একটি অবস্থান থেকে যেকোনো সময় উত্তর, দক্ষিণ, পূর্ব বা পশ্চিমে ছড়িয়ে পড়া বা না ছড়িয়ে পড়ার মতো পদক্ষেপ নিতে পারে।"
এই পদ্ধতি সাধারণ RL সেটআপকে উল্টে দেয় কারণ সংশ্লিষ্ট মার্কোভ ডিসিশন প্রসেস (MDP)-এর গতিশীলতা তাৎক্ষণিক আগুনের বিস্তারের জন্য একটি পরিচিত ফাংশন। নিচের লিঙ্কে এই দলের ব্যবহৃত ক্লাসিক অ্যালগরিদম সম্পর্কে আরও পড়ুন। রেফারেন্স
প্রাণীর গতিশীলতা সনাক্তকরণ
যদিও ডিপ লার্নিং প্রাণীর গতিশীলতা চাক্ষুষভাবে ট্র্যাক করার ক্ষেত্রে বিপ্লব ঘটিয়েছে (আপনি পোলার বিয়ার ট্র্যাকার তৈরি করতে পারেন), ক্লাসিক্যাল ML এখনও এই কাজে একটি স্থান ধরে রেখেছে।
ফার্ম প্রাণীর গতিশীলতা ট্র্যাক করার জন্য সেন্সর এবং IoT এই ধরনের চাক্ষুষ প্রসেসিং ব্যবহার করে, কিন্তু আরও মৌলিক ML কৌশলগুলো ডেটা প্রি-প্রসেস করার জন্য কার্যকর। উদাহরণস্বরূপ, এই গবেষণাপত্রে, বিভিন্ন ক্লাসিফায়ার অ্যালগরিদম ব্যবহার করে ভেড়ার অবস্থান পর্যবেক্ষণ এবং বিশ্লেষণ করা হয়েছে। আপনি পৃষ্ঠা ৩৩৫-এ ROC কার্ভ চিনতে পারবেন। রেফারেন্স
⚡️ শক্তি ব্যবস্থাপনা
আমাদের টাইম সিরিজ পূর্বাভাস পাঠে, আমরা একটি শহরের জন্য সরবরাহ এবং চাহিদা বোঝার ভিত্তিতে রাজস্ব তৈরি করতে স্মার্ট পার্কিং মিটার ধারণার কথা বলেছিলাম। এই নিবন্ধে বিস্তারিত আলোচনা করা হয়েছে কীভাবে ক্লাস্টারিং, রিগ্রেশন এবং টাইম সিরিজ পূর্বাভাস একত্রিত হয়ে আয়ারল্যান্ডে স্মার্ট মিটারিং-এর ভিত্তিতে ভবিষ্যৎ শক্তি ব্যবহারের পূর্বাভাস দিতে সাহায্য করেছে। রেফারেন্স
💼 বীমা
বীমা খাত আরেকটি ক্ষেত্র যা ML ব্যবহার করে কার্যকর আর্থিক এবং অ্যাকচুয়ারিয়াল মডেল তৈরি এবং অপ্টিমাইজ করে।
অস্থিরতা ব্যবস্থাপনা
MetLife, একটি জীবন বীমা প্রদানকারী, তাদের আর্থিক মডেলে অস্থিরতা বিশ্লেষণ এবং কমানোর উপায় সম্পর্কে খোলামেলা। এই নিবন্ধে আপনি বাইনারি এবং অর্ডিনাল ক্লাসিফিকেশন ভিজ্যুয়ালাইজেশন দেখতে পাবেন। আপনি পূর্বাভাস ভিজ্যুয়ালাইজেশনও আবিষ্কার করবেন। রেফারেন্স
🎨 শিল্প, সংস্কৃতি এবং সাহিত্য
শিল্পে, যেমন সাংবাদিকতায়, অনেক আকর্ষণীয় সমস্যা রয়েছে। ভুয়া খবর সনাক্ত করা একটি বড় সমস্যা কারণ এটি মানুষের মতামত প্রভাবিত করতে এবং এমনকি গণতন্ত্রকে বিপর্যস্ত করতে প্রমাণিত হয়েছে। জাদুঘরগুলোও ML ব্যবহার থেকে উপকৃত হতে পারে, সবকিছু থেকে শুরু করে নিদর্শনগুলোর মধ্যে সংযোগ খুঁজে বের করা থেকে শুরু করে সম্পদ পরিকল্পনা পর্যন্ত।
ভুয়া খবর সনাক্তকরণ
আজকের মিডিয়ায় ভুয়া খবর সনাক্তকরণ একটি বিড়াল-ইঁদুর খেলায় পরিণত হয়েছে। এই নিবন্ধে, গবেষকরা প্রস্তাব করেছেন যে আমরা অধ্যয়ন করা বিভিন্ন ML কৌশল একত্রিত করে একটি সিস্টেম পরীক্ষা করতে পারি এবং সেরা মডেলটি প্রয়োগ করতে পারি: "এই সিস্টেমটি ডেটা থেকে বৈশিষ্ট্য নিষ্কাশনের জন্য ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং-এর উপর ভিত্তি করে এবং তারপর এই বৈশিষ্ট্যগুলো মেশিন লার্নিং ক্লাসিফায়ার যেমন Naive Bayes, Support Vector Machine (SVM), Random Forest (RF), Stochastic Gradient Descent (SGD), এবং Logistic Regression(LR)-এর প্রশিক্ষণের জন্য ব্যবহার করা হয়।" রেফারেন্স
এই নিবন্ধটি দেখায় কীভাবে বিভিন্ন ML ক্ষেত্র একত্রিত করে আকর্ষণীয় ফলাফল তৈরি করা যায় যা ভুয়া খবর ছড়িয়ে পড়া এবং প্রকৃত ক্ষতি সৃষ্টি করা বন্ধ করতে সাহায্য করতে পারে; এই ক্ষেত্রে, প্রেরণা ছিল COVID চিকিৎসা সম্পর্কে গুজব ছড়িয়ে পড়া যা জনতার সহিংসতা উস্কে দিয়েছিল।
জাদুঘরের ML
জাদুঘরগুলো AI বিপ্লবের দ্বারপ্রান্তে রয়েছে যেখানে সংগ্রহগুলো ক্যাটালগ এবং ডিজিটাইজ করা এবং নিদর্শনগুলোর মধ্যে সংযোগ খুঁজে বের করা সহজতর হচ্ছে প্রযুক্তির অগ্রগতির সঙ্গে। In Codice Ratio প্রকল্পগুলো ভ্যাটিকান আর্কাইভের মতো অপ্রাপ্য সংগ্রহের রহস্য উন্মোচনে সাহায্য করছে। কিন্তু, জাদুঘরের ব্যবসায়িক দিক ML মডেল থেকে উপকৃত হয়।
উদাহরণস্বরূপ, শিকাগোর আর্ট ইনস্টিটিউট মডেল তৈরি করেছে যা পূর্বাভাস দেয় দর্শকরা কীতে আগ্রহী এবং তারা কখন প্রদর্শনীতে অংশগ্রহণ করবে। লক্ষ্য হলো প্রতিবার ব্যবহারকারী জাদুঘর পরিদর্শন করলে ব্যক্তিগত এবং অপ্টিমাইজড অভিজ্ঞতা তৈরি করা। "২০১৭ অর্থবছরে, মডেলটি উপস্থিতি এবং প্রবেশাধিকার ১ শতাংশ স
পোস্ট-লেকচার কুইজ
পর্যালোচনা ও স্ব-অধ্যয়ন
ওয়েফেয়ার ডেটা সায়েন্স টিমের কিছু আকর্ষণীয় ভিডিও রয়েছে যেখানে তারা তাদের কোম্পানিতে কীভাবে মেশিন লার্নিং ব্যবহার করে তা দেখিয়েছে। এটি দেখার মতো!
অ্যাসাইনমেন্ট
একটি মেশিন লার্নিং স্ক্যাভেঞ্জার হান্ট
অস্বীকৃতি:
এই নথিটি AI অনুবাদ পরিষেবা Co-op Translator ব্যবহার করে অনুবাদ করা হয়েছে। আমরা যথাসম্ভব সঠিকতার জন্য চেষ্টা করি, তবে অনুগ্রহ করে মনে রাখবেন যে স্বয়ংক্রিয় অনুবাদে ত্রুটি বা অসঙ্গতি থাকতে পারে। মূল ভাষায় থাকা নথিটিকে প্রামাণিক উৎস হিসেবে বিবেচনা করা উচিত। গুরুত্বপূর্ণ তথ্যের জন্য, পেশাদার মানব অনুবাদ সুপারিশ করা হয়। এই অনুবাদ ব্যবহারের ফলে কোনো ভুল বোঝাবুঝি বা ভুল ব্যাখ্যা হলে আমরা তার জন্য দায়ী থাকব না।