|
|
1 year ago | |
|---|---|---|
| .. | ||
| README.md | 1 year ago | |
| assignment.md | 1 year ago | |
README.md
বাস্তব জগতে ডেটা সায়েন্স
![]() |
|---|
| বাস্তব জগতে ডেটা সায়েন্স - Sketchnote by @nitya |
আমরা প্রায় এই শেখার যাত্রার শেষ প্রান্তে পৌঁছে গেছি!
আমরা ডেটা সায়েন্স এবং নৈতিকতার সংজ্ঞা দিয়ে শুরু করেছি, ডেটা বিশ্লেষণ এবং ভিজ্যুয়ালাইজেশনের বিভিন্ন টুল ও কৌশল অন্বেষণ করেছি, ডেটা সায়েন্স লাইফসাইকেল পর্যালোচনা করেছি এবং ক্লাউড কম্পিউটিং সার্ভিসের মাধ্যমে ডেটা সায়েন্স ওয়ার্কফ্লো স্কেলিং এবং অটোমেশন নিয়ে আলোচনা করেছি। এখন আপনি হয়তো ভাবছেন: "এই শেখাগুলোকে বাস্তব জীবনের প্রেক্ষাপটে কীভাবে প্রয়োগ করব?"
এই পাঠে, আমরা শিল্পের বিভিন্ন ক্ষেত্রে ডেটা সায়েন্সের বাস্তব প্রয়োগ নিয়ে আলোচনা করব এবং গবেষণা, ডিজিটাল মানবিকতা এবং টেকসই উন্নয়নের নির্দিষ্ট উদাহরণগুলোতে গভীরভাবে প্রবেশ করব। আমরা শিক্ষার্থীদের প্রকল্পের সুযোগ নিয়ে আলোচনা করব এবং শেখার যাত্রা চালিয়ে যাওয়ার জন্য প্রয়োজনীয় রিসোর্স দিয়ে পাঠ শেষ করব।
প্রি-লেকচার কুইজ
ডেটা সায়েন্স + শিল্প
এআই-এর গণতান্ত্রিকরণের জন্য ধন্যবাদ, এখন ডেভেলপাররা এআই-চালিত সিদ্ধান্ত গ্রহণ এবং ডেটা-চালিত অন্তর্দৃষ্টি ব্যবহারকারীর অভিজ্ঞতা এবং ডেভেলপমেন্ট ওয়ার্কফ্লোতে ডিজাইন এবং সংযুক্ত করা সহজতর করছে। এখানে শিল্পের বিভিন্ন ক্ষেত্রে ডেটা সায়েন্সের বাস্তব প্রয়োগের কিছু উদাহরণ দেওয়া হলো:
-
গুগল ফ্লু ট্রেন্ডস ডেটা সায়েন্স ব্যবহার করে সার্চ টার্মগুলোর সাথে ফ্লু ট্রেন্ডের সম্পর্ক স্থাপন করেছিল। যদিও এই পদ্ধতিতে ত্রুটি ছিল, এটি ডেটা-চালিত স্বাস্থ্যসেবা পূর্বাভাসের সম্ভাবনা (এবং চ্যালেঞ্জ) সম্পর্কে সচেতনতা বৃদ্ধি করেছিল।
-
ইউপিএস রাউটিং পূর্বাভাস - ইউপিএস ডেটা সায়েন্স এবং মেশিন লার্নিং ব্যবহার করে আবহাওয়ার অবস্থা, ট্রাফিক প্যাটার্ন, ডেলিভারি সময়সীমা ইত্যাদি বিবেচনায় নিয়ে ডেলিভারির জন্য সর্বোত্তম রুট পূর্বাভাস দেয়।
-
এনওয়াইসি ট্যাক্সিক্যাব রুট ভিজ্যুয়ালাইজেশন - তথ্য স্বাধীনতা আইন ব্যবহার করে সংগৃহীত ডেটা এনওয়াইসি ট্যাক্সিক্যাবের দৈনন্দিন জীবনকে ভিজ্যুয়ালাইজ করতে সাহায্য করেছে, যা আমাদের ব্যস্ত শহরে তাদের চলাচল, আয় এবং ২৪ ঘণ্টার প্রতিটি ট্রিপের সময়কাল বুঝতে সাহায্য করে।
-
উবার ডেটা সায়েন্স ওয়ার্কবেঞ্চ - প্রতিদিন লক্ষ লক্ষ উবার ট্রিপ থেকে সংগৃহীত ডেটা (পিকআপ ও ড্রপঅফ লোকেশন, ট্রিপের সময়কাল, পছন্দের রুট ইত্যাদি) ব্যবহার করে একটি ডেটা অ্যানালিটিক্স টুল তৈরি করেছে যা প্রাইসিং, নিরাপত্তা, প্রতারণা সনাক্তকরণ এবং নেভিগেশন সিদ্ধান্তে সাহায্য করে।
-
স্পোর্টস অ্যানালিটিক্স - পূর্বাভাসমূলক অ্যানালিটিক্স (টিম এবং প্লেয়ার বিশ্লেষণ - যেমন মানিবল - এবং ফ্যান ম্যানেজমেন্ট) এবং ডেটা ভিজ্যুয়ালাইজেশন (টিম ও ফ্যান ড্যাশবোর্ড, গেমস ইত্যাদি) এর উপর গুরুত্ব দেয়, যার প্রয়োগ রয়েছে ট্যালেন্ট স্কাউটিং, স্পোর্টস গ্যাম্বলিং এবং ইনভেন্টরি/ভেন্যু ম্যানেজমেন্টে।
-
ব্যাংকিংয়ে ডেটা সায়েন্স - ঝুঁকি মডেলিং এবং প্রতারণা সনাক্তকরণ থেকে শুরু করে গ্রাহক বিভাজন, রিয়েল-টাইম পূর্বাভাস এবং রিকমেন্ডার সিস্টেম পর্যন্ত ফাইন্যান্স ইন্ডাস্ট্রিতে ডেটা সায়েন্সের মূল্য তুলে ধরে। পূর্বাভাসমূলক অ্যানালিটিক্স গুরুত্বপূর্ণ মাপকাঠি যেমন ক্রেডিট স্কোর চালিত করে।
-
স্বাস্থ্যসেবায় ডেটা সায়েন্স - মেডিকেল ইমেজিং (যেমন এমআরআই, এক্স-রে, সিটি-স্ক্যান), জিনোমিক্স (ডিএনএ সিকোয়েন্সিং), ড্রাগ ডেভেলপমেন্ট (ঝুঁকি মূল্যায়ন, সফলতার পূর্বাভাস), পূর্বাভাসমূলক অ্যানালিটিক্স (রোগীর যত্ন ও সরবরাহের লজিস্টিকস), রোগ ট্র্যাকিং ও প্রতিরোধ ইত্যাদি প্রয়োগ তুলে ধরে।
ইমেজ ক্রেডিট: ডেটা ফ্লেয়ার: ৬টি অসাধারণ ডেটা সায়েন্স প্রয়োগ
চিত্রটি ডেটা সায়েন্স কৌশল প্রয়োগের অন্যান্য ক্ষেত্র এবং উদাহরণ দেখায়। অন্যান্য প্রয়োগ অন্বেষণ করতে চান? নিচের পর্যালোচনা ও স্ব-অধ্যয়ন বিভাগটি দেখুন।
ডেটা সায়েন্স + গবেষণা
![]() |
|---|
| ডেটা সায়েন্স ও গবেষণা - Sketchnote by @nitya |
যদিও বাস্তব প্রয়োগগুলো প্রায়শই শিল্পের বৃহৎ পরিসরের ব্যবহারকে কেন্দ্র করে, গবেষণা প্রয়োগ এবং প্রকল্পগুলো দুটি দৃষ্টিকোণ থেকে উপকারী হতে পারে:
- উদ্ভাবনের সুযোগ - উন্নত ধারণার দ্রুত প্রোটোটাইপিং এবং পরবর্তী প্রজন্মের অ্যাপ্লিকেশনের জন্য ব্যবহারকারীর অভিজ্ঞতা পরীক্ষা করা।
- প্রয়োগের চ্যালেঞ্জ - বাস্তব জীবনের প্রেক্ষাপটে ডেটা সায়েন্স প্রযুক্তির সম্ভাব্য ক্ষতি বা অনিচ্ছাকৃত পরিণতি তদন্ত করা।
শিক্ষার্থীদের জন্য, এই গবেষণা প্রকল্পগুলো শেখার এবং সহযোগিতার সুযোগ প্রদান করতে পারে যা বিষয়টি সম্পর্কে আপনার বোঝাপড়া উন্নত করতে পারে এবং প্রাসঙ্গিক ক্ষেত্রগুলোতে কাজ করা ব্যক্তিদের বা দলের সাথে আপনার সচেতনতা এবং সম্পৃক্ততা বৃদ্ধি করতে পারে। তাহলে গবেষণা প্রকল্পগুলো দেখতে কেমন এবং কীভাবে তারা প্রভাব ফেলতে পারে?
চলুন একটি উদাহরণ দেখি - এমআইটি জেন্ডার শেডস স্টাডি যা জয় বুয়োলামউইনি (এমআইটি মিডিয়া ল্যাবস) দ্বারা পরিচালিত এবং একটি গবেষণা পেপার সহ-লিখিত যা টিমনিট গেব্রু (তৎকালীন মাইক্রোসফট রিসার্চ) এর সাথে যৌথভাবে তৈরি করা হয়েছিল। এটি নিম্নলিখিত বিষয়ের উপর কেন্দ্রীভূত ছিল:
- কী: গবেষণা প্রকল্পের উদ্দেশ্য ছিল লিঙ্গ এবং ত্বকের রঙের উপর ভিত্তি করে স্বয়ংক্রিয় মুখ বিশ্লেষণ অ্যালগরিদম এবং ডেটাসেটে বিদ্যমান পক্ষপাত মূল্যায়ন করা।
- কেন: মুখ বিশ্লেষণ আইন প্রয়োগ, বিমানবন্দর নিরাপত্তা, নিয়োগ ব্যবস্থা এবং আরও অনেক ক্ষেত্রে ব্যবহৃত হয় - যেখানে ভুল শ্রেণীবিভাজন (যেমন পক্ষপাতের কারণে) প্রভাবিত ব্যক্তি বা গোষ্ঠীর জন্য সম্ভাব্য অর্থনৈতিক এবং সামাজিক ক্ষতি ঘটাতে পারে। পক্ষপাত বোঝা (এবং নির্মূল বা প্রশমিত করা) ব্যবহারিক ন্যায্যতার জন্য গুরুত্বপূর্ণ।
- কীভাবে: গবেষকরা স্বীকার করেছেন যে বিদ্যমান বেঞ্চমার্কগুলো প্রধানত হালকা ত্বকের বিষয়গুলো ব্যবহার করেছে এবং একটি নতুন ডেটাসেট (১০০০+ ছবি) তৈরি করেছেন যা লিঙ্গ এবং ত্বকের রঙের উপর ভিত্তি করে আরও ভারসাম্যপূর্ণ। এই ডেটাসেটটি তিনটি লিঙ্গ শ্রেণীবিভাজন পণ্য (মাইক্রোসফট, আইবিএম এবং ফেস++) এর সঠিকতা মূল্যায়নের জন্য ব্যবহার করা হয়েছিল।
ফলাফলগুলো দেখিয়েছে যে যদিও সামগ্রিক শ্রেণীবিভাজন সঠিকতা ভালো ছিল, বিভিন্ন উপগোষ্ঠীর মধ্যে ত্রুটির হার উল্লেখযোগ্য পার্থক্য ছিল - যেখানে ভুল লিঙ্গ নির্ধারণ মহিলাদের বা গাঢ় ত্বকের ব্যক্তিদের জন্য বেশি ছিল, যা পক্ষপাতের ইঙ্গিত দেয়।
মূল ফলাফল: ডেটা সায়েন্সের জন্য আরও প্রতিনিধিত্বমূলক ডেটাসেট (ভারসাম্যপূর্ণ উপগোষ্ঠী) এবং আরও অন্তর্ভুক্তিমূলক দল (বিভিন্ন পটভূমি) প্রয়োজন যা এআই সমাধানগুলোতে এই ধরনের পক্ষপাতগুলোকে আগেই চিনতে এবং নির্মূল বা প্রশমিত করতে পারে। এই ধরনের গবেষণা প্রচেষ্টা অনেক সংস্থাকে তাদের এআই পণ্য এবং প্রক্রিয়াগুলোর ন্যায্যতা উন্নত করতে দায়িত্বশীল এআই এর জন্য নীতিমালা এবং অনুশীলন সংজ্ঞায়িত করতে সহায়ক।
মাইক্রোসফটের প্রাসঙ্গিক গবেষণা প্রচেষ্টা সম্পর্কে জানতে চান?
- মাইক্রোসফট রিসার্চ প্রকল্প দেখুন যা কৃত্রিম বুদ্ধিমত্তার উপর কেন্দ্রীভূত।
- মাইক্রোসফট রিসার্চ ডেটা সায়েন্স সামার স্কুল থেকে শিক্ষার্থীদের প্রকল্পগুলো অন্বেষণ করুন।
- Fairlearn প্রকল্প এবং দায়িত্বশীল এআই উদ্যোগগুলো দেখুন।
ডেটা সায়েন্স + মানবিকতা
![]() |
|---|
| ডেটা সায়েন্স ও ডিজিটাল মানবিকতা - Sketchnote by @nitya |
ডিজিটাল মানবিকতা সংজ্ঞায়িত হয়েছে "কম্পিউটেশনাল পদ্ধতি এবং মানবিক অনুসন্ধানের সমন্বয়ে গঠিত একটি অনুশীলন এবং পদ্ধতির সংগ্রহ" হিসেবে। স্ট্যানফোর্ড প্রকল্পগুলো যেমন "ইতিহাস পুনরায় চালু করা" এবং "কাব্যিক চিন্তা" ডিজিটাল মানবিকতা এবং ডেটা সায়েন্সের সংযোগকে চিত্রিত করে - নেটওয়ার্ক বিশ্লেষণ, তথ্য ভিজ্যুয়ালাইজেশন, স্থানিক এবং পাঠ বিশ্লেষণের মতো কৌশলগুলোকে গুরুত্ব দেয় যা আমাদের ঐতিহাসিক এবং সাহিত্যিক ডেটাসেটগুলো পুনর্বিবেচনা করতে এবং নতুন অন্তর্দৃষ্টি এবং দৃষ্টিভঙ্গি অর্জন করতে সাহায্য করে।
এই ক্ষেত্রে একটি প্রকল্প অন্বেষণ এবং প্রসারিত করতে চান?
"এমিলি ডিকিনসন এবং মুডের মিটার" দেখুন - জেন লুপার এর একটি চমৎকার উদাহরণ যা প্রশ্ন করে কীভাবে আমরা ডেটা সায়েন্স ব্যবহার করে পরিচিত কবিতাগুলো পুনর্বিবেচনা করতে পারি এবং নতুন প্রেক্ষাপটে এর অর্থ এবং এর লেখকের অবদান পুনর্মূল্যায়ন করতে পারি। উদাহরণস্বরূপ, কবিতার টোন বা অনুভূতি বিশ্লেষণ করে আমরা কি অনুমান করতে পারি যে এটি কোন ঋতুতে লেখা হয়েছিল - এবং এটি লেখকের মানসিক অবস্থার উপর প্রাসঙ্গিক সময়কালের প্রভাব সম্পর্কে আমাদের কী বলে?
এই প্রশ্নের উত্তর দিতে, আমরা আমাদের ডেটা সায়েন্স লাইফসাইকেলের ধাপগুলো অনুসরণ করি:
ডেটা সংগ্রহ- বিশ্লেষণের জন্য একটি প্রাসঙ্গিক ডেটাসেট সংগ্রহ করা। অপশনগুলোতে একটি এপিআই ব্যবহার করা (যেমন Poetry DB API) বা ওয়েব পেজ স্ক্র্যাপ করা (যেমন Project Gutenberg) অন্তর্ভুক্ত রয়েছে।ডেটা পরিষ্কার- ব্যাখ্যা করে কীভাবে টেক্সট ফরম্যাট করা, স্যানিটাইজ করা এবং সরলীকৃত করা যায়, যেমন Visual Studio Code এবং Microsoft Excel এর মতো মৌলিক টুল ব্যবহার করে।ডেটা বিশ্লেষণ- ব্যাখ্যা করে কীভাবে আমরা এখন ডেটাসেটটি "নোটবুক" এ আমদানি করতে পারি বিশ্লেষণের জন্য, Python প্যাকেজ (যেমন pandas, numpy এবং matplotlib) ব্যবহার করে ডেটা সংগঠিত এবং ভিজ্যুয়ালাইজ করতে।অনুভূতি বিশ্লেষণ- ব্যাখ্যা করে কীভাবে আমরা Text Analytics এর মতো ক্লাউড সার্ভিসগুলো সংযুক্ত করতে পারি, Power Automate এর মতো লো-কোড টুল ব্যবহার করে স্বয়ংক্রিয় ডেটা প্রসেসিং ওয়ার্কফ্লো তৈরি করতে।
এই ওয়ার্কফ্লো ব্যবহার করে, আমরা কবিতার অনুভূতির উপর ঋতুর প্রভাবগুলো অন্বেষণ করতে পারি এবং লেখকের উপর আমাদের নিজস্ব দৃষ্টিভঙ্গি তৈরি করতে পারি। নিজে চেষ্টা করুন - তারপর নোটবুকটি প্রসারিত করুন অন্য প্রশ্ন জিজ্ঞাসা করতে বা ডেটা নতুনভাবে ভিজ্যুয়ালাইজ করতে!
ডিজিটাল মানবিকতা টুলকিট এর কিছু টুল ব্যবহার করে এই অনুসন্ধানের পথগুলো অনুসরণ করতে পারেন।
ডেটা সায়েন্স + টেকসই উন্নয়ন
![]() |
|---|
| ডেটা সায়েন্স ও টেকসই উন্নয়ন - Sketchnote by @nitya |
২০৩০ টেকসই উন্নয়নের এজেন্ডা - যা ২০১৫ সালে সমস্ত জাতিসংঘ সদস্যদের দ্বারা গৃহীত হয়েছিল - ১৭টি লক্ষ্য চিহ্নিত করে, যার মধ্যে একটি হলো পৃথিবীকে রক্ষা করা পরিবেশের অবনতি এবং জলবায়ু পরিবর্তনের প্রভাব থেকে। মাইক্রোসফট টেকসই উন্নয়ন উদ্যোগ এই লক্ষ্য প্ল্যানেটারি কম্পিউটার প্রকল্প বর্তমানে প্রিভিউ পর্যায়ে রয়েছে (সেপ্টেম্বর ২০২১ অনুযায়ী) - ডেটা সায়েন্স ব্যবহার করে টেকসই সমাধানে অবদান রাখার জন্য কীভাবে শুরু করবেন তা এখানে দেওয়া হলো।
- অ্যাক্সেসের জন্য অনুরোধ করুন যাতে অনুসন্ধান শুরু করতে পারেন এবং সহকর্মীদের সাথে সংযোগ স্থাপন করতে পারেন।
- ডকুমেন্টেশন অন্বেষণ করুন যাতে সমর্থিত ডেটাসেট এবং API সম্পর্কে বুঝতে পারেন।
- ইকোসিস্টেম মনিটরিং এর মতো অ্যাপ্লিকেশন অন্বেষণ করুন, যা অ্যাপ্লিকেশন আইডিয়ার জন্য অনুপ্রেরণা দিতে পারে।
ভাবুন কীভাবে আপনি ডেটা ভিজ্যুয়ালাইজেশন ব্যবহার করে জলবায়ু পরিবর্তন এবং বন উজাড়ের মতো ক্ষেত্রগুলিতে প্রাসঙ্গিক অন্তর্দৃষ্টি প্রকাশ বা জোর দিতে পারেন। অথবা ভাবুন কীভাবে এই অন্তর্দৃষ্টি ব্যবহার করে নতুন ব্যবহারকারীর অভিজ্ঞতা তৈরি করা যেতে পারে যা আরও টেকসই জীবনযাপনের জন্য আচরণগত পরিবর্তনকে উৎসাহিত করে।
ডেটা সায়েন্স + শিক্ষার্থীরা
আমরা শিল্প এবং গবেষণায় বাস্তব-জগতের প্রয়োগ নিয়ে আলোচনা করেছি এবং ডিজিটাল মানবিকতা এবং টেকসইতার ক্ষেত্রে ডেটা সায়েন্স অ্যাপ্লিকেশনের উদাহরণ অন্বেষণ করেছি। তাহলে ডেটা সায়েন্সের শিক্ষার্থী হিসেবে কীভাবে আপনি আপনার দক্ষতা তৈরি করবেন এবং আপনার দক্ষতা শেয়ার করবেন?
এখানে কিছু ডেটা সায়েন্স শিক্ষার্থী প্রকল্পের উদাহরণ দেওয়া হলো যা আপনাকে অনুপ্রাণিত করতে পারে।
- MSR Data Science Summer School এর GitHub প্রকল্পগুলি যা নিম্নলিখিত বিষয়গুলি অন্বেষণ করে:
- ডিজিটালাইজিং ম্যাটেরিয়াল কালচার: সিরকাপে সামাজিক-অর্থনৈতিক বিতরণ অন্বেষণ - Ornella Altunyan এবং Claremont টিমের দ্বারা, ArcGIS StoryMaps ব্যবহার করে।
🚀 চ্যালেঞ্জ
ডেটা সায়েন্স প্রকল্পের জন্য এমন প্রবন্ধ অনুসন্ধান করুন যা শিক্ষার্থীদের জন্য সহজ এবং উপযোগী - যেমন এই ৫০টি বিষয়, এই ২১টি প্রকল্প আইডিয়া, অথবা এই ১৬টি প্রকল্প সোর্স কোড সহ যা আপনি বিশ্লেষণ এবং পুনর্গঠন করতে পারেন। এবং আপনার শেখার যাত্রা সম্পর্কে ব্লগ লিখতে ভুলবেন না এবং আপনার অন্তর্দৃষ্টি আমাদের সবার সাথে শেয়ার করুন।
পোস্ট-লেকচার কুইজ
পোস্ট-লেকচার কুইজ
পর্যালোচনা এবং স্ব-অধ্যয়ন
আরও ব্যবহারিক উদাহরণ অন্বেষণ করতে চান? এখানে কিছু প্রাসঙ্গিক প্রবন্ধ দেওয়া হলো:
- ডেটা সায়েন্সের ১৭টি প্রয়োগ এবং উদাহরণ - জুলাই ২০২১
- বাস্তব জগতে ডেটা সায়েন্সের ১১টি চমকপ্রদ প্রয়োগ - মে ২০২১
- বাস্তব জগতে ডেটা সায়েন্স - প্রবন্ধ সংগ্রহ
- ডেটা সায়েন্স: শিক্ষা, কৃষি, অর্থনীতি, চলচ্চিত্র এবং আরও অনেক কিছু।
অ্যাসাইনমেন্ট
একটি প্ল্যানেটারি কম্পিউটার ডেটাসেট অন্বেষণ করুন
অস্বীকৃতি:
এই নথিটি AI অনুবাদ পরিষেবা Co-op Translator ব্যবহার করে অনুবাদ করা হয়েছে। আমরা যথাসম্ভব সঠিক অনুবাদ প্রদানের চেষ্টা করি, তবে অনুগ্রহ করে মনে রাখবেন যে স্বয়ংক্রিয় অনুবাদে ত্রুটি বা অসঙ্গতি থাকতে পারে। মূল ভাষায় থাকা নথিটিকে প্রামাণিক উৎস হিসেবে বিবেচনা করা উচিত। গুরুত্বপূর্ণ তথ্যের জন্য, পেশাদার মানব অনুবাদ সুপারিশ করা হয়। এই অনুবাদ ব্যবহারের ফলে কোনো ভুল বোঝাবুঝি বা ভুল ব্যাখ্যা হলে আমরা তার জন্য দায়ী থাকব না।



