24 KiB
Постскриптум: Машинно обучение в реалния свят
Скица от Tomomi Imura
В този курс научихте много начини за подготовка на данни за обучение и създаване на модели за машинно обучение. Създадохте серия от класически модели за регресия, клъстеризация, класификация, обработка на естествен език и времеви серии. Поздравления! Сега вероятно се чудите за какво всичко това... какви са приложенията на тези модели в реалния свят?
Докато в индустрията има голям интерес към AI, който обикновено използва дълбоко обучение, все още има ценни приложения за класическите модели за машинно обучение. Може би дори използвате някои от тези приложения днес! В този урок ще разгледате как осем различни индустрии и области на знание използват тези модели, за да направят своите приложения по-ефективни, надеждни, интелигентни и ценни за потребителите.
Тест преди лекцията
💰 Финанси
Финансовият сектор предлага много възможности за машинно обучение. Много проблеми в тази област могат да бъдат моделирани и решени с помощта на ML.
Откриване на измами с кредитни карти
Научихме за клъстеризация с k-средни стойности по-рано в курса, но как може да се използва за решаване на проблеми, свързани с измами с кредитни карти?
Клъстеризацията с k-средни стойности е полезна при техника за откриване на измами с кредитни карти, наречена откриване на отклонения. Отклоненията или аномалиите в наблюденията на набор от данни могат да ни покажат дали кредитната карта се използва нормално или се случва нещо необичайно. Както е показано в статията, свързана по-долу, можете да сортирате данни за кредитни карти с помощта на алгоритъм за клъстеризация с k-средни стойности и да присвоите всяка транзакция към клъстер въз основа на това колко отклонение представлява. След това можете да оцените най-рискованите клъстери за измамни спрямо легитимни транзакции. Референция
Управление на богатството
В управлението на богатството, индивид или фирма управлява инвестиции от името на своите клиенти. Тяхната задача е да поддържат и увеличават богатството в дългосрочен план, така че е важно да се избират инвестиции, които се представят добре.
Един от начините за оценка на представянето на дадена инвестиция е чрез статистическа регресия. Линейната регресия е ценен инструмент за разбиране на това как даден фонд се представя спрямо някакъв бенчмарк. Можем също така да заключим дали резултатите от регресията са статистически значими или колко биха повлияли на инвестициите на клиента. Можете дори да разширите анализа си с помощта на множествена регресия, където могат да се вземат предвид допълнителни рискови фактори. За пример как това би работило за конкретен фонд, вижте статията по-долу за оценка на представянето на фондове с помощта на регресия. Референция
🎓 Образование
Образователният сектор също е много интересна област, където може да се приложи ML. Има интересни проблеми за решаване, като откриване на измами при тестове или есета, или управление на предубеденост, независимо дали е умишлена или не, в процеса на оценяване.
Прогнозиране на поведението на учениците
Coursera, онлайн платформа за отворени курсове, има страхотен технологичен блог, където обсъждат много инженерни решения. В този случай те начертаха линия на регресия, за да се опитат да изследват всяка корелация между нисък NPS (Net Promoter Score) рейтинг и задържане или отпадане от курса. Референция
Намаляване на предубедеността
Grammarly, асистент за писане, който проверява за правописни и граматически грешки, използва сложни системи за обработка на естествен език в своите продукти. Те публикуваха интересен случай в своя технологичен блог за това как се справиха с предубедеността по отношение на пола в машинното обучение, което научихте в нашия въвеждащ урок за справедливост. Референция
👜 Търговия на дребно
Секторът на търговията на дребно определено може да се възползва от използването на ML, от създаването на по-добро клиентско изживяване до оптимално управление на инвентара.
Персонализиране на клиентското изживяване
В Wayfair, компания, която продава домашни стоки като мебели, помагането на клиентите да намерят правилните продукти за техния вкус и нужди е от първостепенно значение. В тази статия инженерите от компанията описват как използват ML и NLP, за да "предоставят правилните резултати за клиентите". По-специално, техният Query Intent Engine е създаден да използва извличане на обекти, обучение на класификатори, извличане на активи и мнения, както и маркиране на настроения в клиентски ревюта. Това е класически пример за това как NLP работи в онлайн търговията на дребно. Референция
Управление на инвентара
Иновативни, гъвкави компании като StitchFix, услуга за доставка на кутии с дрехи до потребителите, разчитат силно на ML за препоръки и управление на инвентара. Техните стилистични екипи работят заедно с екипите за мерчандайзинг: "един от нашите учени по данни експериментира с генетичен алгоритъм и го приложи към облекло, за да предскаже какво би било успешно парче дреха, което не съществува днес. Представихме това на екипа за мерчандайзинг и сега те могат да го използват като инструмент." Референция
🏥 Здравеопазване
Секторът на здравеопазването може да използва ML за оптимизиране на изследователски задачи, както и логистични проблеми като повторно приемане на пациенти или спиране на разпространението на болести.
Управление на клинични изпитания
Токсичността в клиничните изпитания е основен проблем за производителите на лекарства. Колко токсичност е допустима? В това изследване анализът на различни методи за клинични изпитания доведе до разработването на нов подход за прогнозиране на вероятността от резултати от клинични изпитания. По-специално, те успяха да използват random forest, за да създадат класификатор, който може да различава групи лекарства. Референция
Управление на повторни приемания в болници
Болничната грижа е скъпа, особено когато пациентите трябва да бъдат приемани повторно. Тази статия обсъжда компания, която използва ML за прогнозиране на потенциала за повторно приемане с помощта на клъстеризация алгоритми. Тези клъстери помагат на анализаторите да "открият групи от повторни приемания, които може да споделят обща причина". Референция
Управление на болести
Последната пандемия освети начините, по които машинното обучение може да помогне за спиране на разпространението на болести. В тази статия ще разпознаете използването на ARIMA, логистични криви, линейна регресия и SARIMA. "Тази работа е опит да се изчисли скоростта на разпространение на този вирус и така да се предскажат смъртните случаи, възстановяванията и потвърдените случаи, за да ни помогне да се подготвим по-добре и да оцелеем." Референция
🌲 Екология и зелени технологии
Природата и екологията се състоят от много чувствителни системи, където взаимодействието между животните и природата е от значение. Важно е да можем да измерваме тези системи точно и да действаме подходящо, ако нещо се случи, като горски пожар или спад в популацията на животни.
Управление на горите
Научихте за усилено обучение в предишни уроци. То може да бъде много полезно при опитите за прогнозиране на модели в природата. По-специално, може да се използва за проследяване на екологични проблеми като горски пожари и разпространение на инвазивни видове. В Канада група изследователи използваха усилено обучение, за да изградят модели за динамика на горски пожари от сателитни изображения. Използвайки иновативен "процес на пространствено разпространение (SSP)", те си представиха горския пожар като "агент във всяка клетка на пейзажа." "Наборът от действия, които пожарът може да предприеме от дадено местоположение във всеки момент от времето, включва разпространение на север, юг, изток или запад или неразпространение."
Този подход обръща обичайната настройка на RL, тъй като динамиката на съответния процес на Марковско решение (MDP) е известна функция за незабавно разпространение на пожара." Прочетете повече за класическите алгоритми, използвани от тази група, на линка по-долу. Референция
Засичане на движения на животни
Докато дълбокото обучение създаде революция в визуалното проследяване на движенията на животни (можете да изградите свой собствен тракер за полярни мечки тук), класическото ML все още има място в тази задача.
Сензорите за проследяване на движенията на селскостопански животни и IoT използват този тип визуална обработка, но по-основни ML техники са полезни за предварителна обработка на данни. Например, в тази статия позите на овце бяха наблюдавани и анализирани с помощта на различни алгоритми за класификация. Може да разпознаете ROC кривата на страница 335. Референция
⚡️ Управление на енергията
В нашите уроци за прогнозиране на времеви серии въведохме концепцията за интелигентни паркинг метри, които генерират приходи за град, базирани на разбирането на търсенето и предлагането. Тази статия обсъжда подробно как клъстеризация, регресия и прогнозиране на времеви серии се комбинират, за да помогнат за прогнозиране на бъдещото използване на енергия в Ирландия, базирано на интелигентно измерване. Референция
💼 Застраховане
Секторът на застраховането е още един сектор, който използва ML за изграждане и оптимизиране на жизнеспособни финансови и актюерски модели.
Управление на волатилността
MetLife, доставчик на животозастраховане, е открит относно начина, по който анализира и намалява волатилността в своите финансови модели. В тази статия ще забележите визуализации за бинарна и ординална класификация. Ще откриете също визуализации за прогнозиране. Референция
🎨 Изкуства, култура и литература
В изкуствата, например в журналистиката, има много интересни проблеми. Откриването на фалшиви новини е огромен проблем, тъй като е доказано, че влияе върху мнението на хората и дори може да разруши демокрации. Музеите също могат да се възползват от използването на ML във всичко - от намиране на връзки между артефакти до планиране на ресурси.
Откриване на фалшиви новини
Откриването на фалшиви новини се е превърнало в игра на котка и мишка в днешните медии. В тази статия изследователите предлагат система, която комбинира няколко от техниките за ML, които изучихме, и може да бъде тествана, за да се избере най-добрият модел: "Тази система се основава на обработка на естествен език за извличане на характеристики от данните и след това тези характеристики се използват за обучение на класификатори за машинно обучение като Naive Bayes, Support Vector Machine (SVM), Random Forest (RF), Stochastic Gradient Descent (SGD) и Logistic Regression (LR)." Референция
Тази статия показва как комбинирането на различни области на ML може да произведе интересни резултати, които могат да помогнат за спиране на разпространението на фалшиви новини и създаване на реални щети; в този случай импулсът беше разпространението на слухове за лечения на COVID, които предизвикаха насилие.
Музейно ML
Музеите са на прага на AI революция, в която каталогизирането и дигитализирането на колекции и намирането на връзки между артефакти става по-лесно с напредването на технологиите. Проекти като In Codice Ratio помагат за разкриване на мистериите на недостъпни колекции като Ватиканските архиви. Но бизнес аспектът на музеите също се възползва от ML модели.
Например, Институтът за изкуства в Чикаго изгражда модели за прогнозиране на това какво интересува аудиторията и кога ще посещава изложби. Целта е да се създаде индивидуализирано и оптимизирано изживяване за посетителите всеки път, когато потребителят посещава музея. "През фискалната 2017 година моделът прогнозира посещаемостта и приходите с точност от 1 процент, казва Andrew Simnick, стар
Тест след лекцията
Преглед и самостоятелно обучение
Екипът по наука за данни на Wayfair има няколко интересни видеа за това как използват машинното обучение в тяхната компания. Струва си да ги разгледате!
Задача
Търсене на съкровища с машинно обучение
Отказ от отговорност:
Този документ е преведен с помощта на AI услуга за превод Co-op Translator. Въпреки че се стремим към точност, моля, имайте предвид, че автоматизираните преводи може да съдържат грешки или неточности. Оригиналният документ на неговия роден език трябва да се счита за авторитетен източник. За критична информация се препоръчва професионален човешки превод. Ние не носим отговорност за недоразумения или погрешни интерпретации, произтичащи от използването на този превод.