|
|
|
|
@ -0,0 +1,146 @@
|
|
|
|
|
# История машинного обучения
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
> Заметка [Томоми Имура](https://www.twitter.com/girlie_mac)
|
|
|
|
|
|
|
|
|
|
## [Тест перед лекцией](https://white-water-09ec41f0f.azurestaticapps.net/quiz/3/)
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
На этом уроке мы рассмотрим основные вехи в истории машинного обучения и искусственного интеллекта.
|
|
|
|
|
|
|
|
|
|
История искусственного интеллекта (ИИ) как области переплетается с историей машинного обучения, поскольку алгоритмы и вычислительные достижения, лежащие в основе ML, способствовали развитию ИИ. Полезно помнить, что, хотя эти области как отдельные области исследований начали образовываться в 1950-х годах, важные [алгоритмические, статистические, математические, вычислительные и технические открытия](https://wikipedia.org/wiki/Timeline_of_machine_learning) предшествовали и происходили в эту эпоху. На самом деле, люди думали об этих вопросах в течение [сотен лет](https://wikipedia.org/wiki/History_of_artificial_intelligence): в этой статье рассматриваются исторические интеллектуальные основы идеи "мыслящей машины".
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
## Заметные открытия
|
|
|
|
|
|
|
|
|
|
- 1763, 1812 [Теорема Байеса](https://wikipedia.org/wiki/Bayes%27_theorem) и ее предшественники. Эта теорема и ее приложения лежат в основе вывода, описывающего вероятность события, происходящего на основе предварительных знаний.
|
|
|
|
|
- 1805 [Теория наименьших квадратов](https://wikipedia.org/wiki/Least_squares) французского математика Адриена-Мари Лежандра. Эта теория, о которой вы узнаете в нашем блоке регрессии, помогает в аппроксимации данных.
|
|
|
|
|
- 1913 [Цепи Маркова](https://wikipedia.org/wiki/Markov_chain), названный в честь русского математика Андрея Маркова, используется для описания последовательности возможных событий на основе предыдущего состояния.
|
|
|
|
|
- 1957 [Персептрон](https://wikipedia.org/wiki/Perceptron) - это тип линейного классификатора, изобретенный американским психологом Фрэнком Розенблаттом, который лежит в основе достижений в области глубокого обучения.
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
- 1967 [Ближайший сосед](https://wikipedia.org/wiki/Nearest_neighbor) - это алгоритм, изначально разработанный для отображения маршрутов. В контексте ML он используется для обнаружения закономерностей.
|
|
|
|
|
- 1970 [Обратное распространение](https://wikipedia.org/wiki/Backpropagation) используется для обучения [нейронных сетей с прямой связью](https://wikipedia.org/wiki/Feedforward_neural_network).
|
|
|
|
|
- 1982 [Рекуррентные нейронные сети](https://wikipedia.org/wiki/Recurrent_neural_network) являются искусственными нейронными сетями, полученными из нейронных сетей прямой связи, которые создают временные графики.
|
|
|
|
|
|
|
|
|
|
✅ Проведите небольшое исследование. Какие еще даты являются ключевыми в истории ML и AI?
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
## 1950: Машины, которые думают
|
|
|
|
|
|
|
|
|
|
Алан Тьюринг, поистине замечательный человек, за которого проголосовала [общественность в 2019 году](https://wikipedia.org/wiki/Icons:_The_Greatest_Person_of_the_20th_Century) как величайшего ученого 20-го века, считается, что он помог заложить основу концепции "машины, которая может мыслить". Он боролся со скептиками и своей собственной потребностью в эмпирических доказательствах этой концепции, частично создав [Тест Тьюринга](https://www.bbc.com/news/technology-18475646), которые вы изучите на наших уроках NLP.
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
## 1956: Летний исследовательский проект в Дартмуте
|
|
|
|
|
|
|
|
|
|
"Летний исследовательский проект Дартмута по искусственному интеллекту был основополагающим событием для искусственного интеллекта как области", и именно здесь был придуман термин "искусственный интеллект" ([источник](https://250.dartmouth.edu/highlights/artificial-intelligence-ai-coined-dartmouth)).
|
|
|
|
|
|
|
|
|
|
> Каждый аспект обучения или любой другой признак интеллекта в принципе может быть описан настолько точно, что можно создать машину для его имитации.
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
Ведущий исследователь, профессор математики Джон Маккарти, надеялся "действовать на основе гипотезы о том, что каждый аспект обучения или любая другая особенность интеллекта в принципе могут быть настолько точно описаны, что для их моделирования может быть создана машина". Среди участников был еще один светило в этой области, Марвин Мински.
|
|
|
|
|
|
|
|
|
|
Семинару приписывают инициирование и поощрение нескольких дискуссий, в том числе "развитие символических методов, систем, ориентированных на ограниченные области (ранние экспертные системы), и дедуктивных систем по сравнению с индуктивными системами". ([источник](https://wikipedia.org/wiki/Dartmouth_workshop)).
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
## 1956 - 1974: "Золотые годы"
|
|
|
|
|
|
|
|
|
|
С 1950-х до середины 70-х годов оптимизм рос в надежде, что ИИ сможет решить многие проблемы. В 1967 году Марвин Мински уверенно заявил, что "В течение одного поколения... проблема создания "искусственного интеллекта" будет в значительной степени решена". (Мински, Марвин (1967), Вычисления: Конечные и бесконечные машины, Энглвуд-Клиффс, Нью-Джерси: Прентис-Холл)
|
|
|
|
|
|
|
|
|
|
исследования в области обработки естественного языка процветали, поиск был усовершенствован и стал более мощным, и была создана концепция "микромиров", где простые задачи выполнялись с использованием простых языковых инструкций.
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
Исследования хорошо финансировались правительственными учреждениями, были достигнуты успехи в вычислениях и алгоритмах, были созданы прототипы интеллектуальных машин. Некоторые из этих машин включают:
|
|
|
|
|
|
|
|
|
|
* [Робот Shakey](https://wikipedia.org/wiki/Shakey_the_robot), который мог маневрировать и решать, как "разумно" выполнять задачи.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
> Шейки в 1972 году
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
* Элиза, ранний "чат-бот", могла общаться с людьми и действовать как примитивный "терапевт". Вы узнаете больше об Элизе на уроках NLP.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
> Версия Элизы, чат-бота
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
* "Мир блоков" был примером микромира, в котором блоки можно было складывать и сортировать, а также проводить эксперименты по обучению машин принятию решений. Достижения, созданные с помощью библиотек, таких как [SHRDLU](https://wikipedia.org/wiki/SHRDLU) помогло продвинуть обработку языка вперед.
|
|
|
|
|
|
|
|
|
|
[](https://www.youtube.com/watch?v=QAJz4YKUwqw "мир блоков SHRDLU")
|
|
|
|
|
|
|
|
|
|
> 🎥 Нажмите на изображение выше для просмотра видео: Мир блоков SHRDLU
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
## 1974-1980: "Зима искусственного интеллекта"
|
|
|
|
|
|
|
|
|
|
К середине 1970-х годов стало очевидно, что сложность создания "интеллектуальных машин" была занижена и что ее перспективы, учитывая доступные вычислительные мощности, были преувеличены. Финансирование иссякло, и доверие к этой области снизилось. Некоторые проблемы, повлиявшие на доверие, включали:
|
|
|
|
|
---
|
|
|
|
|
- **Ограничения**. Вычислительная мощность была слишком ограничена.
|
|
|
|
|
- **Комбинаторный взрыв**. Количество параметров, необходимых для обучения, росло экспоненциально по мере того, как от компьютеров требовалось больше, без параллельной эволюции вычислительной мощности и возможностей.
|
|
|
|
|
- **Нехватка данных**. Нехватка данных затрудняла процесс тестирования, разработки и совершенствования алгоритмов.
|
|
|
|
|
- **Задаем ли мы правильные вопросы?**. Сами вопросы, которые задавались, начали подвергаться сомнению. Исследователи начали подвергать критике свои подходы:
|
|
|
|
|
- Тесты Тьюринга были поставлены под сомнение, среди прочего, с помощью "теории китайской комнаты", которая утверждала, что "программирование цифрового компьютера может создать впечатление, что он понимает язык, но не может обеспечить реальное понимание". ([источник](https://plato.stanford.edu/entries/chinese-room/))
|
|
|
|
|
- Этика внедрения в общество искусственного интеллекта, такого как "терапевт" ЭЛИЗА, была поставлена под сомнение.
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
В то же время начали формироваться различные школы ИИ. Была установлена дихотомия между практиками ["неряшливого" и "чистого ИИ"](https://wikipedia.org/wiki/Neats_and_scruffies). Приверженцы _неряшливого ИИ_ часами корректировали программы, пока не получали желаемых результатов. Приверженцы _Чистого ИИ_ "сосредоточены на логике и решении формальных задач". ЭЛИЗА и SHRDLU были хорошо известными _неряшливыми_ системами. В 1980-х годах, когда возник спрос на то, чтобы сделать системы машинного обучения воспроизводимыми, _Чистый_ подход постепенно вышел на передний план, поскольку его результаты более объяснимы.
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
## Экспертные системы 1980-х годов
|
|
|
|
|
|
|
|
|
|
По мере роста отрасли ее преимущества для бизнеса становились все более очевидными, а в 1980-х годах - и распространение "экспертных систем". "Экспертные системы были одними из первых по-настоящему успешных форм программного обеспечения искусственного интеллекта (ИИ)". ([источник](https://wikipedia.org/wiki/Expert_system)).
|
|
|
|
|
|
|
|
|
|
Этот тип системы на самом деле _гибридными_, частично состоящий из механизма правил, определяющего бизнес-требования, и механизма вывода, который использует систему правил для вывода новых фактов.
|
|
|
|
|
|
|
|
|
|
В эту эпоху также все большее внимание уделялось нейронным сетям.
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
## 1987 - 1993: 'Охлаждение' к ИИ
|
|
|
|
|
|
|
|
|
|
Распространение специализированного оборудования экспертных систем привело к печальному результату - оно стало слишком специализированным. Появление персональных компьютеров также конкурировало с этими крупными специализированными централизованными системами. Началась демократизация вычислительной техники, и в конечном итоге она проложила путь к современному взрыву больших данных.
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
## 1993 - 2011
|
|
|
|
|
|
|
|
|
|
Эта эпоха ознаменовала новую эру для ML и ИИ, которые смогли решить некоторые проблемы, возникшие ранее из-за нехватки данных и вычислительной мощности. Объем данных начал быстро увеличиваться и становиться все более доступным, к лучшему и к худшему, особенно с появлением смартфона примерно в 2007 году. Вычислительная мощность росла экспоненциально, и вместе с ней развивались алгоритмы. Эта область начала набирать зрелость по мере того, как свободные дни прошлого начали превращаться в настоящую дисциплину.
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
## Сейчас
|
|
|
|
|
|
|
|
|
|
Сегодня машинное обучение и искусственный интеллект затрагивают практически все сферы нашей жизни. Эта эпоха требует тщательного понимания рисков и потенциальных последствий этих алгоритмов для человеческих жизней. Как заявил Брэд Смит из Microsoft, "Информационные технологии поднимают проблемы, которые лежат в основе защиты основных прав человека, таких как конфиденциальность и свобода выражения мнений. Эти проблемы повышают ответственность технологических компаний, которые создают эти продукты. На наш взгляд, они также требуют продуманного государственного регулирования и разработки норм, касающихся приемлемых видов использования" ([источник](https://www.technologyreview.com/2019/12/18/102365/the-future-of-ais-impact-on-society/)).
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
Еще предстоит увидеть, что ждет нас в будущем, но важно понимать эти компьютерные системы, а также программное обеспечение и алгоритмы, которыми они управляют. Мы надеемся, что эта учебная программа поможет вам лучше понять, чтобы вы могли принять решение самостоятельно.
|
|
|
|
|
|
|
|
|
|
[](https://www.youtube.com/watch?v=mTtDfKgLm54 "История глубокого обучения")
|
|
|
|
|
> 🎥 Нажмите на изображение выше, чтобы посмотреть видео: Yann LeCun обсуждает историю глубокого обучения в этой лекции
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
## 🚀Вызов
|
|
|
|
|
|
|
|
|
|
Погрузитесь в один из этих исторических моментов и узнайте больше о людях, стоящих за ними. Есть увлекательные персонажи, и ни одно научное открытие никогда не создавалось в культурном вакууме. Что вы обнаружите?
|
|
|
|
|
|
|
|
|
|
## [Тест после лекции](https://white-water-09ec41f0f.azurestaticapps.net/quiz/4/)
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
## Обзор и самообучение
|
|
|
|
|
|
|
|
|
|
Вот что можно посмотреть и послушать:
|
|
|
|
|
|
|
|
|
|
[Этот подкаст, в котором Эми Бойд обсуждает эволюцию ИИ](http://runasradio.com/Shows/Show/739)
|
|
|
|
|
|
|
|
|
|
[](https://www.youtube.com/watch?v=EJt3_bFYKss "История искусственного интеллекта от Эми Бойд")
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
## Задание
|
|
|
|
|
|
|
|
|
|
[Создайте временную шкалу](assignment.ru.md)
|
Nikolay Kondratyev
4 years ago