20 KiB
История машинного обучения
Заметка Томоми Имура
Тест перед лекцией
На этом уроке мы рассмотрим основные вехи в истории машинного обучения и искусственного интеллекта.
История искусственного интеллекта (ИИ) как области переплетается с историей машинного обучения, поскольку алгоритмы и вычислительные достижения, лежащие в основе ML, способствовали развитию ИИ. Полезно помнить, что, хотя эти области как отдельные области исследований начали образовываться в 1950-х годах, важные алгоритмические, статистические, математические, вычислительные и технические открытия предшествовали и происходили в эту эпоху. На самом деле, люди думали об этих вопросах в течение сотен лет: в этой статье рассматриваются исторические интеллектуальные основы идеи "мыслящей машины".
Заметные открытия
- 1763, 1812 Теорема Байеса и ее предшественники. Эта теорема и ее приложения лежат в основе вывода, описывающего вероятность события, происходящего на основе предварительных знаний.
- 1805 Теория наименьших квадратов французского математика Адриена-Мари Лежандра. Эта теория, о которой вы узнаете в нашем блоке регрессии, помогает в аппроксимации данных.
- 1913 Цепи Маркова, названный в честь русского математика Андрея Маркова, используется для описания последовательности возможных событий на основе предыдущего состояния.
- 1957 Персептрон - это тип линейного классификатора, изобретенный американским психологом Фрэнком Розенблаттом, который лежит в основе достижений в области глубокого обучения.
- 1967 Ближайший сосед - это алгоритм, изначально разработанный для отображения маршрутов. В контексте ML он используется для обнаружения закономерностей.
- 1970 Обратное распространение используется для обучения нейронных сетей с прямой связью.
- 1982 Рекуррентные нейронные сети являются искусственными нейронными сетями, полученными из нейронных сетей прямой связи, которые создают временные графики.
✅ Проведите небольшое исследование. Какие еще даты являются ключевыми в истории ML и AI?
1950: Машины, которые думают
Алан Тьюринг, поистине замечательный человек, за которого проголосовала общественность в 2019 году как величайшего ученого 20-го века, считается, что он помог заложить основу концепции "машины, которая может мыслить". Он боролся со скептиками и своей собственной потребностью в эмпирических доказательствах этой концепции, частично создав Тест Тьюринга, которые вы изучите на наших уроках NLP.
1956: Летний исследовательский проект в Дартмуте
"Летний исследовательский проект Дартмута по искусственному интеллекту был основополагающим событием для искусственного интеллекта как области", и именно здесь был придуман термин "искусственный интеллект" (источник).
Каждый аспект обучения или любой другой признак интеллекта в принципе может быть описан настолько точно, что можно создать машину для его имитации.
Ведущий исследователь, профессор математики Джон Маккарти, надеялся "действовать на основе гипотезы о том, что каждый аспект обучения или любая другая особенность интеллекта в принципе могут быть настолько точно описаны, что для их моделирования может быть создана машина". Среди участников был еще один светило в этой области, Марвин Мински.
Семинару приписывают инициирование и поощрение нескольких дискуссий, в том числе "развитие символических методов, систем, ориентированных на ограниченные области (ранние экспертные системы), и дедуктивных систем по сравнению с индуктивными системами". (источник).
1956 - 1974: "Золотые годы"
С 1950-х до середины 70-х годов оптимизм рос в надежде, что ИИ сможет решить многие проблемы. В 1967 году Марвин Мински уверенно заявил, что "В течение одного поколения... проблема создания "искусственного интеллекта" будет в значительной степени решена". (Мински, Марвин (1967), Вычисления: Конечные и бесконечные машины, Энглвуд-Клиффс, Нью-Джерси: Прентис-Холл)
исследования в области обработки естественного языка процветали, поиск был усовершенствован и стал более мощным, и была создана концепция "микромиров", где простые задачи выполнялись с использованием простых языковых инструкций.
Исследования хорошо финансировались правительственными учреждениями, были достигнуты успехи в вычислениях и алгоритмах, были созданы прототипы интеллектуальных машин. Некоторые из этих машин включают:
-
Робот Shakey, который мог маневрировать и решать, как "разумно" выполнять задачи.
Шейки в 1972 году
-
Элиза, ранний "чат-бот", могла общаться с людьми и действовать как примитивный "терапевт". Вы узнаете больше об Элизе на уроках NLP.
Версия Элизы, чат-бота
-
"Мир блоков" был примером микромира, в котором блоки можно было складывать и сортировать, а также проводить эксперименты по обучению машин принятию решений. Достижения, созданные с помощью библиотек, таких как SHRDLU помогло продвинуть обработку языка вперед.
🎥 Нажмите на изображение выше для просмотра видео: Мир блоков SHRDLU
1974-1980: "Зима искусственного интеллекта"
К середине 1970-х годов стало очевидно, что сложность создания "интеллектуальных машин" была занижена и что ее перспективы, учитывая доступные вычислительные мощности, были преувеличены. Финансирование иссякло, и доверие к этой области снизилось. Некоторые проблемы, повлиявшие на доверие, включали:
- Ограничения. Вычислительная мощность была слишком ограничена.
- Комбинаторный взрыв. Количество параметров, необходимых для обучения, росло экспоненциально по мере того, как от компьютеров требовалось больше, без параллельной эволюции вычислительной мощности и возможностей.
- Нехватка данных. Нехватка данных затрудняла процесс тестирования, разработки и совершенствования алгоритмов.
- Задаем ли мы правильные вопросы?. Сами вопросы, которые задавались, начали подвергаться сомнению. Исследователи начали подвергать критике свои подходы:
- Тесты Тьюринга были поставлены под сомнение, среди прочего, с помощью "теории китайской комнаты", которая утверждала, что "программирование цифрового компьютера может создать впечатление, что он понимает язык, но не может обеспечить реальное понимание". (источник)
- Этика внедрения в общество искусственного интеллекта, такого как "терапевт" ЭЛИЗА, была поставлена под сомнение.
В то же время начали формироваться различные школы ИИ. Была установлена дихотомия между практиками "неряшливого" и "чистого ИИ". Приверженцы неряшливого ИИ часами корректировали программы, пока не получали желаемых результатов. Приверженцы Чистого ИИ "сосредоточены на логике и решении формальных задач". ЭЛИЗА и SHRDLU были хорошо известными неряшливыми системами. В 1980-х годах, когда возник спрос на то, чтобы сделать системы машинного обучения воспроизводимыми, Чистый подход постепенно вышел на передний план, поскольку его результаты более объяснимы.
Экспертные системы 1980-х годов
По мере роста отрасли ее преимущества для бизнеса становились все более очевидными, а в 1980-х годах - и распространение "экспертных систем". "Экспертные системы были одними из первых по-настоящему успешных форм программного обеспечения искусственного интеллекта (ИИ)". (источник).
Этот тип системы на самом деле гибридными, частично состоящий из механизма правил, определяющего бизнес-требования, и механизма вывода, который использует систему правил для вывода новых фактов.
В эту эпоху также все большее внимание уделялось нейронным сетям.
1987 - 1993: 'Охлаждение' к ИИ
Распространение специализированного оборудования экспертных систем привело к печальному результату - оно стало слишком специализированным. Появление персональных компьютеров также конкурировало с этими крупными специализированными централизованными системами. Началась демократизация вычислительной техники, и в конечном итоге она проложила путь к современному взрыву больших данных.
1993 - 2011
Эта эпоха ознаменовала новую эру для ML и ИИ, которые смогли решить некоторые проблемы, возникшие ранее из-за нехватки данных и вычислительной мощности. Объем данных начал быстро увеличиваться и становиться все более доступным, к лучшему и к худшему, особенно с появлением смартфона примерно в 2007 году. Вычислительная мощность росла экспоненциально, и вместе с ней развивались алгоритмы. Эта область начала набирать зрелость по мере того, как свободные дни прошлого начали превращаться в настоящую дисциплину.
Сейчас
Сегодня машинное обучение и искусственный интеллект затрагивают практически все сферы нашей жизни. Эта эпоха требует тщательного понимания рисков и потенциальных последствий этих алгоритмов для человеческих жизней. Как заявил Брэд Смит из Microsoft, "Информационные технологии поднимают проблемы, которые лежат в основе защиты основных прав человека, таких как конфиденциальность и свобода выражения мнений. Эти проблемы повышают ответственность технологических компаний, которые создают эти продукты. На наш взгляд, они также требуют продуманного государственного регулирования и разработки норм, касающихся приемлемых видов использования" (источник).
Еще предстоит увидеть, что ждет нас в будущем, но важно понимать эти компьютерные системы, а также программное обеспечение и алгоритмы, которыми они управляют. Мы надеемся, что эта учебная программа поможет вам лучше понять, чтобы вы могли принять решение самостоятельно.
🎥 Нажмите на изображение выше, чтобы посмотреть видео: Yann LeCun обсуждает историю глубокого обучения в этой лекции
🚀Вызов
Погрузитесь в один из этих исторических моментов и узнайте больше о людях, стоящих за ними. Есть увлекательные персонажи, и ни одно научное открытие никогда не создавалось в культурном вакууме. Что вы обнаружите?
Тест после лекции
Обзор и самообучение
Вот что можно посмотреть и послушать:
Этот подкаст, в котором Эми Бойд обсуждает эволюцию ИИ
