11 KiB
机器学习的历史
草图由 Tomomi Imura 绘制
课前测验
🎥 点击上方图片观看本课的简短视频。
在本课中，我们将回顾机器学习和人工智能历史上的重要里程碑。
人工智能（AI）作为一个领域的历史与机器学习的历史密不可分，因为支撑机器学习的算法和计算进步也推动了人工智能的发展。需要注意的是，尽管这些领域作为独立的研究方向在20世纪50年代开始成型，但重要的算法、统计、数学、计算和技术发现早在这一时期之前就已经出现并有所交集。事实上，人们已经思考这些问题数百年：这篇文章探讨了“会思考的机器”这一理念的历史性思想基础。
重要发现
- 1763年, 1812年 贝叶斯定理及其前身。这一定理及其应用奠定了推断的基础，描述了基于先验知识事件发生的概率。
- 1805年 最小二乘法，由法国数学家Adrien-Marie Legendre提出。这一理论（你将在回归单元中学习）有助于数据拟合。
- 1913年 马尔可夫链，以俄罗斯数学家Andrey Markov命名，用于描述基于前一状态的一系列可能事件。
- 1957年 感知机，一种由美国心理学家Frank Rosenblatt发明的线性分类器，是深度学习进步的基础。
- 1967年 最近邻算法，最初设计用于路径规划。在机器学习中，它被用来检测模式。
- 1970年 反向传播算法，用于训练前馈神经网络。
- 1982年 循环神经网络，从前馈神经网络衍生而来，用于创建时间序列图。
✅ 做一些研究。还有哪些年份在机器学习和人工智能的历史上具有重要意义？
1950年：会思考的机器
艾伦·图灵（Alan Turing）是一位真正杰出的人物，他在2019年被公众评选为20世纪最伟大的科学家。他被认为奠定了“会思考的机器”这一概念的基础。他通过创建图灵测试来应对质疑者以及自己对这一概念的实证需求，你将在自然语言处理课程中进一步探索这一测试。
1956年：达特茅斯夏季研究项目
“达特茅斯夏季人工智能研究项目是人工智能领域的一个开创性事件”，在这里，“人工智能”这一术语首次被提出（来源）。
学习的每一个方面或智能的任何其他特征原则上都可以被如此精确地描述，以至于可以制造出模拟它的机器。
该项目的首席研究员、数学教授John McCarthy希望“基于这样的假设：学习的每一个方面或智能的任何其他特征原则上都可以被如此精确地描述，以至于可以制造出模拟它的机器。”参与者中还包括该领域的另一位杰出人物Marvin Minsky。
该研讨会被认为启动并推动了多项讨论，包括“符号方法的兴起、专注于有限领域的系统（早期专家系统）以及演绎系统与归纳系统的对比”（来源）。
1956 - 1974年：“黄金时代”
从20世纪50年代到70年代中期，人们对人工智能能够解决许多问题充满乐观。1967年，Marvin Minsky自信地表示：“在一代人的时间内……创造‘人工智能’的问题将基本解决。”（Minsky, Marvin (1967), Computation: Finite and Infinite Machines, Englewood Cliffs, N.J.: Prentice-Hall）
自然语言处理研究蓬勃发展，搜索技术得到了改进并变得更强大，“微观世界”的概念被提出，在这种环境下，简单任务可以通过简单的语言指令完成。
政府机构为研究提供了充足的资金，计算和算法取得了进展，智能机器的原型被制造出来。这些机器包括：
-
Shakey机器人，它能够“智能地”移动并决定如何执行任务。
1972年的Shakey
-
Eliza，一个早期的“聊天机器人”，能够与人对话并充当一个原始的“治疗师”。你将在自然语言处理课程中进一步了解Eliza。
Eliza的一个版本，一个聊天机器人
-
“积木世界”是一个微观世界的例子，在这里积木可以被堆叠和排序，机器学习决策的实验可以在此进行。使用诸如SHRDLU之类的库的进步推动了语言处理的发展。
🎥 点击上方图片观看视频：SHRDLU的积木世界
1974 - 1980年：“人工智能寒冬”
到70年代中期，制造“智能机器”的复杂性被低估的事实变得显而易见，而其承诺在当时的计算能力下被过度夸大。资金枯竭，领域信心减弱。影响信心的一些问题包括：
- 局限性。计算能力过于有限。
- 组合爆炸。随着对计算机要求的增加，需要训练的参数数量呈指数增长，而计算能力和性能却没有相应提升。
- 数据匮乏。数据的匮乏阻碍了算法的测试、开发和优化过程。
- 我们是否在问正确的问题？。研究者开始质疑他们提出的问题：
- 图灵测试因“中文房间理论”等观点受到质疑，该理论认为，“编程数字计算机可能使其看似理解语言，但无法产生真正的理解。”（来源）
- 将人工智能（如“治疗师”ELIZA）引入社会的伦理问题受到挑战。
与此同时，各种人工智能学派开始形成。“粗放派”与“精确派”实践之间的二分法逐渐确立。_粗放派_实验室通过不断调整程序以获得所需结果，而_精确派_实验室则“专注于逻辑和形式化问题解决”。ELIZA和SHRDLU是著名的_粗放派_系统。到了80年代，随着对机器学习系统可重复性的需求增加，_精确派_方法逐渐占据主导地位，因为其结果更具可解释性。
1980年代 专家系统
随着领域的发展，其对商业的益处变得更加明显，1980年代“专家系统”的普及也随之而来。“专家系统是最早真正成功的人工智能（AI）软件形式之一。”（来源）
这种系统实际上是_混合型_的，部分由定义业务需求的规则引擎组成，部分由利用规则系统推导新事实的推理引擎组成。
这一时期还出现了对神经网络的日益关注。
1987 - 1993年：人工智能“冷却期”
专用专家系统硬件的普及不幸导致其过于专用化。个人计算机的兴起也与这些大型、专用、集中化的系统形成了竞争。计算的民主化开始了，并最终为现代大数据的爆发铺平了道路。
1993 - 2011年
这一时期见证了机器学习和人工智能能够解决早期因数据和计算能力不足而导致的问题。数据量开始迅速增加并变得更易获取，无论是好是坏，尤其是在2007年左右智能手机的出现之后。计算能力呈指数级增长，算法也随之演进。随着过去自由发展的日子逐渐凝聚成一个真正的学科，这一领域开始走向成熟。
现在
如今，机器学习和人工智能几乎触及我们生活的每一个部分。这一时代需要我们仔细理解这些算法对人类生活的风险和潜在影响。正如微软的Brad Smith所说：“信息技术提出了一些问题，这些问题触及了隐私和言论自由等基本人权保护的核心。这些问题加重了创造这些产品的科技公司的责任。在我们看来，这也需要深思熟虑的政府监管以及围绕可接受用途的规范发展。”（来源）
未来会如何发展仍未可知，但理解这些计算机系统及其运行的软件和算法是非常重要的。我们希望这门课程能帮助你更好地理解这些内容，从而让你自己做出判断。
🎥 点击上方图片观看视频：Yann LeCun在这次讲座中讨论了深度学习的历史
🚀挑战
深入研究这些历史时刻中的一个，了解背后的人物。这些人物非常有趣，没有任何科学发现是在文化真空中产生的。你发现了什么？
课后测验
复习与自学
以下是一些可以观看和收听的内容：
作业
免责声明：
本文档使用AI翻译服务 Co-op Translator 进行翻译。尽管我们努力确保翻译的准确性，但请注意，自动翻译可能包含错误或不准确之处。原始语言的文档应被视为权威来源。对于关键信息，建议使用专业人工翻译。我们不对因使用此翻译而产生的任何误解或误读承担责任。