微学习02 | 机器学习原理和损失函数详解
输入“/”快速插入内容
🚍微学习02 | 机器学习原理和损失函数详解
微学习02 | 机器学习原理和损失函数详解
2025年3月3日修改
3443
3565
2
1.
Basic Concepts of Machine Learning
1.1
机器学习的定义
对于任何新鲜事物，我们都需要探究一个根本问题——究竟什么是机器学习（What is it）？
一个直观的例子是教小朋友识别动物 —— 最初，小朋友可能通过死记硬背来学习，比如“猫有尖耳朵，狗的尾巴翘起”。传统编程方式也是如此，需要人为制定这些规则并写入计算机。然而，这种方法存在局限性：如果出现一只既有猫的尖耳朵，又有狗的卷尾巴的动物，孩子就会困惑，程序也会无法正确分类。
而人的学习方式并非如此，我们不会仅靠死记硬背，而是通过大量观察，逐渐归纳出更抽象的特征，比如“猫更灵活，狗更爱摇尾巴”。机器学习正是模拟了这一过程——它不依赖手写规则，而是通过观看成千上万张猫狗的照片，自主总结模式，并在看到新图片时进行判断
曾有两位著名学者对机器学习进行了系统性的定义
•
Arthur Samuel(1959)：机器学习是计算机科学的一个子领域，赋予了计算机在没有被显式编程的情况下学习的能力（Ability to Learn without being explicitly programmed）
•
Tom Mitchell(1997)：假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得了性能改善，则我们就说关于T和P，该程序对E进行了学习（A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P if its performance at tasks in T, as measured by P, improves with experience E）
从这些定义可以看出，机器学习的核心在于经验驱动的自动优化，即让机器通过数据不断调整自身，提高任务表现
1.2
机器学习和统计方法的区别
机器学习与统计学虽然都试图从数据中提取信息，但它们的目标、方法和应用场景存在显著区别
•
统计学关注数据的可解释性，主要用于推断数据背后的规律，例如假设检验、参数估计等
•
机器学习关注机器的预测能力，主要用于优化模型的泛化性能，解决现实世界中的问题
不同的侧重点也导致二者在研究问题的方法论上有很多不同。统计学会关心统计量服从什么分布、假设检验是否显著、模型拟合是否合理等问题。而机器学习关心的是跟提高预测效果直接相关的问题，比如怎样设计模型或目标函数、怎样训练、怎样提高算法效率等
至于二者产生区别的原因，主要被认为是发展的时代不同
•
传统统计学在计算机出现前就开始发展了，那个时候的数据规模都很小，方差和噪声很大，往往不能代表变量的真实分布。所以统计学倾向于讨论在小规模数据上得出的模型或结论是否真实可信，逐渐形成体系研究方法
•
而机器学习主要的发展在上世纪八九十年代，那时算力和数据规模已经有了明显的提升。且因为有大数定理的保证，数据的置信度已经不是影响模型的主要因素了，所以机器学习将研究重点转向如何更好提升模型的预测效果。但尽管机器学习发展迅速，在数据稀缺的领域（比如医疗和生物）依然不容易得到大规模的数据，所以统计学的方法仍不可或缺
1.3
机器学习模型的种类
如同了解军事力量需知兵种构成，掌握机器学习需明确其技术分支
从历史出发，我们知道归纳学习涵盖监督学习和非监督学习。我们可以简单的以如下几个问题来判断/区分机器学习的种类
按是否有标签数据：
•
监督学习（Supervised Learning）：使用带有标注的训练数据，学习输入与输出之间的映射关系（如分类与回归）
•
无监督学习（Unsupervised Learning）：从未标注数据中发现模式（如聚类和降维）
•
半监督学习（Semi-Supervised Learning）：部分数据有标签，部分无标签，结合监督和无监督方法训练
•
强化学习（Reinforcement Learning）：通过奖励机制和试错探索实现学习，广泛应用于游戏和机器人控制
按学习方式：
•
批量学习（Batch Learning）：一次性使用全部数据进行训练，适用于静态数据集
•
在线学习（Online Learning）：逐步学习新数据，适用于动态变化的环境
按模型结构：
•
基于实例的学习（Instance-Based Learning）：将新数据与已有数据直接比较（如KNN）