🍏
8月25日学习交流会

2024年8月18日创建

727

846

💡

会议主题：深度学习入门班-李宏毅深度学习怎么学：机器学习基础-线性模型篇​

会议时间：学习交流会第一场8月25号晚20：00

会议地点：腾讯会议+直播间

会议录制：

Q1：
有疑问的知识	自己怎么理解的	其他学习者观点
不同误差计算方法区别或者说什么时候该用某一种计算方法2.对于学习率概念不理解3.为什么局部最小值是个假问题		误差函数可以选比较容易产生更少问题的函数。比如为了解决局部极小值的问题，可以选凸函数作为损失函数。学习率相当于训练时，为了减少损失调整的参数步长。
Q2：
有疑问的知识	自己怎么理解的	其他学习者观点
不理解为什么局部最小值是个假问题，是指只要画出所有的w,b的Loss等高线图，就能找到最小值吗？
Q3：
有疑问的知识	自己怎么理解的	其他观点
有一点基础，听起来比较易懂，btw怎么平衡看书看视频和做笔记啊？用typora打感觉好废时间。		• 三个可以一起干 • 对着视频看书做笔记，不懂的再百度查 • 先看书，看不懂的地方，看视频就会有目标 • 简单的内容看书，复杂的书和视频都看，赞成jackie
Q4：
有疑问的知识	自己怎么理解的	其他观点
为何线性回归不存在局部最小值，其损失函数为何为凸函数？		因为线性回归常用的损失函数是平方误差损失，可以了解一下它的计算公式，它是一个凸函数，即二阶导为半正定。因为凸函数的这个性质，它的极值就是最值，即局部最小值就是全局最小值。
Q5：
有疑问的知识	自己怎么理解的	其他观点
为什么局部最小值是假命题？		因为可以自主调整损失函数使其没有局部最小值，是容易解决的问题。比起这个小问题，过拟合等问题才是更需要解决的问题吧。
Q6：
有疑问的知识	自己怎么理解的	其他观点
在机器学习的过程中，我们已知的信息是输入，输入的值又往往表示为x(常常为向量)，未知的信息，是预设的模型参数(根据自己的经验，将模型设置为含有未知参数的某种函数)。所以在梯度下降的过程中，我们会根据损失函数对模型参数求导。 1. 为什么不直接求极值点？从而得到比较好的参数组合？ 2. 另外，感觉以前的学习都是对x求导，然后找到梯度为0的点，参数好像是已知的？感觉有点参数和自变量角色互换？	1. 很多函数不好解梯度为0的方程？不好找？ 2. 可能梯度下降这里就是参数就是自变量，需要寻找的就是参数的最优组合。	• 并不是每个问题都能算出解析解 • 他的意思就是不太理解现在用参数，我觉得是因为现在已知条件是x和y的关系，我们是要预测该函数之后的样子，所以要用已知的x和y来算出匹配的关系式（参数），然后再去利用匹配的关系式结合输入x算未知的y • 这里我们是要求出一个模型，其中x是已知的输入，参数才是未知的量。 • 线性回归的损失函数其实写成矩阵形式可以直接用最小二乘的方法求梯度为0的点的（满足X可逆）。但有的损失函数不太好求（在多维的情况下？）
Q7：
有疑问的知识	自己怎么理解的	其他观点
请问什么是交叉熵？什么时候会用交叉熵来做损失函数呢？		• 主要用于度量同一个随机变量X的预测分布Q与真实分布P之间的差距，反映的是困难程度。使用交叉熵还因为它有一个特性是其他损失函数不容易替代的，就是交叉熵更强烈的惩罚错误的输出。如果有非常错误的输出，它的值就会变化很大，反馈很强，并且导数更大。 • 交叉熵：主观概率和客观概率信息量的惊讶差异 • 信息熵可以理解为期望，交叉熵可以比较两个分布的差异
Q8：
有疑问的知识	自己怎么理解的	其他观点
• 研究方向与本次深度学习相关-网上寻找资料，了解到AI夏令营->优秀学习者/优秀助教 • 夏令营第一次接触深度学习详解 • 动手写代码实践 • 关于学习笔记：每个人的记录方式不一样 • 苹果书如何记笔记：第一次在PDF版本批注，大概有一定的了解，之后进行代码实践，尝试将本章的知识按照费曼学习法输出 • 学习本次深度学习详解需要什么数学基础：线性代数、高等数学、概率论-向量空间相关知识点、梯度下降，推荐B站UP主-3蓝一绿（3blue1green）、推荐李航统计学习方法对本次知识点的理解		• 苹果书最适合零基础哈，机器学习可以看西瓜书，然后深度学习可以跟着李沐那本《动手学深度学习》 • 原来如此，如果我直接从深度学习往下挖的话也就是说没必要去看西瓜书是吗？ • 我想要一个小米平板使用的PDF的编辑查看器，之前都没有找到比较好用的软件。-onenote也可以试试 • datawhale也有torch实战项目 • 苹果书是什么意思
Q9：
有疑问的知识	自己怎么理解的	其他观点
• 代码基础不好怎么办：知道每个模型是怎么用的/做什么任务-逻辑回归（分类），然后做一些小实验，每个模型都自己尝试 • 零基础不要害怕：享受快乐 • 学习材料推荐：花书（deep learning），不明白的地方多读几次 •		• 觉得晦涩的不要对着啃还有我看我们的网站，学习资料还是有点儿多，什么节奏去学，跟着学习路线，还想了解一下组队学是个什么模式？ • 西瓜书是什么？ • 可以解释一下一个完整的深度学习的流程吗 • 请问这个分享者是精读哪俩本书呢？-西瓜书、南瓜书（吃瓜教程--Datawhale公众号搜西瓜书）、苹果书（深度学习详解）、An Introduction to Statistical Learning • 如何优化特征，参数 • 鸢尾花书系列推荐学基础吗？--鸢尾花书可视化不错，也是开源的书籍，和代码结合的，b站有配套的视频教程，不过我就看了几十页，可以试试看
Q10：
有疑问的知识	自己怎么理解的	其他观点
• 什么时候参加夏令营？--Datawhale AI夏令营第四期 • 李宏毅老师主要是从简单原理带大家学习，实践非常有效 • 深度学习详解-对初学者友好 • 笔记：先看简单代码-垃圾邮件过滤、沿着知识点做知识导图
Q11：
有疑问的知识	自己怎么理解的