【Datewhale一起吃瓜 Task5】啃瓜第六章

最新推荐文章于 2026-06-21 22:30:37 发布
原创 最新推荐文章于 2026-06-21 22:30:37 发布 · 460 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#深度学习 #人工智能
本文介绍了M-P神经元模型、多层前馈网络、BP算法等核心概念，并探讨了如何通过早停和正则化来缓解过拟合问题。

文章目录

M-P 神经元模型

神经元接受数据，根据各自权重输入进激活函数，输出值与阈值比较后，得出结果作为该神经元的输出结果
在这里插入图片描述

激活函数

在这里插入图片描述

多层前馈网络

多层网络：包括隐层的网络
前馈网络：神经元之间不存在同层连接也不存在跨层连接
隐层和输出层神经元亦称“功能单元”
在这里插入图片描述

万有逼近性

仅需一个包含足够多神经元的隐层，多层前馈神经网络就能以任意精度逼近任意复杂度的连续函数

但是，设置隐层神经元数是未决问题，实际常用试错法

BP算法推导

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

缓解过拟合

早停

  • 训练误差连续a轮的变化小于b，停止训练
  • 使用验证集，若训练误差降低，验证误差升高，则停止训练

正则化

误差目标函数中增加描述网络复杂度
在这里插入图片描述

深度学习
hawkcici160的博客
09-03 1517
《Neural Networks and Deep Learning》学习笔记——《Neural Networks and Deep Learning》是Michael Nielsen 所著的一本神经网络与深度学习的在线学习教材，通过Python(+Theano)实现神经网络识别MNIST手写数据集，生动易懂的讲解了神经网络与深度学习的基本原理，是一本非常不错的入门教材。本文是对其学习的总结。 ...
万能近似定理
luoganttcc的博客
02-10 4106
Cybenko 等人于 1989 年证明了具有隐含层最少一层感知机神经网络在激励函数也称激活函数为 Sigmoid 函数的情况下具有逼近任何函数的作用。Hornik 等人在 1991 年进一步证明激励函数为任何非常数函数的情况同样适用。这就是著名的万能逼近定理。也就是一个仅有单隐含层的神经网络在神经元个数足够多的情况下通过非线性的激活函数足以拟合任意函数。
机器学习（5）
Ab_stupid的博客
10-11 168
神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应”“神经网络学习”亦称学习。
如果训练集均方误差下降，而验证集的均方误差上升，过拟合了没？
weixin_42593701的博客
01-11 423
是的，如果训练集均方误差下降而验证集均方误差上升，通常表明模型出现了过拟合。这意味着模型在训练集上的表现很好，但在新数据(验证集)上的表现却不如预期。过拟合会导致模型对训练集中的噪声数据过于敏感，从而无法在新数据上进行有效的预测。 ...
机器学习笔记：MLP的万能逼近特性（ Universal Approximation Property）
qq_40206371的博客
10-07 1237
万能逼近特性展示浅层神经网络的巨大潜能，当然是，因此并不实用。
吃瓜第四弹——神经网络初步
m0_55354258的博客
10-23 943
这个系列是笔者个人在学习机器学习时的一些总结和心得体会，本文主要内容是对于西瓜书第五章神经网络的相关理论内容进行总结。主要是自我学习的整理总结，如果能够帮助到你理解机器学习的内容就更好了！
神经网络的万能逼近定理
weixin_42324577的博客
03-15 4251
这是我见过的讨论神经网络万有逼近问题的最好的文章。在文章中，给出了最清晰，简洁的构造性证明。揭示了它的本质。 三十年前，我们接触到神经网络的万有逼近问题。发表了几篇文章。这些文章把神经网络能力的来历、优点、缺点，都已讲清楚了。此博文中介绍的论文是 1990 年 Le Page 组织的一个会议的 Invited paper. 一维阶梯函数的线性组合能逼近任何连续一维连续函数。 Sigmoidal 函数可以逼近阶梯函数。因此,一维Sigmoidal函数的线性组合能逼近任何连续函数。 把坐标轴在R^{n}中沿各个
有什么简单的神经网络万有逼近定理证明方法？
studyvcmfc的专栏
10-30 741
https://www.zhihu.com/question/47175671
深度学习周报（6.8~6.14）
m0_57788739的博客
06-14 292
本周主要在上周的基础上对基线模型进行了训练，同时对预处理部分进行了完善。下周努力一把把剩下的主体都搞了，同时对比一下两个模型的效果，同时训练的时候为了固定结果可以加一个随机种子。
吴恩达《深度学习》之看懂Adam 优化算法
m0_74435839的博客
06-15 293
Adam优化算法是深度学习中广泛使用的优化器，它结合了动量梯度下降和RMSprop的优点，通过自适应调整学习率来提高训练效率。文章从物理角度形象解析了Adam的核心机制：动量项（一阶矩）减少参数更新的震荡，而梯度平方项（二阶矩）根据地形陡峭程度自动调节步长（陡峭时减速，平缓时加速）。PyTorch中只需简单调用optim.Adam即可实现这一复杂过程。尽管Adam通用性强，但某些场景（如CV任务）仍可能使用SGD-Momentum以获得更精确的解。全文通过“小球下山”的比喻，生动揭示了数学公式背后的动态调节
学习长短期记忆网络lstm
qq_52122048的博客
06-17 375
Ct可能是-2到2之间，所以后面再来一个tanh缩小范围-1到1之间。
Python全栈项目--基于深度学习的自动驾驶模拟系统
exlink2012的专栏
06-17 661
本文介绍了一个基于深度学习的自动驾驶模拟系统全栈项目，包含以下核心内容： 系统架构：采用前后端分离设计，Python+FastAPI处理后端逻辑和深度学习模拟，Vue3构建前端交互界面。 功能模块： 用户认证（JWT+bcrypt加密） 场景配置（道路类型/天气/交通密度） 自动驾驶模拟（车道线识别/障碍物检测/碰撞风险评估） 数据看板展示 技术特点： 轻量级SQLite数据库存储 完整的认证流程实现 可扩展的深度学习模拟框架 响应式前端界面 学习价值：项目提供了完整的开发流程和可运行源码，适合作为深度学习
LSTM预判+速度门控双保险自愈
2301_77211362的博客
06-21 170
模块功能LSTM 预判预警分析历史通量/应力序列，预测未来失稳风险（如裂纹萌生）Speed-Gated 自愈实时监测通量变化率（速度），当超过阈值时自动增强修复强度双重触发机制满足任一条件（预判高风险 或 实际失稳）即启动自愈动态调节自愈强度随风险等级与速度同步变化。
深度学习稀疏编码与 PCA 的流形解释 —— 线性因子模型收官（八十一）
hello.reader
06-21 109
本文总结了线性因子模型的两个重要主题：稀疏编码和PCA的流形解释。稀疏编码通过L1范数约束实现因子稀疏性，其编码器是非参数的优化过程，虽能获得更优重构但计算效率较低。PCA可视为学习数据所在的低维线性流形（"薄饼"几何），通过保留方差最大的主成分实现降维，并可从线性自编码器角度理解其编码-解码过程。这些线性模型为后续自编码器等深度表示学习模型奠定了基础，同时也揭示了线性方法的局限性，如稀疏编码生成样本质量不佳的问题。文章通过几何动画和对比表格直观展示了关键概念的技术原理与优劣。
深度学习自编码器基础与欠完备自编码器 —— 复制的艺术（八十二）
hello.reader
06-21 210
自编码器不需要标签（用数据自身作监督信号，目标是重构 x），产出有用表示 h，能利用无标注的海量数据。非线性自编码器能找弯曲的流形（曲面），是 PCA 的强大推广，能捕捉更复杂的数据结构。上图展示自编码器的两个组件：编码器 f（x→h）和解码器 g（h→r），目标是 r 近似 x。上图展示欠完备自编码器的沙漏结构：编码维度（瓶颈，如 2 维）小于输入维度（如 8 维）。也有更具生物学意义的**再循环（recirculation）**算法（比较原始输入与重构输入的激活），但很少用于实际。
深度学习自编码器的概率视角与流形学习 —— 编码器即分布（八十四）
hello.reader
06-21 47
上图总结自编码器的概率视角三层次：确定函数（h=f(x), r=g(h)，传统自编码器）→ 概率分布（p(h|x), p(x|h)，随机自编码器）→ 生成模型（近似后验+似然+先验，VAE）。上图展示流形的经典例子：把一张 MNIST 图像垂直平移，所有平移版本在 784 维空间中构成一条 1 维流形（弯曲路径），平移量就是沿流形的坐标。把编码器/解码器从函数推广为分布，再加上对隐变量先验的建模和变分下界，就得到了 VAE——一个真正的深度生成模型。前两篇讲了自编码器的结构（82）和正则化（83）。
基于深度学习的目标跟踪综述（A review of object tracking based on deep learningq）
2301_78173237的博客
06-17 356
随着深度学习技术的快速发展，目标跟踪算法的发展也随之兴起。鉴于目标、骨干网络和应用方法的多样性，本研究旨在综合整合现有的目标跟踪方法。我们提出了一种基于应用场景和主要方法的系统分类方案，伴随着对每个类别的透彻分析和简明摘要。这种方法提供了更广泛的跟踪技术覆盖面，便于新手研究人员更快地理解该领域。此外，我们提出了标准化的评估指标和广泛使用的数据集，包括在相同的基准上对选定算法进行跨方法性能比较，以增强读者对上下文的理解。最后，我们对当前的局限性、实用建议和前瞻性观点进行了批判性评估，以指导未来的研究方向。
深入浅出 RNN 反向传播与梯度消失
weixin_48609829的博客
06-21 390
title: 深入浅出 RNN 反向传播与梯度消失tags: Agent开发, 深度学习, 算法基础excerpt: 详细解析 RNN 的随时间反向传播（BPTT）过程。从底层的前向信息流，到严谨的微积分链式法则，直击全导数展开与连乘导致梯度消失的数学本质。循环神经网络（RNN）的核心优势在于处理带有序列依赖的数据。在训练阶段，这种处理时间序列的“记忆”特性，使得其反向传播算法（Backpropagation Through Time, BPTT）比传统的前馈神经网络多了一个关键的时间维度。
开源计算机视觉项目easy12306深度剖析：基于深度学习的12306验证码识别算法原理与本地部署实战指南
最新发布
wulechun的博客
06-21 222
easy12306不仅是一个实用的验证码识别工具，更是一个优秀的深度学习入门教材。它展示了如何将复杂的现实问题（验证码识别）转化为计算机可以理解的数学模型。对于开发者而言，掌握该项目不仅能解决具体的抢票难题，更能深入理解卷积神经网络在图像分类领域的强大威力。随着AI技术的对抗升级，虽然12306的验证码机制在不断变化，但easy12306所代表的技术思路依然具有极高的参考价值。
深度学习时候d2l报错和使用问题
qq_52122048的博客
06-16 281
解决AttributeError: module ‘d2l.torch‘ has no attribute ‘load_data_time_machine‘_attributeerror: module 'torch' has no attribute 'l-CSDN博客。【d2l包】关于李沐《动手学深度学习》中的attributeerror: module ‘d2l.torch‘ has no attribute ‘train_ch3‘问题_d2l.train_ch3报错-爱代码爱编程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

有理想、有本领、有担当的有志青年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值