现代机器学习研究进展 第三部分 学习范式与训练技巧 第20章 自监督学习：掩码建模与对比学习

原创 已于 2025-11-07 16:03:46 修改 · 85 阅读 · 0 GEO检测
标签
#机器学习 #算法 #人工智能
于 2025-11-07 16:02:44 首次发布

每一节都包含：数学表述 → 重要推导/证明 → 工程含义与实现技巧 → 超参/诊断建议。为方便阅读，先给出本章脉络：

  1. 掩码建模（Masked Modeling）理论与实现（MAE、BEiT）

  2. 对比学习（InfoNCE、SimCLR、MoCo）：目标、推导与比较

  3. 表征评估：线性探针、kNN、迁移实践与统计注意事项

  4. 对比学习 Pipeline 的可运行实现与线性探针评估流程（伪代码/要点）

  5. 掩码与对比的结合、跨模态对齐（CLIP 类）与理论观点

  6. 自监督综述、开问题与实践建议

20.1　自监督学习基础框架

了解本专栏 订阅专栏 解锁全文 超级会员免费看
现代机器学习研究进展 第三部分 学习范式与训练技巧 第 21 章 表征学习的可迁移性（Transferability of Representations）
VectorShift的博客
11-07 89
问题设定可迁移表征的两大核心要素信息性（informativeness）：表示应保留对下游任务有判别力的信息。通用性 / 抽象性（genericity）：表示不应过度包含仅对源任务相关的“噪声”或任务专属特征（task-specific nuisances）。我们下面用信息论工具与判别理论来量化这些要素。我们列出并详细推导若干常用指标，说明它们如何能（或不能）预测迁移性。如果下游任务与源标签接近（同域分类），监督预训练经常最优或足够好。若下游任务多样（分类/检索/检测），或。
人工智能技术白皮书 —— 你的AI入门手册
VectorShift的博客
08-09 1346
深入定义状态 (State, S)、动作 (Action, A)、奖励 (Reward, R) 以及状态转移概率 (Transition Probability, P)，构建一个完整的决策模型。强化学习是关于“决策”的科学，它让智能体（Agent）在与环境的持续互动中，通过试错和回报，学习一套能获得最大长期利益的最优行为策略。学习它，就是学习如何驱动机器的“想象力”。：一个迷宫地图，智能体（小机器人）在每个交叉口（状态）选择方向（动作），根据路径上的宝藏（奖励）或陷阱，更新自己的寻宝地图（策略）。
2021年ML和NLP依然发展迅速，DeepMind科学家最近总结了过去一年的十五项亮点研究方向，快来看看哪个方向适合做你的新坑_nlp近几年迅速发展
2501_90327220的博客
01-20 548
最近研究的一些模型，如T5和GPT-3，都使用了文本到文本的格式，这也成为了大规模多任务学习的训练基础。这种最新的方法强调了将自监督的预训练与有监督的多任务学习相结合的好处，并证明了两者的结合会得到更加通用的模型。考虑到这些模型的预期用途和生命周期，我们还应致力于在多语种环境中确定和减轻不同模式组合方面的偏见，以及在预训练模型的使用的不同阶段——预训练后、微调后和测试时——的偏见。基于似然的扩散模型，逐渐消除信号中的噪声，已经成为强大的新的生成模型，可以胜过GANs。
人工智能技术白皮书专栏 — 总目录与学习路线图
VectorShift的博客
06-14 164
本目录基于对 CSDN 专栏「人工智能技术白皮书」的扫描结果整理。该专栏共收录，由于 CSDN 未登录分页限制，以下目录基于已扫描到的构建，按主题分类合并，并给出学习路线图。未扫描到的文章可通过专栏首页继续浏览。
人工智能技术白皮书专栏 — 完整总目录
VectorShift的博客
06-14 148
本专栏《人工智能技术白皮书》系统整理了150余篇高质量AI技术文章，涵盖五大核心领域：1）基础理论与数学工具（概率论、张量计算等）；2）物理信息神经网络（PINN）与神经算子（含GL-FNO、PINNACLE等创新方法）；3）现代机器学习系统教材（模型架构、自监督学习等）；4）几何深度学习（GCN/GAT原理及群论应用）；5）大模型与生成式AI（Transformer架构解析、RAG实战、模型量化等）。专栏以理论推导结合工程实践为特色，平均质量分达87，为AI从业者提供体系化的学习路径。
18.AI大模型开发：机器学习----KNN算法
Tbisnic的博客
06-29 167
KNN算法：如果一个样本在特征空间中的K个最相似的样本中的大多数属于某一个类别，那么这个样本也属于这个类别。你邻居是啥样，你就是啥样。任务类型APIK值参数分类回归模块核心内容算法思想“近朱者赤，近墨者黑”——看最近的K个邻居相似度度量欧氏距离 d=∑(x1​−x2​)²K值太小过拟合，太大欠拟合，用交叉验证选最优分类K个邻居投票，多数取胜回归K个邻居取平均特征预处理必须做标准化！让特征在同一尺度交叉验证把数据分N份，轮流做验证集，取平均分网格搜索自动尝试多组超参数，返回最优组合混淆矩阵。
AI 学习之旅 · 阶段二：机器学习
AI_Encyc的博客
06-24 498
小明背下了所有练习题的答案，考试遇到新题就不会了 →过拟合小红理解了解题思路，遇到新题也能做对 →泛化能力强✅。
机器学习周报五十一
weixin_60864619的博客
06-28 289
本周阅读了论文Animatable 3D Gaussian，对LBS如何将高斯点映射到观测空间有了了解，形成对完整的高斯泼溅重建人体的流程的认识。3D gaussian Animate中的很多流程都比较复杂，但是其中的deformer模块还一直被继续使用到现在，已经对LBS蒙皮等操作的描述，让我了解到高斯泼溅重建人体的完整流程。
机器学习之集成学习AdaBoost
Shan1205的博客
06-27 867
但需要注意的是，AdaBoost 在每次迭代的时候并不只选取错题（错分类的样本），也会选择之前正确的题。每个弱分类器都是在前一轮弱分类器分类错误的样本加权后训练的，以此更加关注分类错误的样本，从而提高分类性能。可以把 AdaBoost算法类比为一个错题本，每个弱分类器都会形成一个错题本，在下一轮学习中，我们会针对错题本中的错误题目，更加用心地进行学习，以避免再犯相同的错误。我们为了更聚焦与错误分类的那些样本，要设计一种形式使得当分类错误的时候更大，分类正确的时候更小。那么，如何进行样本集的加权呢？
【机器学习入门】从零到一入门机器学习
2301_79484620的博客
06-27 273
本文基于B站课程笔记，系统梳理了机器学习基础知识体系。主要内容包括：1）机器学习与传统编程的区别，核心概念解析；2）三大学习分支（监督/无监督/强化学习）及典型算法；3）重点模型讲解（线性回归、决策树、随机森林、XGBoost等）；4）无监督学习技术（聚类、降维）；5）完整项目流程与实战建议。文章以通俗方式呈现数学原理和算法思想，强调"用数据解决问题"的工程思维，适合初学者构建知识框架，为后续实践奠定基础。建议结合课程视频和经典教材进行拓展学习。
AI底层系列:用C++实现线性代数的公式推导与算法设计-8.线性变化(1)
TCW1121的博客
06-28 224
  本节将介绍线性代数中非常重要的一类变化，即线性变化，该变化的基本思想与笔者在前方章节的奇思妙想中提出的概念不谋而合，从程序员的角度理解该变化是非常轻松的。  笔者在前方的章节提出过：向量是操纵和描述几何变化的一门语言，矩阵是封装向量语句得出的函数，对于向量是操纵和描述几何变化的语言这一角度在前方的章节中已经有非常明显且实用的体会了，而线性变化本质上就是后半部分：矩阵是封装向量语句得出的函数的体现，具体来说，对于矩阵方程Ax=b\boldsymbol{A}\boldsymbol{x} = \boldsym
【infra之路】LLM如何利用完整序列进行训练
sweet_ran的博客
06-29 461
本文揭示了Transformer训练过程的核心机制：单条序列通过因果掩码（Causal Mask）拆解为多组训练样本。对于长度为N的序列，模型通过掩码将上三角注意力权重设为-∞，确保每个位置仅可见前序token，从而一次性并行生成N-1个预测目标（如输入"我"→预测"喜欢"）。训练时，所有位置的交叉熵损失通过单次前向/反向传播同步计算，极大提升效率，而推理时需逐token生成。代码层面通过截取输入/标签（input_ids[:, :-1]和[:, 1:]）及自动掩码实现，体现"训练时批改整卷，推理时逐步解题
机器学习：10.聚类
Open__Ai的博客
06-25 746
本文系统地介绍了机器学习中几种核心的聚类算法。文章从无监督学习的基本概念出发，详细讲解了基于划分的 K-Means 算法（包括其迭代流程、质心更新、距离度量及 K-Means++ 和肘部法则等优化技巧）、基于概率模型的高斯混合模型 (GMM) 与 EM 算法（阐述了其软聚类的思想及与 K-Means 的联系）、基于密度的 DBSCAN 算法（能够发现任意形状的簇并识别噪声点），以及层次聚类（自底向上与自顶向下的策略）。最后总结了聚类算法在文本挖掘、推荐系统、图像处理等领域的广泛应用。
【机器学习】线性回归
I_Like_S_的博客
06-29 228
b。
机器学习特征工程：从原始数据到模型输入
谁念西风独自凉
06-23 283
数值特征：标准化/归一化是基础，对数变换处理偏态类别特征：低基数用 One-Hot，高基数用目标编码时间特征：周期编码（sin/cos）比直接用数值更好特征选择：先过滤（快速），再包装（精确），最后嵌入（模型驱动）Pipeline：把所有步骤封装为可复现的流水线。
机器学习基础一文速通：理清概念——实践代码任务
2403_87969572的博客
06-29 208
本文为期末周复习时候顺手整理，内容较长大家可以根据目录进行快速查阅。感谢支持！ 文章中涉及资料及实践用数据可以私信博主获取，或直接联系邮箱：chenai_tgf@163.com
零基础入门人工智能：从课程体系、核心概念、发展历程与趋势，到机器学习三阶段、通用流程、基础术语与泛化能力完整知识手册
见字如面，祝您早安，午安，晚安
06-29 307
课程整体分为三大模块，采用 “理论讲解 + 实验实操” 的授课模式，兼顾传统机器学习方法与深度学习技术，覆盖从理论基础到代码落地的全流程学习路径。模块序号模块名称细分知识点核心说明第一模块1. AI 基础：背景发展、学术流派、核心定义、模型评估与选择2. 核心算法：线性模型、支持向量机、贝叶斯估计、决策树、聚类方法、参数估计、集成学习、强化学习1. 线性模型是深度学习的理论基础2. 当前研究趋势：传统方法与深度学习结合，实现大模型轻量化，提升边端设备部署能力第二模块。
机器学习/深度学习入门的「Hello World」
AI_Encyc的博客
06-26 376
摘要： MNIST是经典的手写数字数据集，包含7万张28×28像素的灰度图，分为0-9共10类。作为AI入门标配，其小规模、低计算成本的特点适合验证算法流程，覆盖数据加载、模型训练到评估的全过程。传统方法（如SVM）准确率约97.5%，而简单CNN可达99%+。PyTorch等框架内置MNIST数据，通过全连接网络或CNN即可快速实现分类（代码示例提供全流程）。但其过于理想化，仅适合学习基础，无法反映真实场景复杂度。
机器学习day01
GH的博客
06-29 168
均匀分布正太分布。
机器学习与模式识别 第一章 机器学习导论 模拟卷及答案
最新发布
2301_80226956的博客
06-29 339
机器学习与模式识别 第一章 模拟卷及答案
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

VectorShift

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值