论文阅读：DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

最新推荐文章于 2026-06-17 00:13:46 发布
原创 最新推荐文章于 2026-06-17 00:13:46 发布 · 815 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#论文阅读 #AIGC #stable diffusion #text-to-image #DreamBooth
本文提出DreamBooth方法，通过微调预训练的文本到图像模型，使其能在给定参考图片后生成特定物体。解决语言漂移和输出多样性问题的关键是引入先验保存损失，DreamBooth在量化评估和用户测试中表现出色。

DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

论文链接
代码链接
DreamBooth
这篇文章提出了一个新的个性化文生图模型方法：DreamBooth。给定几张参考图片，然后微调预训练的文生图模型，使得模型具备生成这些图片对应的特定物体的能力。在推理阶段，只需输入包含该特定物体的场景提示词，即可生成处于指定场景的特定物体的图片。
Fine-tuning
论文中指出，文生图模型微调会面临两个威胁：language drift和reduced output diversity。为了解决这两个威胁，作者使用了一个先验保存损失项，即下面的损失函数公式（2）的第二项。该项对使用原始的文生图模型生成的样本微调模型的过程进行约束，以保持微调后的模型的先验知识不被遗忘，对应上面的图3下方的黄色模型的微调过程。公式中的第一项，将参考图片对应的知识嵌入到模型中，对应上面的图3上方的黄色模型的微调过程。
损失函数
DreamBooth在量化评估比较和用户偏好调查中均优于基准方法：
quantitative metric comparison and user preference

【文生图】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation
bikahuli的博客
12-21 6498
谷歌基于自家预训练扩散模型Imagen的主体细节保留的文生图编辑方法
DreamBooth 梦幻亭——用于主题驱动的文生图微调扩散模型
My name is Conmajia
04-10 1942
本文是 DreamBooth 官网首页的中文翻译，承蒙第一作者 Nataniel Ruiz 本人授权。‘‘这就像一部照相亭，但只要捕捉到主题，就能把它合成到你梦里能去的任何地方。”
DreamBooth 论文精读+通俗理解
qq_45670134的博客
10-02 8133
如今 AI 生成已经有很大的发展，但是这些模型都缺少能够通过一个给定的很小量的 reference set ，去模仿生成该 set 中所指定 subject 的图片。这种针对特定物体的生成，在此前绝大部分的生成模型都是做不到的。在这篇文章中，作者提出了一个新的方法 DreamBooth，用来个性化文生图 diffusion models。
DreamBooth论文解读
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
06-19 3893
DreamBooth，Google Research出品。仅需要3-5张目标图片，通过prompt引导就可生成该目标变体。
【论文阅读】dreambooth
hei_hei_hei_的博客
06-07 1270
DreamBooth论文阅读
论文阅读DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation
vivi_cin的博客
08-24 908
Class-Specific Prior Preservation Loss 是一个巧妙的。
DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation——论文笔记
qq_45791526的博客
11-27 2123
在这篇论文中，模型会出现语言漂移的原因是因为在使用少量图像进行微调时，模型可能会过度拟合这些图像，从而忘记了如何生成与这些图像相似但不完全相同的图像。这种现象被称为"过拟合"，它会导致模型在生成图像时偏离先验信息，从而产生语言漂移。为了解决这个问题，DreamBooth提出了一个自生类别特定的先验保留损失，以鼓励模型生成符合先验信息的图像，从而保留先验信息的多样性和一致性。这样可以避免模型出现语言漂移现象，从而提高生成图像的质量和准确性。
DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation
qq_43800752的博客
06-07 2679
大型文本到图像模型在AI的演化中取得了显著的飞跃，实现了从给定文本提示中合成高质量、多样化的图像。然而，这些模型缺乏模仿给定参考集中主题外观并在不同环境中合成新的表现形式的能力。在这项工作中，我们提出了一种新的方法，用于“个性化”文本到图像扩散模型。只需输入主题的几张图像，我们对预训练的文本到图像模型进行微调，使其学习将唯一标识符与特定主题绑定。一旦主题嵌入到模型的输出域中，该唯一标识符可以用于在不同场景中合成主题的新颖逼真的图像。
DreamBooth Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation
weixin_44966641的博客
03-24 1177
DreamBooth 是 subject-driven 可控生成方向的一篇重要工作，后面各种 LoRA 的训练基本都使用 DreamBooth 的训练方法。
DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation——CVPR2023：论文笔记
qq_53323118的博客
08-06 1288
用于“个性化”文本到图像的扩散模型，即让这些模型适应特定用户的图像生成需求。目标是扩展模型的语言-视觉词典，使得新的词汇能与用户希望生成的特定主体绑定。一旦这个新的词典被嵌入到模型中，它就可以使用这些词汇来合成该主体的新颖、逼真的照片，这些照片可以放置在不同的场景中，同时保留关键识别特征。这种效果类似于一个“神奇的照片亭”——只需拍摄几张主题的照片，照片亭就能根据简单直观的文本提示生成该主体在不同条件和场景下的照片。
#今日论文推荐# 谷歌推出DreamBooth扩散模型，可做到“以假乱真”，让指定现实物体在图像中以各种方式展现
w1hsxn的博客
09-01 666
在 AI 长期发展中，目前的文本生成图像模型有了显著提升，今年谷歌、OpenAI 等都接连推出了自己的图像生成模型，如 Imagen、Dall·E 2 等。这些模型能够依照给定的文本提示实现高质量和多样化的图像输出。
AIGC 005-Dreambooth定制化生成，微调文本到图像的扩散模型！
小熊哥哥的博客
05-26 967
AIGC 005-Dreambooth定制化生成，微调文本到图像的扩散模型！
【笔记】扩散模型（一〇）：Dreambooth 理论与实现｜主题驱动生成
LittleNyima的博客
02-08 1403
详解主题驱动生成方法 Dreambooth
实践教程｜使用Stable Diffusion图像修复来生成自己的目标检测数据集
idol24的博客
09-13 2468
作者丨Rédigé par Gabriel Guerin来源丨AI公园深度学习模型需要大量的数据才能得到很好的结果，目标检测模型也是一样。要训练一个YOLOv5的模型来自动检测你最喜欢的玩具，你需要拍几千张你的玩具在不同上下文中的照片，对于每张图，你需要标注玩具在图中的位置。这样是非常耗时的。本文提出了使用图像分割和stable diffusion来自动生成目标检测数据集的方法。生成自定义数据...
在 Amazon SageMaker 上玩转 Stable Diffusion: 基于 Dreambooth 的模型微调
亚马逊云科技专栏
04-11 4367
本文将以 Stable Diffusion Quick Kit 为例，详细讲解如何利用 Dreambooth 对 Stable Diffusion 模型进行微调，包括基础的 Stable Diffusion 模型微调知识，Dreambooth 微调介绍，并且使用 Quick Kit 通过一个 demo 演示微调效果。01Stable Diffusion 模型微调目前 Stable Diffusio...
dreambooth:fine-tuning text-to-image diffusion models for subject-driven generation
liguandong
03-14 2906
首先对低分辨率图像进行微调，输入的图像和prompt，prompt包含一个独特的标识符，A [V] dog，为了防止overfiting和language drift，导致模型将类名dog与具体的实例联系起来，我们提出autogenous，class-specific prior preservation loss，它利用了嵌入在模型中的关于类的语义先验，并鼓励它产生与主体相同的不同实例。但是这类技术缺乏对特定目标的复现，主要原因是输出域的表现力是有限的，对目标再详细的描述也可能产生具有不同外观的实例。
DreamBooth：个性化的文本到图像扩散模型
weixin_47748259的博客
01-12 3083
DreamBooth是一种微调文生图扩散模型的方法，最大的特点是Subject-Driven，针对某一个特定的主体，生成在不同的场景、姿势和视角中的该主体上下文图像；DreamBooth的两个主要贡献是:主题驱动生成。给定一些随意捕获的主题图像，目标是在不同的背景下合成主题的新颖再现，同时保持其关键视觉特征的高保真度。用于在少量镜头设置中微调文本到图像的扩散模型，同时保留模型在主题类上的语义知识。
【论文阅读+复现】HyperDreamBooth: HyperNetworks for FastPersonalization of Text-to-Image Models
weixin_57974242的博客
11-06 1009
个性化生成需要在不同背景和风格下综合个体，同时保持身份保真度。个性化过程对时间和内存有要求HyperDreamBooth能够从单个人图像高效生成个性化权重的超网络。在大约 20 秒内实现了面部个性化，比 DreamBooth 快 25 倍，比textural inversion快 125 倍，仅使用一张参考图像，并且具有与 DreamBooth 相同的质量和风格多样性。且生成的模型比普通 DreamBooth 模型小 10000 倍。
#今日论文推荐# 谷歌DreamBooth扩散模型实现“以假乱真”，让指定实物在图像中以各种方式展现
w1hsxn的博客
09-02 1003
从文本到图像的“个性化”扩散模型。
BLIP-2——视觉语言模型-基于冻结模型引导的视觉-语言预训练 论文阅读笔记
最新发布
2301_80226956的博客
06-17 521
BLIP-2提出了一种视觉-语言预训练框架，通过冻结现成的图像编码器（如CLIP）和大语言模型，仅训练轻量级Querying Transformer来桥接模态鸿沟。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值