您的当前位置:首页 > 探索 > 速率提升数十倍,惟独一张图一句话,google新模子20秒即可实现变脸 正文
时间:2025-03-18 17:53:54 来源:网络整理 编辑:探索
时隔 8 个月,google又提出了一种能在 20 秒内实现人脸特色化处置的更天生模子。此前,google以及波士顿大学的钻研者提出了一种「特色化Personalization)」的文本到图像散漫模子
时隔 8 个月 ,速率数倍google又提出了一种能在 20 秒内实现人脸特色化处置的提升更天生模子 。
此前 ,惟独google以及波士顿大学的张图钻研者提出了一种「特色化(Personalization)」的文本到图像散漫模子 DreamBooth,用户惟独提供 3~5 个样本 + 一句话 ,句话AI 就能定制照片级图像。新模现变
对于「特色化」咱们可能这样清晰,秒即以输入图像为参考 ,可实天生的速率数倍图像在种种情境以及差距气焰中都能坚持对于其身份的高度忠实。
举例来说 ,提升输入左侧 4 张小狗的惟独照片,DreamBooth 就能天生差距规范的张图小狗,如小狗在景点里遨游、句话在海里游泳、新模现变趴在窝棚里睡觉、秒即致使人类给它修剪毛发,而天生的图片都高度坚持了原图像的特色。
可是 ,特色化历程在光阴以及内存需要方面还存在良多挑战。详细到单个特色化模子 ,妨碍微调需要大批的 GPU 光阴投入,不光如斯 ,特色化模子还需要很高的存储容量 。
为了克制这些挑战,时隔 8 个月 ,google又提出了一种新的天生模子 HyperDreamBooth 。HyperDreamBooth 可能天生差距高下文以及善焰的人脸 ,同时还能保存面部关键知识。
在只运用一张参考图像的情景下,HyperDreamBooth 在约莫 20 秒内实现为了对于人脸的特色化处置,比 DreamBooth 快 25 倍,比 Textual Inversion 快 125 倍,不光如斯,天生的图像与 DreamBooth 品质同样 、气焰还多样性。此外 ,HyperDreamBooth 还比老例的 DreamBooth 模子小 10000 倍 。
论文地址:https://arxiv.org/pdf/2307.06949.pdf
论文主页 :https://hyperdreambooth.github.io/
在咱们深入品评辩说技术细节以前,先看一些下场 。
下图中,右侧一栏是输入图像 ,给定一张图像就能;中间一栏是凭证差距的揭示天生的人脸 ,揭示语分说是 Instagram 上一张 V 型脸的自摄影;皮克斯卡通人物的 V 型脸;摇滚明星 V 型脸;树皮同样的 V 型脸 。最右侧天生的是人物业余照片 V 型脸。服从展现 ,HyperDreamBooth 具备至关大的可编纂性,同时还能坚持人物关键面部特色的残缺性。
HyperDreamBooth 与 Textual Inversion 、DreamBooth 措施比力有何优势呢?
下图揭示了两个示例、5 种气焰 ,服从展现,HyperDreamBooth 可能很好的坚持输入图像特色,还具备很强的可编纂性 。
接下来咱们看看 HyperDreamBooth 详细是若何实现的。
措施介绍
该钻研提出的措施由 3 其中间部份组成,分说是轻量级 DreamBooth(Lightweight DreamBooth ,LiDB)、预料 LiDB 权重的 HyperNetwork 以及 rank-relaxed 快捷微调 。
LiDB 的中间脑子是进一步分解 rank-1 LoRa 残差的权重空间。详细来说,该钻研运用 rank-1 LoRA 权重空间内的随机正交不残缺基(random orthogonal incomplete basis)来实现这一点 ,如下图所示:
第 1 阶段:磨炼 HyperNetwork 以凭证人脸图像预料收集权重。该钻研运用预先合计的特色化权重妨碍把守,运用 L2 损失以及 vanilla 散漫重修损失函数 。第 2 阶段 :给定面部图像,用 HyperNetwork 预料收集权重的开始预料(initial guess) ,而后运用重修损失妨碍微调以增强保真度。
HyperNetwork 架构
该钻研运用的 HyperNetwork 架构如下图 4 所示。其中,视觉 Transformer(ViT)编码器将人脸图像转换成潜在的人脸特色 ,而后将其衔接到潜在层权重特色(初始化为 0) 。Transformer 解码器接管衔接特色的序列 ,并经由运用 delta 预料细化初始权重来迭代地预料权重特色的值。
值患上一提的是 ,这是 transformer 解码器初次被用于 HyperNetwork。
如下图所示,HyperNetwork + 快捷微调取患了精采的下场 :
试验
下表为 HyperDreamBooth 与 DreamBooth 、 Textual Inversion 比力服从。表明,在所有目的上 ,HyperDreamBooth 患上分最高。
下表为差距迭代次数下的比力服从,比力模子搜罗 HyperDreamBooth、DreamBooth 、400 次迭代的 DreamBooth-Agg-1 以及 40 次迭代的 DreamBooth-Agg-2 。服从展现,HyperDreamBooth 在三名目的上都逾越其余模子 。
下表为消融试验服从:主要比力的是 HyperNetwork 对于功能的影响 。
用户钻研。该钻研还让用户以投票的方式退出评估 ,服从展现用户对于 HyperNetwork 天生的服从偏好强烈。
清晰更多内容 ,请参考原论文。
江苏一女大学生走红网络,为女儿国国王配音,惊艳众人古代青楼女子的“行内话”,如今已变口头禅,年轻人经常挂嘴边2025-03-18 17:52
巴特勒场均24.7分7.6板6.1助22025-03-18 17:51
不止是“中产替补”,胡梅尔斯续约多特蒙德意义重大唐僧念的紧箍咒究竟是啥?翻译成中文只有6个字,换作你也头疼2025-03-18 17:16
中国男足“最惨”国脚,与妻子离异独自抚养女儿,为生活不惜当司机邓紫棋彻底放飞自我了?穿比基尼出镜秀身材,身高160比例却很优越,身材真带感2025-03-18 17:13
西甲:赛季仅1胜!塞尔塔就此深陷降级区?巴列卡诺VS维戈塞尔塔2025-03-18 17:04
海港变身上赛季三镇无人能挡? 踢完下轮天王山战或者见分晓2025-03-18 16:54
海港3比0亚泰成中超争冠“唯一热门”,优势不只是领先6分2025-03-18 16:42
半场3球大逆转!中超又一少帅崛起,他是球队的精神图腾!央一新剧开播,仅2集收视破1,新闻联播力挺,熬夜追不停2025-03-18 16:27
体坛联播|高亭宇速滑世界杯夺金,拜仁曼联阿森纳集体输球澎湃新闻2023-12-10 09:23澎湃新闻2023-12-10 09:232025-03-18 15:36
美记:绿军本赛季每一场患上分都在90分以上2025-03-18 15:15
活塞末节崩盘负灰熊18连败创多项纪录,贝恩轰49分创生涯纪录2025-03-18 17:35
2-2,2-1,德甲冠军悬念一波三折!多特绝平丢冠,拜仁斩获11连冠《神医喜来乐》19年,8位主演:有人遭封杀,有人去世,物是人非2025-03-18 17:15
12强赛榜首之战:澳大利亚组墨尔本城三叉戟,沙特对主帅有信心2025-03-18 17:14
看一看海边的曼彻斯特邓紫棋彻底放飞自我了?穿比基尼出镜秀身材,身高160比例却很优越,身材真带感2025-03-18 16:57
比太阳亮1万亿倍!这套装置预计明年发射第一束光缅北“女魔头”魏榕,赏女孩“珍珠奶茶”,她的恶毒,你难以想象2025-03-18 16:44
穗疏安三地一起举行少先队新队员入队仪式2025-03-18 16:36
德甲“陪跑员”自己先冲线?今晚多特蒙德获胜就将夺冠7岁女孩因一张笑脸走红,父母拒绝了百万的签约,两年后现状!2025-03-18 16:27
六台:皇马的锋线妄想是罗德里戈、恩义里克、维尼修斯三叉戟2025-03-18 16:26
布里奇斯32+6 特雷-杨30+9 穆雷准三双 篮网险胜老鹰2025-03-18 16:04
北京回前八,吉林逆袭广厦,稠州进三甲,CBA最新排位2025-03-18 15:47