(相关资料图)
编程客栈() 7月3日消息:Diffusion 模型近年来在文本到图像生成方面得到广泛应用,并取得了显著的成功,从而在图像质量、推理性能和创造性范围方面实现了重大改进。然而,在难以用文字明确定义的条件下,有效的生成管理仍然是一个挑战。
由谷歌研究人员开发的 MediaPipe Diffusion 插件使得用户可以在设备上执行文本到图像的生成,并进行用户控制。在这项研究中,谷歌延伸了之前关于设备上大型生成模型的 GPU 推理的工作,提出了低成本的可编程文本到图像创建解决方案,可以集成到现有的 Diffusion 模型及其 LoRA 变体中。
Diffusion 模型中模拟了迭代去噪的图像生成过程。Diffusion 模型的每一BNgCHBucf次迭代都以受噪声污染的图像开javascript始,并以目标概念的图像结束。通过文本提示的语言理解极大地增强了图像生成过程。文本嵌入通过交叉注意力层与文本到图像生成模型关联起来。然而,物体的位置和姿态等细节可能更难以通过文本提示传达。研究人员通过额外的模型将条件图像中的控制信息引入到 Diffusion 中。
Plug-and-Play、ControlNet 和 T2I Adapter 方法经常用于生成受控的文本到图像输出。Plug-and-Play 使用 Diffusion 模型的副本(Stable Diffusion1.5 版本的 860M 参数)和广泛使用的去噪 Diffusion 隐式模型(DDIM)反演方法BNgCHBucf来从输入图像中推导出初始噪声输入。
通过自注意力从复制的 Diffusion 中提取空间特征,并使用 Plug-and-Play 将其注入到文本到图像 Diffusion 中。ControlNet 构建了 Diffusion 模型编码器的可训练副本,并通过一个带有零初始化参数的卷积层连接到编码条件信息,然后传递给解码器层。不幸的是,这导致了模型的显著增大,Stable Diffusion1.5 版本的参数约为 4.5 亿个,相当于 Diffusion 模型本身的一半。T2I Adapter 在较小的网络(77M 参数)下实现了可比较的受控生成结果。条件图像是 T2I Adapter 的唯一输入,其结果被用于所有后续的 Diffusion 周期。然而,这种适配器样式不适用于移动设备。
MediaPipe Diffusion 插件是谷歌开发的一个独立网络,旨在使条件生成变得高效、灵活和可扩展。
作为一种便携式的设备上文本到图像创建范式,MediaPipe Diffusion 插件可以免费下载使用。它接收一个条件图像,并通过多尺度特征提取将特征添加到 Diffusion 模型的编码器中的适当尺度上。
当与文本到图像 Diffusion 模型结合使用python时,插件模型将一个条件信号添加到图像生成过程中。谷歌希望插件网络只有 600 万个参数,使其成为一个相对简单的模型。
MediaPipepython:https://developers.google.com/mediapipe
标签:
上一篇 : 全球热推荐:韩国警方侦办多起“无户婴儿”遭杀害案
下一篇 : 最后一页
弘业股份公告,董事会同意将公司证券简称变更为“苏豪弘业”。
07-03 16:51:04
近年来,镇远县持续用法治力量切实维护群众权益,探索以羊场镇金盆村为
07-03 16:41:32
周三上午收盘北向资金主力净流出:沪股通前30股:1工商银行-1 64亿2中
07-03 16:04:48
每日小编都会为大家带来一些知识类的文章,那么今天小编为大家带来的是
07-03 15:53:49
为提升孩子们保护环境的意识,养成垃圾分类的好习惯,2023年6月15日上
07-03 15:29:01
1、iso文件是一种光盘镜像文件,它经常出现在系统及游戏安装的过程中,
07-03 14:51:42
附件:债券上市流通公告(23中兴通讯SCP054)23中兴通讯SCP054()今日披
07-03 14:35:32
易主事项叠加AI想象,华脉科技于近期连续拉出6个涨停板,并发布了2次异
07-03 13:59:53
这一次给大家带来云顶之弈的云顶之弈小小亚托克斯如何获得解决方法。很
07-03 13:12:37
今天(7月3日),中国海油发布消息,华南地区规模最大天然气储运基地—
07-03 12:55:03
1、日本面积为37万平方公里与云南省相似,云南省为39万。2、英国为244,
07-03 11:51:14
集微网消息,据财联社报道,赛力斯汽车与华为于6月30日对内部销售体系
07-03 11:57:34
导读1、现在在模式的空间很频繁地出现了这个现象想要正常地玩可以点空
07-03 11:14:32
驾驶证被注销了还能恢复吗?驾驶证被注销了还能恢复。驾驶人的驾驶证
07-03 11:01:56
比亚迪在巴西召开比亚迪海豚车型上市发布会,比亚迪首次在巴西市场推出
07-03 10:29:54
1、掌握传媒2、普里戈任掌控的传媒集团将被关闭3、以上就是关于【掌握
07-03 10:10:24
工人日报-中工网记者张翀通讯员石斌潘庆芳邱潘勇6月29日14时28分,“5
07-03 09:52:47
人工智能朗读:今年5月,麻省理工学院博士、芝加哥大学人类遗传学系终
07-03 09:13:42
1、饮用:每天早晨或晚上睡觉前直接饮用一汤匙(约15ml)原生橄榄油,可
07-03 08:55:24
文 羊城晚报全媒体记者谢哲今年热不热?热!南方和北方最近都轮流热上
07-03 07:56:50
首创证券07月03日发布研报称,给予申昊科技(300853 SZ,最新价:35 1
07-03 07:16:50
注册测绘师考试-全日制学历报考人员在校期间实习的工作经历是否可以计
07-03 06:13:46
1、2011年春学期禁毒与防艾工作总结 本学期以来,九年级(4)班按照
07-03 05:07:47
1、38级我37级去的TD高地。本文就为大家分享到这里,希望小伙伴们会喜欢。
07-03 01:56:45
1、如果你说的是亮剑的段鹏,那电视剧到最后都没死,准确的说是老死的
07-03 01:50:27
…………火车到了武汉。众所周知,武汉很大,所以,列车进了市区之后,
07-03 00:04:49
1、摩擦性失业与结构性失业相比,结构性失业更加严重:一般来讲结构性
07-02 22:11:07
直播吧7月2日讯据米兰新闻网米兰跟队记者托雷报道,米兰可能与克亚尔再
07-02 20:55:16
1、是的,《哈利波特与魔法石》4K修复3D版于8月14日重映,该片票房在上
07-02 20:51:47
WTT常规挑战赛萨格勒布站如火如荼举行中。在刚刚结束的一场国乒混双内
07-02 20:06:05
哈喽,大家好,今天我们聊一下2023年7月新番“其实,我乃最强”第一集
07-02 18:45:07
建筑施工纠纷律师费如何计算1、人民法院案件受理费争议金额案件受理费
07-02 17:48:03
“妈妈~妈妈~~,我想要吃这个!”“好~好~”“妈妈~妈妈~,我要
07-02 17:02:47
今天下午刚结束的2023女篮亚洲杯决赛,中国女篮与老冤家日本队再次会师
07-02 15:57:22
潮新闻客户端记者祝瑶不再是传统市场的“长条”状摊位,一个个“摊岛”
07-02 15:00:21
为庆祝香港回归祖国26周年,进一步增进与香港各界的沟通交流,解放军驻
07-02 14:27:44
1、刘德华真是有做戏天份能不能把那一段发上了。2、不知道你说的是那一
07-02 14:10:06
图说:事故现场来源 网友供图新民晚报讯(记者陈浩)昨天下午4时45分,
07-02 12:51:02
在楼下玩的时候,有一位妈妈说,孩子有点害羞,好不容易鼓起勇气找人玩
07-02 11:53:35
噩耗突然传来。胡德霖突然离世,或许意味着,江苏豪门“父子内斗”落幕
07-02 11:01:08
7月2日,上游新闻记者从明月湖国际智能产业科创基地消息获悉,爱思盟汽
07-02 10:57:38
王世杰角球直接破门!最后时刻连入三球,上演绝杀“帽子戏法”!广州队
07-02 09:50:31
踢坏冰桶!足协官方:海港外援伊萨-卡隆停赛一场,罚款1万,停赛,足协,
07-02 09:17:04
湖南日报全媒体记者昌小英通讯员胡晓建蔡小青“孙总,新设备好用吗?”
07-02 08:32:19
期待已久的手游毒狗单职业即将登陆九游,这款手机游戏吸引了大批玩家的
07-02 07:20:27
1、初三的化学课件!老师的课件对学生的学习有很重要的影响,vcm仿真实
07-02 07:07:20
1、呃我有实体画集。2、你可以在百度图片找找。本文到此分享完毕,希望
07-02 05:45:47
【2023年上半年收官十大指标回顾A股市场全貌】2023年上半年
07-02 05:46:41
1、点睛[diǎnjīng]2、定睛[dìngjīng]3、通睛[tōngjīng]4、悍睛[
07-02 03:15:41
位于长江入海口的崇明岛是我国第三大岛,是上海重要的生态屏障,正全力
07-02 01:01:17
弘业股份公告,董事会同意将公司证券简称变更为“苏豪弘业”。
2023-07-03
近年来,镇远县持续用法治力量切实维护群众权益,探索以羊场镇金盆村为
2023-07-03
周三上午收盘北向资金主力净流出:沪股通前30股:1工商银行-1 64亿2中
2023-07-03
每日小编都会为大家带来一些知识类的文章,那么今天小编为大家带来的是
2023-07-03
为提升孩子们保护环境的意识,养成垃圾分类的好习惯,2023年6月15日上
2023-07-03
股票跌停价怎么算?交易所规定的股价一天中涨(跌)最大幅度为前一日收盘价的百分数,不能超过此限,否则自...
植物木质纤维素是地球上丰富的有机生物质资源。以木质纤维素为原料,通过生物转化方法生产燃料和化学品...
7月7日,中国消费者协会、中国保健协会化妆品发展工作委员会联合发布暑期消费指示,保障儿童用妆安全。...
概念特点1、 定义:纤维是天然或人工合成的细丝状物质,纺织纤维则是指用来纺织布的纤维。2、 纺织纤...
中新网西宁11月21日电 题:青海水润高原:从“大动脉”到“毛细血管”的精准管理 作者 谈林明...
上市公司频获机构调研 接待机构来访量为20.89万家
Copyright © 2015-2023 京津冀纤维网版权所有 备案号:京ICP备2022022245号-12 联系邮箱:434 922 62 @qq.com