Midjourney危!Stable Diffusion-XL开启公测:会画手、能写字,再也不用写长prompt了
大家好,我们又见面了啊~本文《Midjourney危!Stable Diffusion-XL开启公测:会画手、能写字,再也不用写长prompt了》的内容中将会涉及到等等。如果你正在学习科技周边相关知识,欢迎关注我,以后会给大家带来更多科技周边相关文章,希望我们能一起进步!下面就开始本文的正式内容~
自从Midjourney发布v5之后,在生成图像的人物真实程度、手指细节等方面都有了显著改善,并且在prompt理解的准确性、审美多样性和语言理解方面也都取得了进步。
相比之下,Stable Diffusion虽然免费、开源,但每次都要写一大长串的prompt,想生成高质量的图像全靠多次抽卡。
最近Stability AI的官宣,正在研发的Stable Diffusion XL开始面向公众测试,目前可以在Clipdrop平台免费试用。
试用链接:https://clipdrop.co/stable-diffusion
Stability AI的创始人兼首席执行官Emad Mostaque表示,目前该模型仍然处于训练阶段,等参数稳定后将会开源;SD-XL在「握手」等图像细节方面会表现更好,几乎完全可控。
Stable Diffusion XL也并不是最终发布版的名字,并且也并非是v3,因为SD-XL的架构和SD-v2系列的模型架构非常相似。
Minimalistic home gym with rubber flooring, wall-mounted TV, weight bench, medicine ball, dumbbells, yoga mats, high-tech equipment, high detail, organized and efficient.
简约的家庭健身房,橡胶地板,壁挂式电视,举重凳,药球,哑铃,瑜伽垫,高科技设备,高细节,组织和效率
下面几张SD-XL官方发布的例图,可以看出图像的质量已经非常能打了。
不过有时候less并不代表more,有网友认为SD-XL为了摆脱「糟糕的品味」,设定了太多的规则,定制化空间越来越小,不符合大多数人的喜好。目前v1.5的Stable Diffusion仍然是社区内最流行的基座模型。
网友表示希望新版SD能够和SD 2.1版本的嵌入、hypernetworkds和Lora模型保持兼容,再从零开始重训的话就太难受了。
也有网友认为,SD-XL的表现和civit网站上网友分享的模型差不多,新模型的效果也并不是特别惊艳,也就是平均水平。
SD-XL:开源版Midjourney
关于Stable Diffusion XL模型的具体信息,官方并没有透露太多,目前只知道是一个与v2模型架构相似、但规模和参数量更大的模型。
SD-v2.1包括9亿参数,SD-XL大约有23亿参数,Emad表示正式版可能会额外发布一个更小的蒸馏版本。
SD-XL相比之前版本的改进如下:
- 使用较短的描述性prompt即可生成高质量图像
- 可以生成更贴合prompt的图像
- 图像中的人体结构更合理
- 与 v2.1和 v1.5版本(程度较轻)相比,SD-XL生成的图片更符合大众审美
- 负面提示词(negative prompt)是可选项
- 生成的肖像图更逼真
- 图像中的文本更清晰
需要注意的是,SD-XL可能与之前版本的插件不兼容。
清晰可读的文字
在v1系列和v2.1版本的Stable Diffusion模型中,并不具备在图片中生成可读文本的能力。
虽然SD-XL生成的文本信息并不总是准确,但确实得到了巨大的提升。
Photo of a woman sitting in a restaurant holding a menu that says “Menu”
一个女人坐在餐馆里拿着写着「Menu」的菜单
Photo of a man holding a sign that says “Stable Diffusion”
一个男人举着写着「Stable Diffusion」的牌子
a young female holding a sign that says “Stable Diffusion”, highlights in hair, sitting outside restaurant, brown eyes, wearing a dress, side light
一个年轻的女性举着一个牌子,上面写着「Stable Diffusion」,头发高亮,坐在餐厅外面,棕色的眼睛,穿着裙子,侧灯
更好的人体结构
Stable Diffusion在生成人体解剖结构方面一直存在诸多问题,多几条腿、少个胳膊实在是太常见不过的问题,通常需要使用inpaint功能进一步对图像细节进行修正;或者是使用ControlNet的Open Pose功能从参考图像中复制人体的姿态。
比如说SD-v1.5生成瑜伽的图像,经常会出现扭曲的人体。
Photo of a woman in yoga outfit, triangle pose, beach in evening, rim lighting
一个女人的照片在瑜伽服装,三角形的姿势,海滩在晚上,边缘照明
SD-XL虽然生成的图像并不完美,不过在人体姿态方面已经有了显著的进步。
更有美感(more aesthetic)
比如同样以屋子为主题,SD-XL可以生成更对称、视觉效果更好的照片。
SD-XL在肖像照片上也有显著改进。
photo shot of a woman
一个女人的照片
更贴合prompt的图像
SD-XL可以更好地理解输入的prompt,并生成更精确的图像。
比如以duotone(双色)为例,SD-v1.5只会生成黑白图像,而SD-XL则可以生成具有多种颜色的双色调图像。
与 v1模型相比,理解提示符的能力有所提高。
duotone portrait of a woman
一个女人的双色调肖像
因为SD-XL同属v2系列模型,所以文本模型尺寸更大,可以比v1模型更好地理解提示词。
比如下面的例子中,v1.5模型始终无法理解图像中的两个主题(机器人和人类),但SD-XL模型可以生成正常的图像(虽然机器人还是不够big)。
big robot friend sitting next to a human, ghost in the shell style, anime wallpaper
大机器人朋友坐在人类旁边攻壳机动队风格的动漫壁纸
a young man, highlights in hair, brown eyes, in white shirt and blue jean on a beach with a volcano in background
一个年轻人,头发染得很亮,棕色眼睛,穿着白衬衫和蓝色牛仔裤,站在海滩上,背景是一座火山
艺术风格
在艺术风格上,SD-XL并没有显著改进,和之前的版本各有千秋。
比如两个模型以不同的角度生成了Edward Hopper风格的图像。
New York city by Edward Hopper
Edward Hopper绘制的纽约
Leonid Afmov 的风格中,SD-v1.5更准确,SD-XL缺少了不同颜色的笔刷(unmistakable colorful board brushstrokes)。
New York city by Leonid Afremov
Leonid Afemov绘制的纽约
William-Adolphe Bouguereau风格中,V1.5和SDXL都可以生成一些类似的内容,其中SD-XL更接近Bouguereau创作的经典学院派绘画,并且面部细节更多。
Portrait of beautiful woman by William-Adolphe Bouguereau
William-Adolphe Bouguereau绘制的美女肖像
风格转变问题
在添加一些无关紧要的关键字后,模型的风格可能会突然转变。
比如先生成一张照片风格的图像。
a young man, highlights in hair, brown eyes, in white shirt and blue jean on a beach with a volcano in background
一个年轻人,头发染得很亮,棕色眼睛,穿着白衬衫和蓝色牛仔裤,站在海滩上,背景是一座火山
再添加一条黄色的围巾后,图像风格就变成了卡通风格。
a young man, highlights in hair, brown eyes, wearing a yellow scarf, in white shirt and blue jean on a beach with a volcano in background
一个年轻人,头发染得很亮,棕色的眼睛,围着黄色的围巾,穿着白衬衫和蓝色牛仔裤,站在一个火山为背景的海滩上
问题的故障可能源于预览问题,在正式发布后该问题不知能否得到解决。
到这里,我们也就讲完了《Midjourney危!Stable Diffusion-XL开启公测:会画手、能写字,再也不用写长prompt了》的内容了。个人认为,基础知识的学习和巩固,是为了更好的将其运用到项目中,欢迎关注golang学习网公众号,带你了解更多关于开源的知识点!

- 上一篇
- MySQL不适合构建索引及索引失效的情况有哪些

- 下一篇
- Java怎么连接MySQL数据库
-
- 寒冷的火车
- 很有用,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,看完之后很有帮助,总算是懂了,感谢作者分享文章!
- 2023-05-27 13:19:39
-
- 生动的毛豆
- 这篇博文真及时,太全面了,真优秀,已收藏,关注博主了!希望博主能多写科技周边相关的文章。
- 2023-05-16 16:30:32
-
- 风中的舞蹈
- 这篇技术贴真是及时雨啊,太详细了,感谢大佬分享,码住,关注师傅了!希望师傅能多写科技周边相关的文章。
- 2023-04-29 02:30:08
-
- 科技周边 · 人工智能 | 2小时前 |
- 5个小技巧,轻松玩转通灵义码!
- 117浏览 收藏
-
- 科技周边 · 人工智能 | 2小时前 |
- 通灵义码使用教学,掌握这些技巧让你轻松上手!
- 138浏览 收藏
-
- 科技周边 · 人工智能 | 2小时前 |
- DeepSeek+有道双剑合璧,多语言文档翻译润色soeasy!
- 320浏览 收藏
-
- 科技周边 · 人工智能 | 2小时前 |
- 即梦AI如何开启团队协作?手把手教你开通多人编辑功能
- 439浏览 收藏
-
- 科技周边 · 人工智能 | 3小时前 |
- Midjourney+DeepSeek,双剑合璧打造最强AI创作工具!
- 184浏览 收藏
-
- 科技周边 · 人工智能 | 4小时前 |
- 即梦AI这样用才对!手把手教你轻松玩转AI绘图工具
- 250浏览 收藏
-
- 科技周边 · 人工智能 | 4小时前 |
- DeepSeek大模型有哪些应用?这些软件工具实测效果怎么样?
- 329浏览 收藏
-
- 科技周边 · 人工智能 | 4小时前 |
- 豆包AI教程:用经典台词做出爆款互动测试图!
- 161浏览 收藏
-
- 科技周边 · 人工智能 | 4小时前 |
- 设计党看过来!DeepSeek+Canva打造最强AI设计神器
- 366浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 508次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 484次学习
-
- 茅茅虫AIGC检测
- 茅茅虫AIGC检测,湖南茅茅虫科技有限公司倾力打造,运用NLP技术精准识别AI生成文本,提供论文、专著等学术文本的AIGC检测服务。支持多种格式,生成可视化报告,保障您的学术诚信和内容质量。
- 40次使用
-
- 赛林匹克平台(Challympics)
- 探索赛林匹克平台Challympics,一个聚焦人工智能、算力算法、量子计算等前沿技术的赛事聚合平台。连接产学研用,助力科技创新与产业升级。
- 60次使用
-
- 笔格AIPPT
- SEO 笔格AIPPT是135编辑器推出的AI智能PPT制作平台,依托DeepSeek大模型,实现智能大纲生成、一键PPT生成、AI文字优化、图像生成等功能。免费试用,提升PPT制作效率,适用于商务演示、教育培训等多种场景。
- 71次使用
-
- 稿定PPT
- 告别PPT制作难题!稿定PPT提供海量模板、AI智能生成、在线协作,助您轻松制作专业演示文稿。职场办公、教育学习、企业服务全覆盖,降本增效,释放创意!
- 65次使用
-
- Suno苏诺中文版
- 探索Suno苏诺中文版,一款颠覆传统音乐创作的AI平台。无需专业技能,轻松创作个性化音乐。智能词曲生成、风格迁移、海量音效,释放您的音乐灵感!
- 69次使用
-
- GPT-4王者加冕!读图做题性能炸天,凭自己就能考上斯坦福
- 2023-04-25 501浏览
-
- 单块V100训练模型提速72倍!尤洋团队新成果获AAAI 2023杰出论文奖
- 2023-04-24 501浏览
-
- ChatGPT 真的会接管世界吗?
- 2023-04-13 501浏览
-
- VR的终极形态是「假眼」?Neuralink前联合创始人掏出新产品:科学之眼!
- 2023-04-30 501浏览
-
- 实现实时制造可视性优势有哪些?
- 2023-04-15 501浏览