天天看点

【模型速评】Stable Diffusion史诗级增强,SD XL 1.0完全开源

作者:棕猫先生

猫叔最近一直在忙着写书的事情,一直没有时间更新。Stable Diffusion最近有很多新的模型和工具值得推荐,猫叔是看在眼里,急在心里。

终于,趁着SD XL 1.0正式版发布,猫叔赶紧制作了一期模型速评,咱一定要让小伙伴第一时间用上最好的SD工具和模型。

【模型速评】Stable Diffusion史诗级增强,SD XL 1.0完全开源

棕猫先生 小酒馆 文字基本可以看出来了

Cyberpunk, futuristic city streets with a neon sign above a tavern with the text "Mr. Brown Cat."           
【模型速评】Stable Diffusion史诗级增强,SD XL 1.0完全开源

DreamShaper XL1.0 Alpha2 制作

(dark magic), (grim), White cat, long hair, detailed coat, (intricate details), (hyperdetailed), 8k hdr, high detailed, lot of details, high quality, soft cinematic light, dramatic atmosphere, atmospheric perspective           

先简单介绍下SD XL 1.0

Stable Diffusion XL 简称 SDXL,是最新的图像生成模型。在它出现之前,Stable Diffusion已经有2个大版本在用了,Stable 1.5和 Stable 2.1。SDXL 1.0 在 Stable 1.5(2.1在推出后,用户接受度很差)的基础上做了改进,参数数量从0.98B扩大到6.6B。

【模型速评】Stable Diffusion史诗级增强,SD XL 1.0完全开源

DreamShaper XL1.0 Alpha2

masterpiece, 8k, ,(best quality:1.4), professional, 8k,4k, highly detailed
bridge,building,city,clock,gears,gun,long_hair,mecha,realistic,robot,scenery,science_fiction,solo,tower,((masterpiece)),((realistic)),(detailed),(photorealistic:1.4),           

简单来说就是,Stable Diffusion在画面的质量上,会得到质的飞跃。这次更新,让SD在画面质量和光影效果上,与Midjourney V5达到同一水准,从而弥补画质这个几乎唯一的短板。

【模型速评】Stable Diffusion史诗级增强,SD XL 1.0完全开源

DreamShaper XL1.0 Alpha2

photo of beautiful age 18 girl, Sexy costume, top half,sexy, beautiful, young, dslr, 8k, 4k, ultrarealistic, realistic, natural skin, textured skin           

什么?你觉得之前的SD和MJ画质上没有差距?

额,确实是。

这是因为SD作为良心开源AiGC创作工具,有无数的大佬在训练着超级多的模型和Lora。让SD在某些领域达到了惊人的画面表现力。

而这次SD XL 1.0的更新,更是让SD生态有了飞跃式的成长。像DreamShaper这类优秀的模型也快速在SDXL 1.0的基础上进行训练,推出了全新DreamShaper XL1.0版本。

相信很快,我们使用的所有模型,都会快速更近。SD的平均出图质量将会更加出色。

【模型速评】Stable Diffusion史诗级增强,SD XL 1.0完全开源

DreamShaper XL1.0 Alpha2

(dark magic), (grim), White cat, long hair, detailed coat, (intricate details), (hyperdetailed), 8k hdr, high detailed, lot of details, high quality, soft cinematic light, dramatic atmosphere, atmospheric perspective           

原滋原味的SD XL 1.0安装方式

本次SD XL 1.0的模型,需要下载3个文件。下文提到的所有文件都放在老地方,新朋友请在评论区留言获取(平台规则限制,猫叔无能为力……)。

  • sd_xl_base_1.0(文生图模型,基础模型),安装到models\Stable-diffusion里;
  • sd_xl_refiner_1.0(图生图模型,精炼模型),安装到models\Stable-diffusion里;
  • sdxl_vae(VAE滤镜),安装到models\VAE里;
  • 更新WebUI版本到1.51(秋叶版7月27日更新)
【模型速评】Stable Diffusion史诗级增强,SD XL 1.0完全开源

DreamShaper XL1.0 Alpha2

重要,要使用SD XL 1.0,以上4个步骤缺一不可。

本次SD XL 1.0模型采用了全新的流程,加入了Refiner步骤。所以在使用的时候,需要用到两个模型,加上全新的VAE,才能绘制出图片。

具体方法是:先试用sd_xl_base_1.0文生图,得到基础图片;再将图片导入到图生图,使用sd_xl_refiner_1.0模型进行精炼(注:两者提示词和种子需要完全一致)。

由于该模型才开源,所以这种繁琐的步骤很快就会优化。

【模型速评】Stable Diffusion史诗级增强,SD XL 1.0完全开源
Natalie Portman as the Queen., backlit, intricate details, highly detailed, slate atmosphere, cinematic, dimmed colors, dark shot, muted colors, film grain, lut, spooky, depth blur, blurry background dof, bokeh, realistic, realistic skin           

目前,DreamShaper XL1.0 Alpha2已经快速更新,不需要使用refiner进行图生图精炼,即可得到精炼图片。如果你只想快速体验下XL1.0,那么使用这个模型是很好的办法,具体方法为:

  • 使用DreamShaper XL1.0 Alpha2模型;
  • 使用高分辨率修复(Hires. fix);
【模型速评】Stable Diffusion史诗级增强,SD XL 1.0完全开源
landscape, oil on matte canvas, sharp details, the expanse scifi spacescape ceres colony, intricate, highly detailed, digital painting, rich color, smooth, sharp focus, illustration, spaceship landed, Unreal Engine 5, 8K, art by artgerm and greg rutkowski and alphonse mucha           

SD XL 1.0的亮点和注意点

  1. 当然是画面的提升:SD XL 1.0版具有与Mjdjourney v5不相上下的水准。从官方公布的图片来看,特别是在真实感、光影、图片逻辑、细节上,均有较大幅度提升;
  2. 自然语言理解提升:可以使用句子来撰写提示词了;
  3. 逻辑理解提升:手的绘制更加真实,手残几率降低(一定程度);
  4. 字体更清晰可读:在一定程度上可以在原图绘制文字了(别信);
  5. 负面提示词比重降低:语言与逻辑能力更强,减少对负面提示词的依赖;
  6. 图片可完全商用:避免潜在法律风险。
  7. 更好的nsfw:[偷笑]

总的来说就是,在画质上有飞跃,在使用上更简单。几乎可以说,SD XL 1.0在拥有绝对精准控制能力的同时,提升画质这个最后的短板。

【模型速评】Stable Diffusion史诗级增强,SD XL 1.0完全开源
masterpiece, 8k, ,(best quality:1.4), professional, 8k,4k, highly detailed
bridge,building,city,clock,gears,gun,long_hair,mecha,realistic,robot,scenery,science_fiction,solo,tower,((masterpiece)),((realistic)),(detailed),(photorealistic:1.4),           

当然,由于SD XL 1.0才更新,目前还存在一些问题,比如:

  1. SD XL 1.0只是底模,直接使用官方模型出图效果一般,需要各大佬重新训练模型;
  2. ControlNet等插件还无法使用,但只是暂时的;
  3. 推荐出图分辨率提升到1024×1024,推荐配置提升到8GB(其实不影响);
  4. 模型训练推荐配置,将显存提升到22GB(强入4090的时候到了);

总的来说,本次SD XL 1.0的更新预示着SD在接下来一段时间,会呈现一波爆发式的热度和话题量。优质的模型、插件、和工具都会相继推出,整个AiGC领域也会因此而收益。

【模型速评】Stable Diffusion史诗级增强,SD XL 1.0完全开源

最后,做一个小预告。棕猫先生的《AiGC创作指南——Stable diffusion白皮书》(暂定名)实体书将会由国内最大的科普出版社。好啦,今天的推荐就到这里啦。有任何疑问,请在评论区指出。猫叔虽然更新较慢,但评论一定会看。谢谢大家!