1327522.jpg

Ridley

GF  2024-04-02 05:46
(空的)

向nai3宣战!简单讨论并分享一下最近社区sdxl模型跑的图


如果你是被引战标题骗进来的,我在这里先说声抱歉,这其实并不是一个拉踩贴

随机抽一个老婆镇楼


继之前发了NAI3,  Animagine和PonyDiffusion的使用体验以来,NAI3只更新了一个SD1.5就有的类reference功能(等于没更新),而社区模型则有了肉眼可见的进步,其中最主要的几点是

1. 在维持Pony模型优越的多人复杂构图与nsfw能力的同时,进行绘图风格迁移
2. 在维持Animagine模型优秀的动漫风格和acg角色还原能力的同时,优化人物复杂动作下的肢体结构与prompt的可控性
3. 更多的lora支持等等


因为模型架构的不同,pony模型和Animagine模型之间并不存在理想的merge,二次元sdxl模型的社区发展方向因此产生了明显的分叉。然而从目前消费级显卡的训练融合效果来看,两方都给我一种拆东墙补西墙,越来越收敛成NAI3的错觉。

在SD3到来之前的现在,SDXL模型似乎并不足以完全学会并融会贯通玩家期望的概念——[人物形象]×[美学风格]×[复杂构图],这也是我不看好novelai以及各家企业付费模型的原因,如今的AI画图社区最理想的方案仍旧是各种工作流和多模型协同(不妨简单尝试下Pony模型文生图+Animagine模型高清修复)。

NAI3,  Animagine系和PonyDiffusion系单模型之间依旧是各有优势(具体见旧帖),但基于社区模型的解决方案和工作流成果可以说(在大多数情形下)比NAI3更可靠。当然成图效果在不同玩家之间的偏差要远大于模型本身之间的偏差,以上结论都基于个人使用经验。


唠完了,感谢听我讲完一堆废话。
以下图片由Animagine和PonyDiffusion及其衍生模型生成:












































































































以上所有图片仅由A1111's stable diffusion webui文生图(含高清修复)功能实现(少部分3K图由ultimate upscaler放大),无其他修改。


发此贴只是为了抛砖引玉,希望泥潭能有更多更丰富的SDXL画图帖子,比如介绍一下模型,分享一下画图经验和工作流,乃至于更多玩法(比如我之前在sillytavern上应用sdxl实现类似galgame的效果)                      

“泥潭成为最好的无限制AI画图中文社区指日可待”


a10.gif

Alois°

B1F  2024-04-03 09:08
实际上就自己最近上手玩XL的感觉,其实comfyUI上手了把工作流弄熟了(或者直接嫖个好用的工作流)潜力比nai3高太多,本身comfyui的底层就比webui精练导致加载速度和显存占用都显著地小了不少(利益相关:本人8G显存,webui跑XL往往三十多秒一张图,还有爆显存风险,comfyui只需要几秒,和nai3步数一样速度堪比nai3), 加上包括lora的分层、区域生成、controlnet和修复模型的使用等等真的是秒了nai3

现在XL社区最大的问题确实是楼主提到的pony和AniXL之间底层打标完全不同导致的分裂,现在很多nsfw的lora分享者都主要做pony的lora,导致AniXL以及AniXL衍生的社区模型往往在nsfw图的生成能力上还不如pony系 。(有一说一,我是真觉得pony生成nsfw比nai3强多了,nai3没有lora导致很多时候图少的动作tag经常出不来)
但是pony系又在角色理解、画风模仿上显著不如AniXL和nai3,真挺纠结的;不过个人还是觉得AniXL系潜力更大一点,希望哪天能有哪个社区模型直接结合两家之长,sfw和nsfw都能有极好的表现

最后吐槽一下,其实SDXL最让我失望的反而是真人模型;目前市场上的几个亚洲脸XL表现都说好听点叫不尽人意,说难听点比SD1.5的亚洲模差多了,还搞什么GPT4V打标,打得描述乱七八糟,啥图都出不来;欧洲脸的XL还好一点,Juggernautt团队更新快而且训练得好,勉强能用;唉,希望XL也能横空出世一个chilloutmix或者麦橘了