无图版
帮助
论坛首页
登录
注册
讨论区
搜索
社区服务
屏蔽配置
刷新黑名单
好奇模式
清空列表
管理列表
■
帖子 |
■
头像
社区论坛任务
用户名
UID
Email
认证码
点此显示验证码
热门版块:
茶馆
询问&求物
免空资源区
同人音声
网赚资源区
游戏资源
Soulplus
Wind
用户中心首页
编辑个人资料
查看个人资料
好友列表
用户权限查看
积分管理
积分转换
特殊组购买
收藏夹
我的主题
基本统计信息
到访IP统计
管理团队
管理统计
在线统计
会员排行
版块排行
帖子排行
个人首页
我的收藏
好友近况
南+ South Plus
AI交流 (beta)
[lora模型训练] 炼丹?炼了个假丹
漫区特设
Comic Market 103
Comic Market 102
サンクリ
Comic1☆
其他同人志
一般漫画
例大祭&紅楼夢
汉化本发布
旧物仓库
蜜柑计划
- 蜜柑计划 - Mikan Project
综合交流
ACG交流
轻小说
原创绘画
原创小说区
询问&求物
茶馆
AI交流 (beta)
免空资源区
网赚资源区
人民囧府
事务受理
上一主题
下一主题
新 帖
|
浏览器收藏
|
打印
Ridley
作者资料
发送短消息
加为好友
UID:
1327522
精华:
0
发帖:
243
HP:
0 点
SP币:
13038 G
昵称: Ridley
在线时间: 1371(小时)
注册时间:
2020-08-11
最后登录:
2024-05-16
GF
2023-06-23 14:21
(空的)
只看GF
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
[lora模型训练] 炼丹?炼了个假丹
炼丹三个小时,处理素材三个时辰,浪费时间三个地球自转。
也不用筛了,放几张随手生成的
也不是秀图,主要是为了发现问题。
问题还是有的,根据之前的经验(cue一下之前的帖子)如果训练集全是白色背景会导致出图更倾向于简单背景,于是这次特意保留了两张没抠图。结果呢也看到了,单调背景稍微好点,但背景把没抠图的素材学得死死的(没错就是这该死的金属栅栏和网格地面)。不知道能不能实现对每张图片采用不同的分层训练方法,但真要做到这一步也不容易,深度学习终归是个黑箱。
手该崩还得崩,我已经尽可能筛出手部清晰的素材了,只能说情况会好点但治标不治本,当然可能因为手在大模型里就是崩的。
还有光照问题,原素材光照都是来自一个方向的而且打光充足,网络学得可会了,如果大晚上的没光照,为了迎合打光效果,AI呢自己在顶上加个补光,不知道的还以为是UFO呢
。毕竟素材也就这一个视频里抽出来的几千帧,唯一想到可行的方法还是用AI修补素材内的光照,PS有个改光照效果的AI插件,但效果非常一般
。
表情呢还是相对死板的,当然理解coser不适合做些夸张表情,不然走两步补个妆。也是想到用AI改表情,PS自带的就算了,直接给你整恐怖谷效应。SD的表情控制插件呢不仅用起来麻烦,而且再好的局部重绘加controlnet也不稳定,会改变画面原生效果,光照或者画面过渡不连贯。我也试过拿阶段性训练的模型来扩充素材,直接文生图或者全图重绘得到新素材,但只能说想法很美好,跟局部重绘一样你只有撞狗屎运才能得到符合要求的素材。总之靠AI画图来增加真人素材泛化性目前来说完全不可靠,照片不是手绘,一般不考虑差异化风格,素材画风的改变对真人模型的影响是致命的。
真人lora训练一图流
:
问:为什么不用某些批量抠图的程序呢?
答:你猜为什么PS beta要收费。
类似批量抠图的功能PS也有,抠得也是惨不忍睹,还是用AI识别主体更精准(不知道是不是用Segment Anything实现的),不过即便是PS AI选中的主体的也还是要修过,终归都是不如手抠的。
其实抛开素材问题,lora训练本身并没有什么难度,你完全不用去理解背后的原理,就像我图里说的(),所谓tuning(调参)也只需要你抄别人参数就能训练出基本优质的模型。训练设备也不是问题,现在都是远程薅显卡的,
什么你用青椒云和autodl?那就当给赛博佛祖们交学费吧(不是)
。希望大家都能来玩玩,还是挺有意思的
,
训练模型的感觉就像你吃下去的是屎但拉出来的可能是蛋糕(也可能还是屎)
。
免责声明(大概?):以上是个人炼丹的弱智见解,没炼过二次元模型,真人模型因为法律问题一般网上也很少会有详细教程(自己摄影的素材那处理起来肯定容易)。希望评论区能有大佬给出些建议。我相信我这炼个丹怎么也违反了好几个规则声明啥的,所以模型暂时就不发了,
反正泥潭也没多少人真在玩SD
。
顶端
回复
引用
分享
sdfdfd
作者资料
发送短消息
加为好友
UID:
1309429
精华:
0
发帖:
1373
HP:
0 点
SP币:
948 G
昵称: sdfdfd
在线时间: 1778(小时)
注册时间:
2020-05-04
最后登录:
2024-05-16
B1F
2023-06-23 14:30
|
▼展开
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
顶端
回复
引用
分享
Shmilye
作者资料
发送短消息
加为好友
UID:
1492453
精华:
0
发帖:
16
HP:
0 点
SP币:
8735 G
昵称: Shmilye
在线时间: 33(小时)
注册时间:
2021-11-02
最后登录:
2024-04-29
B2F
2023-06-23 14:51
(Zzzzz...)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
这炼的是河野华嘛
顶端
回复
引用
分享
西门小少
作者资料
发送短消息
加为好友
UID:
427427
精华:
0
发帖:
778
HP:
0 点
SP币:
14030 G
昵称: 西门小少
在线时间: 3595(小时)
注册时间:
2014-08-17
最后登录:
2024-05-17
B3F
2023-06-23 15:29
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
千人一面、锐利和割裂还是没处理好,等一手未来的美好发展
顶端
回复
引用
分享
Ridley
作者资料
发送短消息
加为好友
UID:
1327522
精华:
0
发帖:
243
HP:
0 点
SP币:
13038 G
昵称: Ridley
在线时间: 1371(小时)
注册时间:
2020-08-11
最后登录:
2024-05-16
B4F
2023-06-23 15:36
(空的)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 3楼(西门小少) 的帖子
有什么建议么?比如抠图的时候还可以做哪些处理?
顶端
回复
引用
分享
西门小少
作者资料
发送短消息
加为好友
UID:
427427
精华:
0
发帖:
778
HP:
0 点
SP币:
14030 G
昵称: 西门小少
在线时间: 3595(小时)
注册时间:
2014-08-17
最后登录:
2024-05-17
B5F
2023-06-23 17:12
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 4楼(somesauce) 的帖子
抱歉,在抠图上我没有太好的建议,因为问题出在了丹炉(程序算法)上,抠图和lora模型再好也救不了,只能寄望于未来数据训练以及程序的改进
顶端
回复
引用
分享
上一主题
下一主题
南+ South Plus
AI交流 (beta)
[-- 查看移动版 --]