DeepFaceLab 近期更新概要,“整脸”来袭!
2020年2月3号之后,Iperov同志沉浸了一小段时间。不过,没多久又进入了疯狂更新的状态。目前已经发布了28号(今天)的版本。
我这里先拎几个重点。
1. 修复眼神诡异或者乱飘的问题。
使用DFL2后,不少人发现眼神上的问题,具体的体现有眼神完全不同步(当然有些人是素材不够),还有一种是眼神很诡异,感觉变异了一样。
针对这两种情况,软件进行了改进。具体有多大改善,还有待观察。
2. AI换脸+AE特效的“整脸”模型
继半脸,全脸,中脸,之后又添加了新的一种脸型Whole_Face,这个其实可以简称为“全脸” ,但是因为之前已经有一种FUll_FACE , 为了区别我觉得翻译成“整脸” 比较好。这个类型,最大的功能就是解决额头的问题。
但是…这是一个半成品,需要结合AE才能做出完整的效果。简略教程参见上图,具体使用方法,可以关注后续文章。
3. 256提升到512。
因为出了全脸之后,引发的蝴蝶效应。原先我们提取的图片都是256×256像素,现在因为需要处理整个脸部,所以提升了头像尺寸,扩到了512×512。同时把训练模型像素的最大值也改到了512(32G,V100听完后瑟瑟发抖,说了句:告辞)。 虽然多个地方的size都改大了,但是并不意味着你的显卡能跑出更好的效果…
还有安装包是越来越大了…
最近三次更新的主要内容应该就是这些了,具体更新记录如下:
2020年2月28日
Extractor:
提取
image size for all faces is now 512
提取的图片尺寸从256提升到512
fix RuntimeWarning during the extraction process
修复提取过程中出现RuntimeWarning的问题。
SAEHD:
max resolution is now 512
模型参数中,最高像素改成512(32G V100同样表示玩不起)
fix hd arhitectures. Some decoder’s weights haven’t trained before.
修复HD架构,之前一些解码器权重没有被训练到。
new optimized training:
新的优化训练
for every <batch_size*16> samples,
对于每个<batch_size*16>样本,
model collects <batch_size> samples with the highest error and learns them again
模型收集误差比较大的样例进行重新学习。
therefore hard samples will be trained more often
因此,比较难的样本被训的更狠。
‘models_opt_on_gpu’ option is now available for multigpus (before only for 1 gpu)
“models_opt_on_gpu”选项现在可用于多显卡(以前仅用单显卡)
fix ‘autobackup_hour’
修复“自动备份时间”
2020年2月23日
SAEHD: pretrain option is now available for whole_face type
SAEHD: 预训练支持“整脸”
fix sort by abs difference
修复abs差异排序
fix sort by yaw/pitch/best for whole_face’s
修复整脸的yaw/pitch/best排序。
2020年2月21日
Trainer: decreased time of initialization
训练:减少初始化时间
Merger: fixed some color flickering in overlay+rct mode
合成:修复overlay+rct模式下的一些闪缩的问题。
SAEHD:
added option Eyes priority (y/n)
添加眼部优先选项
Helps to fix eye problems during training like “alien eyes”
有助于在训练过程中解决“异形眼”
and wrong eyes direction ( especially on HD architectures )
和眼神不对的问题(尤其是在HD架构上)
by forcing the neural network to train eyes with higher priority.
通过强制神经网络以更高的优先级来训练眼睛。
before/after https://i.imgur.com/YQHOuSR.jpg
之前/之后
added experimental face type ‘whole_face’
添加试验性脸型“整脸”。
Basic usage instruction: https://i.imgur.com/w7LkId2.jpg
基本用法说明:
‘whole_face’ requires skill in Adobe After Effects.
整脸需要 AE技能
For using whole_face you have to extract whole_face’s by using
使用整脸你必须提取整脸图片,通过以下两个脚本。
4) data_src extract whole_face
and
5) data_dst extract whole_face
Images will be extracted in 512 resolution, so they can be used for regular full_face’s and half_face’s.
图片会按512像素进行提取。他们同样也适用于常规的全脸和半脸。
‘whole_face’ covers whole area of face include forehead in training square,
整脸涵盖脸部的整个区域包含额头。
but training mask is still ‘full_face’
但是训练遮罩依旧是全脸
therefore it requires manual final masking and composing in Adobe After Effects.
因此需要你通过AE手动遮罩和合成。
added option ‘masked_training’
添加遮罩训练
This option is available only for ‘whole_face’ type.
这个选项仅适用于整脸
Default is ON.
默认开启
Masked training clips training area to full_face mask,
遮罩训练可以把训练区域剪辑到全脸遮罩。
thus network will train the faces properly.
这样网络就可以正确训练脸部
When the face is trained enough, disable this option to train all area of the frame.
当训练足够多的时候,关闭这个选项,让网络去训练所有区域。
Merge with ‘raw-rgb’ mode, then use Adobe After Effects to manually mask, tune color, and compose whole face include forehead.
使用Raw-rgb模式合成,然后使用AE手动遮罩调整颜色,然后合成,这样额头也能被换掉。
更多更新内容请看:https://www.deepfaker.xyz/?page_id=1604
最新版见659480116群文件,据说转发一下可以极速下载哦!
请问如果用老版本的话.额头有头发的问题要怎么处理比较好呢?
希望未来能够直接换头吧!
hi,我想问一下模型训练会自己停止吗?之前几次尝试最后都是自己手动停止的。设置模型参数好像也没设置epoch,那他是不是一直会跑下去,直到过拟合吗?