2019年6月2日
DeepFaceLab:手动提取高精度脸图,减少抖动!
DeepFaceLab默认情况下都都是自动提取脸部,整体来说效果不错,脸部曲线识别度也比较高。但是自动不是万能的,有些图片的轮廓识别并不好。而识别不好最直接的结果就是合成的视频可能会出现抖动。
也就是说,抖动出现的一个原因就是脸部轮廓识别不精确。 那么如何解决这个问题呢? DeepFaceLab的解决方法是提供了一个手动识别的工具。
首先,这个功能仅针对DST。使用这个过程大概需要先做以下操作。
1.视频转图片
2.从图片中提取脸部图片
3.查看Debug目录,找到有问题的图片,删除。
比如,这张图片,整体来说识别还可以,但是脸部外侧并不是很精确,我希望这个边缘能到红色虚线的地方。
那么,我要先在Debug目录中,删除这个图片。
4.点击脚本文件
5) data_dst extract faces MANUAL RE-EXTRACT DELETED RESULTS DEBUG.bat
5. 手动修改并保存
点击BAT文件之后,会出现加载窗口,并且会显示有多少文件需要手动提取。比如我这里只删除了一张,所以它只显示 Found 1 images (只发现一张)! 加载完后会跳出如下界面。
这个界面并非完全手动,软件会自动选取脸部区域。
你可以通过移动和滚动鼠标来调整区域。
单击鼠标:锁定和解锁
回车键:确认
确认后立马根据你选取的区域开始提取。
提取完成后,Debug目录会重新出现删除的图片
此时,脸部轮廓已经基本符合我们的预期。Debug文件重新生成的同时,aligned里面的图片也已经更新。 在后续的环节中,就会更具你手动选取的区域进行替换。
申明:图文均由deepfakes 中文网原创,转发请注明出处,谢谢!
35 Comments
不知谷歌的colab该如何操作
colab不支持!
在外网我看到dfl作者好像要搞软件收费了,不知道以后会跟免费版有什么区别
哪里看到的?
在作者的GitHub上看到的
换脸后,人脸颜色不和谐,这个应该怎么调整?谢谢!
单纯调参数不太行,好的模型默认参数也能解决颜色的问题。你可以尝试:1. 挑选好素材,2.把模型练到50w~100w
谢谢!
另外,想问一下,我用H128训练了20w iteration,换脸后,还是感觉脸部模糊。是不是H128输出的脸部分辨率就是128*128?如果我换到1080p的视频上,如果脸部在视频中的画面很大的话,是不是我训练多少次也达不到原视频的清晰度?谢谢
对的! 有局限,128大概能应付256×256,大了肯定模糊的。当然20W迭代不算多,继续跑还能变清晰。
請問debug內容會影響model的訓練嗎?
不会
Performing re-extract frames which were deleted from _debug directory.
Searching deleted files: 100%|#################################################| 32556/32556 [00:30<00:00, 1084.25it/s]
Found 8 images.
Performing manual extract…
Running on GeForce GTX 1660 Ti.
Using TensorFlow backend.
100%|####################################################################################| 8/8 [00:35<00:00, 4.38s/it]
Performing 3rd pass…
Running on CPU0.
Running on CPU1.
Running on CPU2.
Running on CPU3.
Running on CPU4.
Running on CPU5.
Running on CPU6.
Running on CPU7.
100%|####################################################################################| 8/8 [00:00<00:00, 50.45it/s]
————————-
Images found: 8
Faces detected: 0
————————-
Done.
請按任意鍵繼續 . . .
想說有很多圖片需要debug, 明顯包含人瞼的圖片己經手動debug。但之後Faces detected: 0。
己經多次發生…,有解決方法麼?
Performing re-extract frames which were deleted from _debug directory.
Searching deleted files: 100%|#################################################| 32556/32556 [00:30<00:00, 1084.25it/s]
Found 8 images.
Performing manual extract…
Running on GeForce GTX 1660 Ti.
Using TensorFlow backend.
100%|####################################################################################| 8/8 [00:35<00:00, 4.38s/it]
Performing 3rd pass…
Running on CPU0.
Running on CPU1.
Running on CPU2.
Running on CPU3.
Running on CPU4.
Running on CPU5.
Running on CPU6.
Running on CPU7.
100%|####################################################################################| 8/8 [00:00<00:00, 50.45it/s]
————————-
Images found: 8
Faces detected: 0
————————-
Done.
請按任意鍵繼續 . . .
想說有很多圖片需要debug, 明顯包含人瞼的圖片己經手動debug。但之後Faces detected: 0。
己經多次發生…,有解決方法麼?
我也遇到一樣的問題,過幾天再試一次又可以了…..你重開機試試?
戈試過重開機,重裝DFL,重新extract file,看似有效,亦試過回復正常。但問題依然可以無先兆、間歇性出現,可以說得上還是找不到原因與解決方法。
群主 全是英文看不懂呐,有没有中文列表的替换文件呀?
入门群里 672316851 有中文脚本的。
群拒绝加人了。。。
没理由拒绝啊,之前有发现 苹果设备加入不了!
A换成B,A和B的人脸训练集比例应该多少合适呢?1:1吗?
这个没有比例要求,对A的要求是表情角度尽量充分,对B没有要求,一张或者1万都可以。
咦?是不是反了捏?把特朗普演讲的视频里面特朗普(A)换成我自己(B),那么应该是需要我(B)的图片尽量包含各种表情和角度吧?
你是把你的脸贴到特朗普上身咯! 你就是src, 特朗普就是dst,是你的表情要多些。
2018.12.2版本的,没有 5) data_dst extract faces MANUAL RE-EXTRACT DELETED RESULTS DEBUG.bat 咋办捏?
2018版很老很老了哦,建议用620稳定版。
4) data_src extract faces S3FD all GPU
的时候最下面 3rd 显示用的cpu,前面两次用的gpu,cpu是锐龙1800x,3rd就生成了8张脸的图像 到第九张图像 1%9 9/346 的时候 cmd程序就闪退了
求大神指导
闪退我也比较无解,尤其是这种还搞了几张的。
请教下,就针对帖子中的这个问题,dst中有多个人脸,而自动识别大部分也是能视频脸轮廓的。
但是对于个别没有识别脸轮廓的该如何用这个工具操作?
其中关键的问题是,该工具只能手动交互出一个人脸,如何实现框出多个人脸呢?
补充下,我是指dst的debug,
请问data_dst extract faces MANUAL RE-EXTRACT DELETED RESULTS DEBUG.bat 可以同时标注两张脸吗?
最近手动标记vr影片人脸的时候选了地一张脸就不会在侦测了。
手动貌似只能选一张脸!
hello, 请教一下,为什么我按照这篇教程更改好了workspace\data_dst\aligned_debug下的脸图,并且正确的图片也在debug目录下生成了。但是用Quick96模型训练的时候,第3,4,5列出现的脸图范围跟我更改过的并不一致?
不会立马同步
有些图有脸但连轮廓曲线都没有怎么办呢