Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

基于整合包的推理经验 #21

Open
Eikwang opened this issue Sep 14, 2024 · 6 comments
Open

基于整合包的推理经验 #21

Eikwang opened this issue Sep 14, 2024 · 6 comments

Comments

@Eikwang
Copy link

Eikwang commented Sep 14, 2024 •
edited
Loading

多次测试后总结如下
总循环不能超过1000帧，也就是说素材不能超过500帧，超出后会失败报错。
素材尺寸最大1080p，最小480p（大头照），建议720P，人脸占比不能低于1/4画面宽度。
素材30帧，长度则为16.5s，生成33s循环样本，
素材25帧，长度则为20s，生成40s循环样本。
生成的样本会强制转换为25帧，故建议使用25帧的素材，有利于计算长度。
全身视频使用720102425fps的素材，嘴巴可以闭上了，不会咧开嘴露出牙齿，但是嘴部仍然不自然
口型不太自然，如果使用没有嘴部运动的素材，推理出来的人物嘴巴能闭上，但是说话的时候嘴部不自然，使用有说话的素材推理出来口型比较好，不说话就咧着牙。。。等待作者优化
@Eikwang
Copy link
Author

Eikwang commented Sep 14, 2024

还需要探索，如何让训练集口型更自然，特别是不说话的时候，现在做出了的人物不说话的时候嘴巴闭不上

@Eikwang
Copy link
Author

Eikwang commented Sep 14, 2024

最新测试：使用全身视频口型效果较差，面部占比越低效果越差，，面部占比达到画幅2/3以上口型效果就比较准确，1：1大头照模式可以循环1800帧长度（即900帧素材）

@qiuzi
Copy link

qiuzi commented Sep 15, 2024

能提供下训练集结构和嘴唇分辨率尺寸吗？还有整合包的出处？

@Eikwang
Copy link
Author

Eikwang commented Sep 15, 2024

能提供下训练集结构和嘴唇分辨率尺寸吗？还有整合包的出处？

推理用的刘悦的整合包，训练集就是mp4视频、

@LvHuaiSheng
Copy link

能提供下训练集结构和嘴唇分辨率尺寸吗？还有整合包的出处？

推理用的刘悦的整合包，训练集就是mp4视频、

请问是用的项目里的train.py来训练的吗

@qiuzi
Copy link

qiuzi commented Sep 15, 2024

能提供下训练集结构和嘴唇分辨率尺寸吗？还有整合包的出处？

推理用的刘悦的整合包，训练集就是mp4视频、

那个视频处理的叫推理预处理，训练不在web界面里呈现

@Eikwang Eikwang changed the title 基于整合包的样本训练经验 基于整合包的推理经验 Sep 16, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
3 participants
@qiuzi @LvHuaiSheng @Eikwang