Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

不说话的时候下巴抖动 #26

Open
yancccc opened this issue Sep 19, 2024 · 4 comments
Open

不说话的时候下巴抖动 #26

yancccc opened this issue Sep 19, 2024 · 4 comments

Comments

@yancccc
Copy link

yancccc commented Sep 19, 2024

说话的时候效果挺好的,但是不说话的时候下巴一直在抖动,怎么解决这个问题?

@kleinlee
Copy link
Owner

大概率是背景视频一直在说话(下巴一直在动),导致对头部姿态的3D旋转估计偏差增大,因为头部姿态矩阵是按照面部3D关键点坐标来求解的。 目前有两种方法:1、使用更加稳健的3D旋转估计方法,用神经网络或数学迭代求解都可以,这部分我暂时没精力来做,欢迎感兴趣的研究一下,可以提PR。 2、让背景视频的下巴运动幅度变小,头部更加稳定。

@lonngxiang
Copy link

python data_preparation.py 自己视频推理合成但效果嘴型一般奇怪
image

@yancccc
Copy link
Author

yancccc commented Sep 30, 2024

大概率是背景视频一直在说话(下巴一直在动),导致对头部姿态的3D旋转估计偏差增大,因为头部姿态矩阵是按照面部3D关键点坐标来求解的。 目前有两种方法:1、使用更加稳健的3D旋转估计方法,用神经网络或数学迭代求解都可以,这部分我暂时没精力来做,欢迎感兴趣的研究一下,可以提PR。 2、让背景视频的下巴运动幅度变小,头部更加稳定。

能否在不说话的时候(没有音频输入的时候), 数字人静音时用一段视频代替

@selifecn
Copy link

selifecn commented Nov 8, 2024

说话的时候效果挺好的,但是不说话的时候下巴一直在抖动,怎么解决这个问题?

训练得不够,到2万步就比较清晰,也不抖动了。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants