Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

mongoshake增量同步时，新增了一个新表进行同步，只有几千条数据，但是mongoshake部署的容器使用内存激增，是什么原因？ #882

Open
Brake-benji opened this issue Jul 16, 2024 · 0 comments
Open

mongoshake增量同步时，新增了一个新表进行同步，只有几千条数据，但是mongoshake部署的容器使用内存激增，是什么原因？ #882

Brake-benji opened this issue Jul 16, 2024 · 0 comments

Comments

@Brake-benji
Copy link

现象描述：使用mongoshake同步mongo数据到kafka，原来已经有不少表在同步了，昨天新增了一个数据表(源表数据只有3k+)同步后使用的内存激增，8G加到64G才解决问题，内存使用平稳在46G左右。有开启checkpoint，看日志感觉是在全量同步追数的感觉。正常情况下，日志显示的时间跟系统时间是差不多的。
C6ADC6D5-3C11-4ad8-AF83-E3E8344DF3EE

疑问：
1.新增数据表进行同步时，可能造成内存激增的原因是什么？
2.增量同步模式下，新增数据表同步，是否会触发全量同步？

麻烦帮忙解答一下，谢谢！
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
1 participant
@Brake-benji