大佬教程收集整理的这篇文章主要介绍了数据同步增量全量的区别,大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
1.数据同步看数据量和增删改查的原因确定是否是增量同步还是全量同步
1.一般mongo表使用增量数据,因为我们业务数据mongo存储的内容较多,如果每天都使用使用全量的话,占用太大了(不区别etl_dt)
2.一般mysql表使用全量数据,因为mysql表极限在千万级别,所以删除和修改的操作更多一些,整体量级比mongo小,这样可以使用全量(每一个etl_dt,都是那一天之前所有的全量数据)
3.增量有etl_dt,比如埋点数据,只有新增,所以我们一般用增量同步,但是也有etl_dt,这样我们如果回溯之前的某段时间的埋点数据的话,
只需要取etl_dt在(20210901~20210902)之间新增的埋点数据即可,增加查询效率,因为埋点数据比较多。
以上是大佬教程为你收集整理的数据同步增量全量的区别全部内容,希望文章能够帮你解决数据同步增量全量的区别所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。