Tapdata 数据同步平台

ETL是什么

ETL（Extract-Transform-Load），即数据抽取、转换、装载的过程。它是一种思想，主要是说，从不同的数据源获取数据，并通过对数据进行处理（格式，协议等转换），最后将处理后的数据提供给其他系统使用。当然这个过程，就是软件研发，尤其是后端研发最核心的工作。

现有存在问题

• 目前企业的数据同步需求很大一部分是从关系型数据库实时同步到分布式 NoSQL，用来解决关系数据库的查询性能瓶颈及业务创新瓶颈
• 日常过程，需要代码处理业务数据，比较麻烦复杂增加开发工作量，SQL数据不易复用与扩展

使用场景

• 任务调度：如果想要周期性的执行转换，就需要采用任务调度的方式进行处理。
• 数据发布：它可以在短时间内快速发布一个标准 Restful 的接口，供各个系统调用获取数据
• 数据同步：可以将数据同步至不同数据源，从关系型数据库到NoSQL数据库之间的传输。例如将MySql表数据同步至MongoDB
• 实时更新：在各系统都会有缓存，随着库中数据发生更新，如果缓存还没有过期那么就会拿到过期的数据，业务期望能够实时更新缓存，这时可以使用tapdate对redis进行数据更新，减少对数据库压力

场景一

• BI报表需求，需要从多个业务库抽取数据清洗加工成指标，最终利用可视化工具进行展示，每天早上能看到昨天的数据即可。
• 第二有可能业务规则调整，今天看的数据条件和昨天不同了，以前有可能是代码来修改，现在使用Tapdata操作JS节点动态调整查询条件，从而动态展示满足条件的报表数据

场景二

一些GPS设备会定时上报一些数据，包括精度、纬度、点火状态的数据，这些数据会先经过GPS上报，会做状态的管理、里程，之后生成想要的报表，因为数据有可能来自不同的表不同的数据源，那相互调用，查询起来的效果就没有那么好，界面看起来会很卡，如果有一张表直接存了这些数据，那么效果肯定是最佳的，而且对数据准确性和实时性比较要求，还要供不同的子系统调用，就可以使用tapdata通过检测数据源的日志功能来做到实时同步以及通过api接口发布，来供我们公司的其他子系统调用

个人体会

1. 其一就是:团队强大,系统支持人员会很快解决你碰到的问题，以及丰富的操作手册文档，比较全面
2. 通过数据工具将不同的数据源，通过任务编排的方式进行组合，达到多个任务之间的重用，但是太多了就比较杂乱了，尽量还是在一个任务中完成
3. 拖拉拽的操作简单，执行效率高效，之前我有一张表数据是几百万，在十几秒钟就传输成功*

总体优点：

• 能支持各种NOSQL， 可视化界面简洁大气， 从数据同步速度、以及数据准确率两个方面来看比较强大
• 使用数据校验数据同步或者迁移后的数据准确性比较强大
• 支持一对一，多对一，一对多的复杂关系数据操作
• 数据API发布能力：可以通过RESTful API快速的交付出去。提供图形化低代码开发工具

缺点： 如果涉及表多，逻辑复杂，拖拽实现起来比较复杂繁琐