DBSyncer 一款开源的数据同步中间件

DBSyncer是一款开源的数据同步中间件,提供Mysql、Oracle、SqlServer、Elasticsearch(ES)、Kafka、SQL(Mysql/Oracle/SqlServer)等同步场景。支持上传插件自定义同步转换业务,提供监控全量和增量数据统计图、应用性能预警等。

开源精选》是我们分享Github、Gitee等开源社区中优质项目的栏目,包括技术、学习、实用与各种有趣的内容。本期推荐的 DBSyncer是一款开源的数据同步中间件

项目介绍
DBSyncer是一款开源的数据同步中间件,提供Mysql、OracleSqlServerElasticsearch(ES)、KafkaSQL(Mysql/Oracle/SqlServer)等同步场景。支持上传插件自定义同步转换业务,提供监控全量和增量数据统计图、应用性能预警等。

• 组合驱动,自定义库同步到库组合,关系型数据库与非关系型之间组合,任意搭配表同步映射关系
• 实时监控,驱动全量或增量实时同步运行状态、结果、同步日志和系统日志
• 开发插件,自定义转化同步逻辑
安装配置
步骤

安装JDK 1.8(省略详细)
• 下载安装包DBSyncer-1.0.0-Beta.zip
• 解压安装包,Window执行bin/startup.bat,Linux执行bin/startup.sh
• 打开浏览器访问:http://127.0.0.1:18686
• 账号和密码:admin/admin
增量同步配置(源库)

Mysql

• Dump Binlog二进制日志。Master同步Slave, 创建IO线程读取数据,写入relaylog,基于消息订阅捕获增量数据。
• 配置
修改my.ini文件

#服务唯一ID
server_id=1
log-bin=mysql_bin
binlog-format=ROW
max_binlog_cache_size = 256M
max_binlog_size = 512M
expire_logs_days = 7
#监听同步的库, 多个库使用英文逗号“,”拼接
replicate-do-db=test

Oracle

• CDN注册订阅。监听增删改事件,得到rowid,根据rowid执行SQL查询,得到变化数据。
• 授予账号监听权限, 同时要求目标源表必须定义一个长度为18的varchar字段,通过接收rowid值实现增删改操作。

grant change notification to 你的账号

定时

DBSyncer 一款开源的数据同步中间件
假设源表数据格式

DBSyncer 一款开源的数据同步中间件

预览

DBSyncer 一款开源的数据同步中间件
驱动管理

DBSyncer 一款开源的数据同步中间件

DBSyncer 一款开源的数据同步中间件
驱动表字段关系配置

DBSyncer 一款开源的数据同步中间件

更多内容:https://gitee.com/ghi/dbsyncer

转载作品,原作者:GitHub精选,文章来源:https://www.toutiao.com/i7068227625247867431

(0)
打赏 微信赞赏 微信赞赏 支付宝赞赏 支付宝赞赏
上一篇 2022-02-20 14:43
下一篇 2022-03-11 09:13

相关推荐

  • MySQL 到 ADB PostgreSQL 实时数据同步实操分享

    MySQL 到 ADB PostgreSQL 实时数据同步实操分享,本次 MySQL 数据实时同步到 ADB PostgreSQL大概只花了几分钟就完成。使用的工具是 Tapdata Cloud,这个工具是永久免费的。

    2022-01-20 MySQL
    2490
  • MySQL 故障诊断:MySQL 占用 CPU 过高问题定位及优化

    在使用 MySQL 的过程中会遇到各种瓶颈问题,常见的是 IO 瓶颈,但是有时候会出现服务器 CPU 使用率超过 100%,应用页面访问慢,登录服务器负载很高。而导致这个问题竟然是 MySQL 进程,按理说如果 MySQL 运行稳定,服务器的 CPU 资源并不会跑满,如果出现这个问题,初步可以断定,是 MySQL 实例中出现了问题 SQL。

    MySQL 2022-03-11
    4270
  • MySql与Redis实时同步部署及配置手册

    MySql与Redis实时同步部署及配置手册,主要使用Mysql与Redis之间的数据同步,通过Mysql的Binlog实现,业务中可以直接使用,方面高效。

    2021-11-24 MySQL
    6500
  • MySQL 配置文件 my.cnf / my.ini 逐行详解

    MySQL 配置文件的意义充分理解 MySQL 配置文件中各个变量的意义对我们有针对性的优化 MySQL 数据库性能有非常大的意义。我们需要根据不同的数据量级,不同的生产环境情况对…

    MySQL 2022-01-09
    2710
  • mydumper 备份工具介绍与使用

    开源工具 mydumper 同样适用于 MySQL 的逻辑备份。之前一直没有正式体验过,只是听说比 mysqldump 要快很多,具体使用效果如何, 一起来看下吧。 1. mydu…

    MySQL 2022-01-25
    2890
  • MySQL的json查询之插入、合并

    MySQL的json查询之插入、合并

    2021-12-21 MySQL
    4120

发表回复

登录后才能评论
扫码了解
扫码了解
分享本页
返回顶部