設計
應用場景
使用教程
預覽
DBSyncer是一款開源的數據同步中間件,提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步場景。
支持上傳插件自定義同步轉換業務,提供監控全量和增量數據統計圖、應用性能預警等。
特點
組合驅動 ,自定義庫同步到庫組合,關系型數據庫與非關系型之間組合,任意搭配表同步映射關系
實時監控 ,驅動全量或增量實時同步運行狀態、結果、同步日志和系統日志
開發插件 ,自定義轉化同步邏輯
設計
架構圖
基于 Spring Boot + MyBatis Plus + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能
項目地址:https://github.com/YunaiV/ruoyi-vue-pro
視頻教程:https://doc.iocoder.cn/video/
應用場景
連接器 | 數據源 | 目標源 | 支持版本(包含以下) |
---|---|---|---|
MySQL | 5.7.19以上 | ||
Oracle | 10gR2 -11g | ||
SqlServer | 2008以上 | ||
PostgreSQL | 9.5.25以上 | ||
ES | 6.0以上 | ||
Kafka | 開發中 | 2.10-0.9.0.0以上 | |
File | *.txt, *.unl | ||
SQL | 支持以上關系型數據庫 | ||
后期計劃 | Redis |
基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能
項目地址:https://github.com/YunaiV/yudao-cloud
視頻教程:https://doc.iocoder.cn/video/
使用教程
1.啟動 代理 和 數據庫 服務
2.準備測試賬號,test
3.分配sysadmin角色
4.分配指定數據庫權限
PostgreSQL
通過復制流技術監聽增量事件,基于內置插件pgoutput、test_decoding實現解析wal日志
1、修改postgresql.conf文件,重啟服務
wal_level=logical
2、授予賬號權限LOGIN和REPLICATION
File
監聽文件修改時間得到變化文件,通過文件偏移量讀取最新數據
https://gitee.com/ghi/dbsyncer/issues/I55EP5
ES
定時獲取增量數據。
賬號具有訪問權限。
日志
建議MySQL、SqlServer、PostgreSQL都使用日志
定時
假設源表數據格式
預覽
驅動管理
驅動詳情
驅動表字段關系配置
監控
上傳插件
開源地址
-
開源
+關注
關注
3文章
3407瀏覽量
42713 -
管理系統
+關注
關注
1文章
2574瀏覽量
36109 -
數據源
+關注
關注
1文章
63瀏覽量
9718
原文標題:星標1.4k,一款國產開源數據同步中間件,支持多種數據源和預警功能!
文章出處:【微信號:芋道源碼,微信公眾號:芋道源碼】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
LabView動態創建數據源的方法
DxDataBook 如何調用網絡數據源
如何使用Apache Spark中的DataSource API以實現數據源混合計算的實踐

基于元組水平對數據源進行分層抽樣

基于LDA主題模型進行數據源選擇方法

Deep Web數據源選擇和集成方法

數據倉庫入門之創建數據源

Quick BI 支持多種數據源進行多維分析

評論