那曲檬骨新材料有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Redis數據同步解決方案—NineData

數據庫小組 ? 來源:數據庫小組 ? 作者:數據庫小組 ? 2023-06-05 15:31 ? 次閱讀

在 DB-Engines 網站的排名中,Redis 在 Key-value 存儲的NoSQL領域連續霸榜多年,是目前最流行的鍵值對存儲數據庫,被廣泛用于緩存、隊列、實時分析等多種高并發的場景中。在生產環境中,我們會遇到對Redis進行版本升級和架構的擴縮容的操作,這些操作都會涉及到Redis數據同步操作,所以,一個穩定、高效、安全的數據同步服務不可或缺。

現在,NineData 在支持了「Redis可視化管理工具」的基礎上,又進一步拓展了Redis同步的能力,很好地滿足了Redis因版本升級、擴容、縮容等場景下對數據遷移和同步的需求。

一、產品優勢

高效、穩定的同步服務

通過自建Redis實例間的數據同步,在同步性能上,對比測試了阿里云DTS、Redis-Shake。

全量同步:

同步規格4c8g,NineData 比 DTS 的性能高70%,比Redis-Shake性能高50% 。

增量同步:

同步規格1c2g,NineData 比 DTS 的性能高25倍,DTS 對small規格進行了限制 。

同步規格4c8g,NineData 比 DTS 的性能高25% 。

通過對全量同步和增量同步的性能對比,NineData 性能表現最好,并且NineData還具有全鏈路監控、多渠道多策略告警和修復策略,進一步保障了同步鏈路的穩定。關于性能對比測試的具體數據可以看"測試說明"部分。

多源、多模式的支持

NineData 同步支持自建、多云、混合云平臺等多種數據源的Redis服務,也支持Redis的單機、哨兵和集群任意模式的數據同步。

安全可靠

NineData 同步(全量、增量)期間,如果遇到Redis實例壓力太大影響業務,可以使用同步限流能力,也支持暫停和斷點續傳的能力(降低重新同步拉取全量的性能影響),保障數據庫的安全和性能。

數據一致性

NineData 同步提供了數據對比和不一致數據的修復能力,保證源和目標數據的一致性。并且也可以對數據對比進行限流,進一步保障數據庫的穩定性。

數據匯總

NineData 同步提供了庫映射能力,支持多個Redis實例同步到單Redis實例,實現了類似 MySQL多源復制的功能。

二、使用場景

NineData 同步提供穩定、安全的數據流服務,在支持全量和增量數據同步的同時,實現不停服遷移,降低數據同步對業務的影響。可用于以下場景:

升級

為了使用新版本的特性或修復安全BUG,需要進行Redis的版本升級,可以通過NineData的同步把數據同步到新版本Redis實例上。

擴容

單機/哨兵模式,遷移至集群。如遇到業務爆發,單機Redis的性能滿足不了要求,需要擴容成集群,可以通過NineData的同步把單機實例上的數據遷移至Redis集群上。

縮容

集群模式,遷移至單機/哨兵。如業務壓力不大或為降本增效,需要進行縮容,可以通過NineData的同步把集群中多個節點數據匯聚到Redis單機/哨兵實例。

其他遷移

Codis、Twemproxy、自研Proxy等集群,遷移至Redis Cluster集群,可以通過NineData把數據同步到Redis Cluster實例。

三、測試說明

通過自建實例間的數據同步,和阿里云的DTS、開源的Redis-Shake進行對比,來對比同步的性能差異(目前對于源和目標為自建實例,只有阿里云的DTS支持)。

測試實例

wKgaomR9j0yAHKZaAADZmGrx3YE051.jpg

測試實例

全量測試

通過腳本生成所有類型的key,并在源實例上生成500W個key,used_memory為1.8G內存。

wKgZomR9j02ALoF-AAD1zvmJufU349.jpg

全量測試

增量測試

任務暫停后,執行增量腳本(涉及所有類型key的增、刪、改)。為了保證任務暫停期間,增量數據可以存放到repl-backlog-size中,后續可以通過offset來繼續增量,需要調整參數

config set repl-backlog-size 2147483648
config set client-output-buffer-limit "normal 0 0 0 slave 0 0 0 pubsub 33554432 8388608 60"
wKgaomR9j02ATXgjAAJYUZy52v8539.jpg

增量測試

通過對全量同步和增量同步的復制對比,NineData性能表現最好:

全量同步

規格4c8g,NineData 比 DTS 的性能高70%,比Redis-Shake性能高50%。

增量同步

規格1c2g,NineData 比 DTS 的性能高25倍;規格4c8g,NineData 比 DTS 的性能高25%。

四、總結

NineData(https://www.ninedata.cloud/)在Redis的同步上,提供了穩定和高效的解決方案,并且性能上也領先其他同步工具,特別是在同步的動態限流、數據對比修復和限流、異常修復和斷點續傳等能力上也支持的最完善。

所以,如果需要使用 Redis 的遷移和實時同步功能,推薦使用 NineData,不僅滿足穩定、高效、安全,而且使用簡單(SaaS),很好地解決 Redis 數據同步的問題。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據同步
    +關注

    關注

    0

    文章

    17

    瀏覽量

    8186
  • nosql
    +關注

    關注

    0

    文章

    39

    瀏覽量

    10036
  • Redis
    +關注

    關注

    0

    文章

    378

    瀏覽量

    10939
收藏 人收藏

    評論

    相關推薦

    使用NineData快速完成MySQL數據的差異對比!

    NineData 是一款功能強大的數據庫對比工具,能夠幫助企業追蹤數據庫的變化、發現問題并快速修復。相比其他工具,NineData 具有以下優勢:即開即用、全面的
    的頭像 發表于 08-08 15:07 ?1015次閱讀
    使用<b class='flag-5'>NineData</b>快速完成MySQL<b class='flag-5'>數據</b>的差異對比!

    Redis Stream應用案例

    、新的RadixTree數據結構來支持更高效的內存使用和消息讀取、甚至是類似于Kafka的Consumer Group功能。今天我們重點關注怎么在實際業務場景下去使用Redis Stream。Redis
    發表于 06-26 17:15

    Redis緩存和MySQL數據不一致原因和解決方案

    高并發架構系列:Redis緩存和MySQL數據一致性方案詳解
    發表于 03-27 15:55

    如何使得redis中的數據不再有

    嵌入式Linux系統重啟后如何使得redis中的數據不再有今天在工作中遇到一個問題:網頁展示redis中的數據,然而再Linux系統重啟后網頁還能展示
    發表于 11-05 08:50

    Redis可視化管理工具之NineData

    NineData的SQL窗口(Redis)是一個功能強大、靈活且易于使用的數據管理工具,擁有多種數據來源、云平臺適配和商業模式,旨在為用戶提供更好的
    的頭像 發表于 05-17 22:38 ?1633次閱讀
    <b class='flag-5'>Redis</b>可視化管理工具之<b class='flag-5'>NineData</b>

    NineData x 華為云正式上線

    6月5日,NineData 企業級 SQL 開發平臺正式成為華為云“聯營聯運”商品。通過聯營聯運模式,雙方將在產品、解決方案和生態等多個方面開展深度合作,共同提供高效、智能、安全的數據管理服務,幫助客戶輕松構建一站式云端
    的頭像 發表于 06-06 11:11 ?638次閱讀
    <b class='flag-5'>NineData</b> x 華為云正式上線

    智能管理,NineData支持最受歡迎數據庫PostgreSQL

    NineData新增了PostgreSQL數據源的支持,這是一個可視化、集成AI、多云多環境、擁有企業級能力的PostgreSQL解決方案。無論您是個人開發者還是團隊,都可以通過NineDat
    的頭像 發表于 07-27 16:39 ?483次閱讀
    智能管理,<b class='flag-5'>NineData</b>支持最受歡迎<b class='flag-5'>數據</b>庫PostgreSQL

    加速數據傳輸:通過NineData數據復制技術加速實時數倉構建

    強大的生態開發兼容性,對接豐富的大數據生態產品,助力企業快速開展數據分析業務,共同探索實時數據驅動的未來企業智能化數據管理解決方案。本文根據玖章算術技術副總裁陳長城(天羽)在
    的頭像 發表于 08-31 16:11 ?868次閱讀
    加速<b class='flag-5'>數據</b>傳輸:通過<b class='flag-5'>NineData</b><b class='flag-5'>數據</b>復制技術加速實時數倉構建

    NineData:高效可靠的MongoDB遷移及同步方案

    為解決用戶面臨的MongoDB遷移問題,玖章算術旗下的云原生智能數據管理平臺NineData 推出了MongoDB 業務不停服數據遷移能力。NineData實現了完全自動化的全量
    的頭像 發表于 09-05 11:32 ?760次閱讀
    <b class='flag-5'>NineData</b>:高效可靠的MongoDB遷移及<b class='flag-5'>同步</b><b class='flag-5'>方案</b>

    Redis數據量高速遷移,2000W key不到2分鐘!

    NineData 基于全量復制、增量日志復制技術,提供了高效、安全可靠的 Redis 不停機遷移方案。當然,除了 RedisNineData
    的頭像 發表于 09-12 15:40 ?852次閱讀
    <b class='flag-5'>Redis</b> 大<b class='flag-5'>數據</b>量高速遷移,2000W key不到2分鐘!

    Redis數據清理策略

    本文整理 Redis數據清理策略所有代碼來自 Redis version :5.0, 不同版本的 Redis 策略可能有調整
    發表于 09-19 14:24 ?412次閱讀
    <b class='flag-5'>Redis</b> 的<b class='flag-5'>數據</b>清理策略

    使用NineData快速、高效完成Redis差異數據對比!

    NineDataRedis數據遷移場景下表現出色,可快速準確完成Redis數據對比,找出不一致的key并生成詳細報告。
    的頭像 發表于 10-07 11:57 ?509次閱讀
    使用<b class='flag-5'>NineData</b>快速、高效完成<b class='flag-5'>Redis</b>差異<b class='flag-5'>數據</b>對比!

    Redis Enterprise vs ElastiCache——如何選擇緩存解決方案

    使用Redis或AmazonElastiCache來作為緩存加速已經是業界主流的解決方案,二者各有什么優勢?又有哪些區別呢?文況速覽:Redis是什么?RedisEnterprise
    的頭像 發表于 11-26 08:06 ?553次閱讀
    <b class='flag-5'>Redis</b> Enterprise vs ElastiCache——如何選擇緩存<b class='flag-5'>解決方案</b>?

    redis分布式鎖可能出現的問題及解決方案

    Redis分布式鎖是一種常見的解決分布式系統中并發問題的方案。雖然Redis分布式鎖具有許多優點,但也存在一些潛在的問題需要注意。本文將詳細介紹Redis分布式鎖可能出現的問題,并提供
    的頭像 發表于 12-04 11:29 ?1039次閱讀

    一分鐘,自動完成Redis數據遷移

    NineData提供了高效、安全的Redis不停機數據遷移方案。與傳統遷移方案相比,NineData
    的頭像 發表于 01-08 11:34 ?466次閱讀
    一分鐘,自動完成<b class='flag-5'>Redis</b><b class='flag-5'>數據</b>遷移
    百家乐官网网站赌钱吗| 线上百家乐官网赌法| 皇星娱乐城| 时时彩论坛| 百家乐官网辅助分析软件| 百家乐官网代打公司| 网上百家乐官网作弊法| 伟易博百家乐现金网| 威尼斯人娱乐平台网上百家乐 | 澳门百家乐官方网址| 大发888信誉| 百家乐官网怎么才会赢| 属兔做生意门面房朝向| 新全讯网网址g2vvv| 平遥县| 悍马百家乐官网的玩法技巧和规则| 百家乐游戏单机牌| 壹贰博娱乐城| 线上百家乐官网手机版| 58百家乐的玩法技巧和规则 | 网上百家乐官网是假还是真的| 百家乐玩家技巧分享| 大发888真人| 澳门百家乐官网玩| 百家乐www| 射阳县| 网络百家乐可靠吗| 太阳城网上投注| 名人百家乐官网的玩法技巧和规则| 免费百家乐倍投| 澳门百家乐官网图形| 沙龙百家乐娱乐场开户注册| 太阳城娱乐网| 百家乐视频连线| 丹东亿酷棋牌世界官方下载| 百家乐官网稳赢战术技巧| 威尼斯人娱乐场官网326369| 百家乐官网庄闲机率分析| 二代百家乐破解| 好运来百家乐官网现金网| 百家乐大轮转|