那曲檬骨新材料有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

聊一聊消息隊列技術選型的7種消息場景

jf_ro2CN3Fa ? 來源:君哥聊技術 ? 2023-12-09 17:50 ? 次閱讀

1 普通消息

消息隊列最基礎的功能就是生產者發送消息、Broker 保存消息,消費者來消費消息,以此實現系統解耦、削峰填谷的作用。

d8f47a96-9640-11ee-8b88-92fbcf53809c.png

普通消息是消息隊列必備的消息類型,也是系統使用場景最多的一種消息。

2 順序消息

順序消息是指生產者發送消息的順序和消費者消費消息的順序是一致的。比如在一個電商場景,同一個用戶提交訂單、訂單支付、訂單出庫,這三個消息消費者需要按照順序來進行消費。如下圖:

d91a241c-9640-11ee-8b88-92fbcf53809c.png

順序消息的實現并不容易,原因如下:

生產者集群中,有多個生產者發送消息,網絡延遲不一樣,很難保證發送到 Broker 的消息落盤順序是一致的;

如果 Broker 有多個分區或隊列,生產者發送的消息會進入多個分區,也無法保證順序消費;

如果有多個消費者來異步消費同一個分區,很難保證消費順序跟生產者發送順序一致。

要保證消息有序,需要滿足兩個條件:

同一個生產者必須同步發送消息到同一個分區;

一個分區只能給同一個消費者消費。

如下圖:

d931cdb0-9640-11ee-8b88-92fbcf53809c.png

上面第二個條件是比較容易實現的,一個分區綁定一個消費者就可以,主要是第一個條件。

在主流消息隊列的實現中,Kafka 和 Pulsar 的實現方式類似,生產者給消息賦值一個 key,對 key 做 Hash 運算來指定消息發送到哪一個分區。比如上面電商的例子,對同一個用戶的一筆訂單,提交訂單、訂單支付、訂單出庫這三個消息賦值同一個 key,就可以把這三條消息發送到同一個分區。

對于 RocketMQ,生產者在發送消息的時候,可以通過 MessageQueueSelector 指定把消息投遞到那個 MessageQueue,如下圖:

d94b1964-9640-11ee-8b88-92fbcf53809c.png

示例代碼如下:

publicstaticvoidmain(String[]args)throwsUnsupportedEncodingException{
try{
DefaultMQProducerproducer=newDefaultMQProducer("please_rename_unique_group_name");
producer.start();

String[]tags=newString[]{"TagA","TagB","TagC","TagD","TagE"};
for(inti=0;imqs,Messagemsg,Objectarg){
Integerid=(Integer)arg;
intindex=id%mqs.size();
returnmqs.get(index);
}
},orderId);

System.out.printf("%s%n",sendResult);
}

producer.shutdown();
}catch(MQClientException|RemotingException|MQBrokerException|InterruptedExceptione){
e.printStackTrace();
}
}

RabbitMQ 的實現是 Exchange 根據設置好的 Route Key 將數據路由到不同的 Queue 中。示例代碼如下:

@Resource
privateAmqpTemplaterabbitTemplate;

publicvoidsend1(Stringmessage){
rabbitTemplate.convertAndSend("testExchange","testRoutingKey",message);
}

3 延時消息

或者也叫定時消息,是指消息發送后不會立即被消費,而是指定一個時間,到時間后再消費。經典的場景比如電商購物時,30 分鐘未支付訂單,讓訂單自動失效。

3.1 RocketMQ 實現

RocketMQ 定義了 18 個延時級別,每個延時級別對應一個延時時間。下面如果延遲級別是 3,則消息會延遲 10s 才會拉取。

//MessageStoreConfig類
privateStringmessageDelayLevel="1s5s10s30s1m2m3m4m5m6m7m8m9m10m20m30m1h2h";

RocketMQ 的延時消息如下圖:

d95d1470-9640-11ee-8b88-92fbcf53809c.png

生產者把消費發送到 Broker 后,Broker 首先把消息保存到 SCHEDULE_TOPIC_XXXX 這個 Topic,然后調度任務會判斷是否到期,如果到期,會把消息從 SCHEDULE_TOPIC_XXXX 取出投遞到原始的 queue,這樣消費者就可以消費到了。

RocketMQ 的延時消息只支持最大兩個小時的延時,不過 RocketMQ5.0 基于時間輪算法實現了定時消息,解決了這個問題。

3.2 Pulsar 實現

Pulsar 的實現如下圖:

d96f90aa-9640-11ee-8b88-92fbcf53809c.png

Pulsar 的延時消息首先會寫入一個 Delayed Message Tracker 的數據結構中,Delayed Message Tracker 根據延時時間構建 delayed index 優先級隊列。消費者拉取消息時,首先去 Delayed Message Tracker 檢查是否有到期的消息。如果有則直接拉取進行消費。

3.3 RabbitMQ 實現

RabbitMQ 的實現方式有兩種,一種是投遞到普通隊列都不消費,等消息過期后被投遞到死信隊列,消費者消費死信隊列。如下圖:

d97ff652-9640-11ee-8b88-92fbcf53809c.png

第二種方式是生產者發送消息時,先發送到本地 Mnesia 數據庫,消息到期后定時器再將消息投遞到 broker。

3.4 Kafka 實現

Kafka 本身并沒有延時隊列,不過可以通過生產者攔截器來實現消息延時發送,也可以定義延時 Topic,利用類似 RocketMQ 的方案來實現延時消息。

4 事務消息

事務消息是指生產消息和消費消息滿足事務的特性。

RabbitMQ 和 Kafka 的事務消息都是只支持生產消息的事務特性,即一批消息要不全部發送成功,要不全部發送失敗。

RabbitMQ 通過 Channel 來開啟事務消息,代碼如下:

ConnectionFactoryfactory=newConnectionFactory();
connection=factory.newConnection();
Channelchannel=connection.createChannel();
//開啟事務
channel.txSelect();
channel.basicPublish("directTransactionExchange","transactionRoutingKey",null,message.getBytes("utf-8"));
//提交事務或者channel.txRollback()回滾事務
channel.txCommit();

Kafka 可以給多個生產者設置同一個事務 ID ,從而把多個 Topic 、多個 Partition 放在一個事務中,實現原子性寫入。

Pulsar 的事務消息對于事務語義的定義是:允許事件流應用將消費、處理、生產消息整個過程定義為一個原子操作。可見,Pulsar 的事務消息可以覆蓋消息流整個過程。

RocketMQ 的事務消息是通過 half 消息來實現的。以電商購物場景來看,賬戶服務扣減賬戶金額后,發送消息給 Broker,庫存服務來消費這條消息進行扣減庫存。如下圖:

d9957c3e-9640-11ee-8b88-92fbcf53809c.png

可見,RocketMQ 只能保證生產者發送消息和本地事務的原子性,并不能保證消費消息的原子性。

5 軌跡消息

軌跡消息主要用于跟蹤消息的生命周期,當消息丟失時可以很方便地找出原因。

軌跡消息也跟普通消息一樣,也需要存儲和查詢,也會占用消息隊列的資源,所以選擇軌跡消息要考慮下面幾點:

消息生命周期的關鍵節點一定要記錄;

不能影響正常消息的發送和消費性能;

不能影響 Broker 的消息存儲性能;

要考慮消息查詢維度和性能。

RabbitMQ Broker 實現了軌跡消息的功能,打開 Trace 開關,就可以把軌跡消息發送到 amq.rabbitmq.trace 這個 exchange,但是要考慮軌跡消息會不會給 Broker 造成 壓力進而導致消息積壓。RabbitMQ 的生產者和消費者都沒有實現軌跡消息,需要開發者自己來實現。

RocketMQ 生產者、Broker 和消費者都實現了軌跡消息,不過默認是關閉的,需要手工開啟。

使用軌跡消息,需要考慮記錄哪些節點、存儲介質、性能、查詢方式等問題。

6 死信隊列

在消息隊列中,死信隊列主要應對一些異常的情況,如下圖:

d9a7ce48-9640-11ee-8b88-92fbcf53809c.png

RocketMQ 實現了消費端的死信隊列,當消費者消費失敗時,會進行重試,如果重試 16 次還是失敗,則這條消息會被發送到死信隊列。

RabbitMQ 實現了生產者和 Broker 的死信隊列,下面三種情況,消息會被發送到死信隊列:

生產者發送消息被拒絕,并且 requeue 參數設置為 false;

Broker 消息過期了;

隊列達到最大長度。

RabbitMQ 消息變成死信消息后,會被發送到死信交換機(Dead-Letter-Exchange)。

7 優先級消息

有一些業務場景下,我們需要優先處理一些消息,比如銀行里面的金卡客戶、銀卡客戶優先級高于普通客戶,他們的業務需要優先處理。如下圖:

d9ba8416-9640-11ee-8b88-92fbcf53809c.png

主流消息隊列中,RabbitMQ 是支持優先級隊列的,代碼如下:

ConnectionFactoryfactory=newConnectionFactory();
connection=factory.newConnection();
Channelchannel=connection.createChannel();
Mapargs=newHashMap();
//設置優先級為5
args.put("x-max-priority",5);
channel.queueDeclare("my-priority-queue",true,false,false,args);

8 總結

消息隊列技術選型,要考慮的因素很多,本文主要從業務場景來分析需要考慮的因素,同時技術上也需要考慮運維復雜度、業務規模、社區活躍度、學習成本等因素。希望本文對你使用消息隊列有所幫助。






審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • Hash算法
    +關注

    關注

    0

    文章

    43

    瀏覽量

    7417
  • 調度器
    +關注

    關注

    0

    文章

    98

    瀏覽量

    5298

原文標題:消息隊列技術選型的 7 種消息場景

文章出處:【微信號:芋道源碼,微信公眾號:芋道源碼】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    從焊接角度,設計PCB的5個建議

    完成個電路板,需要PCB工程師、焊接工藝、焊接工人等諸多環節的把控。今天通過定位孔、MARK點、留邊、焊盤過孔、輔助工具這五個方面從畫板的角度跟大家PCB設計。
    的頭像 發表于 02-06 10:31 ?2040次閱讀
    從焊接角度<b class='flag-5'>聊</b><b class='flag-5'>一</b><b class='flag-5'>聊</b>,設計PCB的5個建議

    Altium中Fill,Polygon Pour,Plane的區別和用法

    Fill會造成短路,為什么還用它呢?來Altium中Fill,Polygon Pour,Plane的區別和用法
    發表于 04-25 06:29

    stm32的低功耗調試

    前言:物聯網的大部分設備都是電池供電的,設備本身低功耗對延長設備使用至關重要,今天就實際調試總結stm32的低功耗調試。1、stm32在運行狀態下的功耗上圖截圖自stm32l15x手冊
    發表于 08-11 08:18

    7系列FPGA的供電部分

    前幾篇咱們說了FPGA內部邏輯,本篇咱們再聊7系列FPGA的供電部分。首先咱們說spartan7系列,通常咱們需要使用以下電源軌:1,VCCINTFPGA內部核心電壓。其不損壞FP
    發表于 11-11 09:27

    平衡小車代碼的實現

    前言今天代碼,只有直立功能的代碼。代碼總體思路給定個目標值,單片機通過IIC和mpu6050通信,得知數據后,根據角度環計算出個P
    發表于 01-14 08:29

    串口環形隊列常用的幾種方法

    1、串口常用的幾種方式查詢方式可靠性很高,要考慮下個數據包覆蓋上個數據包的問題,小數據量,在10個字節以內,可以這樣考慮, 很簡單,很方便,很可靠。但是在數據量大的時候,程序阻
    發表于 07-21 15:17

    FPGA的片內資源相關知識

    大家好,到了每日學習的時間了。今天我們來FPGA的片內資源相關知識。 主流的FPGA仍是基于查找表技術的,已經遠遠超出了先前版本的基本性能,并且整合了常用功能(如RAM、DCM和
    的頭像 發表于 05-25 14:11 ?8981次閱讀
    <b class='flag-5'>聊</b><b class='flag-5'>一</b><b class='flag-5'>聊</b>FPGA的片內資源相關知識

    IIC總線設計

    大家好,又到了每日學習的時間了,今天咱們來 IIC 總線設計。 、概述: IIC 是Inter-Integrated Circuit的縮寫,發音為eye-squared cee
    的頭像 發表于 06-22 10:32 ?9355次閱讀

    海信推出社交電視 可實現邊看邊、邊邊玩

    4月15日,海信推出了款搭載了伸縮式攝像頭,同時滿足6路視頻通話,可實現邊看邊、邊邊玩的全新社交電視產品——社交電視S7,將于近期上市。
    發表于 04-17 09:19 ?2298次閱讀

    小米米2月19日停止服務 米宣布關閉服務器

    v8.8.70 及以上版本支持批量導出。 2010年12月10日,反應迅速的小米僅僅用了不到2個月的時間,發布了中國第款模仿kik的產品——米。Kik是款基于手機通信錄的社交軟件,用戶可以免費短信聊天。 2012年5月,
    的頭像 發表于 01-20 05:43 ?6699次閱讀

    FPGA中的彩色轉灰度的算法

    大家好,又到了每日學習的時間了,今天我們來FPGA學習中可以遇到的些算法,今天就
    的頭像 發表于 04-15 15:47 ?1999次閱讀

    【職場雜談】與嵌入式物聯網架構師幾個話題

    【職場雜談】與嵌入式物聯網架構師幾個話題
    的頭像 發表于 08-23 09:19 ?1393次閱讀
    【職場雜談】與嵌入式物聯網架構師<b class='flag-5'>聊</b><b class='flag-5'>一</b><b class='flag-5'>聊</b>幾個話題

    華為云彈性公網IP的那些事兒

    華為云彈性公網IP的那些事兒 如今,企業上云已成為熱門話題,云可以驅動流程創新和業務創新,成為企業新的利潤增長點,被看成是企業實現數字化轉型的必經之路。彈性公網IP作為一種網絡基
    的頭像 發表于 11-21 15:20 ?911次閱讀
    <b class='flag-5'>聊</b><b class='flag-5'>一</b><b class='flag-5'>聊</b>華為云彈性公網IP的那些事兒

    簡單DPT技術-double pattern technology

    今天想來簡單DPT技術-double pattern technology,也就是雙層掩模版技術,在目前先進工藝下,這項
    的頭像 發表于 12-05 14:26 ?2175次閱讀

    芯片設計的NDR是什么?

    今天突然想route相關的問題,講講NDR是什么,我也梳理總結下我對NDR的認識。
    的頭像 發表于 12-06 15:14 ?2310次閱讀
    属鼠和属虎的人能在一起做生意吗| 监利县| 百家乐平玩法lm0| 楚雄市| 百家乐娱乐平台开户| 网络百家乐官网大转轮| 大发888 赌博网站| 大东方百家乐游戏| 百家乐官网庄家赢钱方法| 百家乐园是真的不| 金榜百家乐官网的玩法技巧和规则 | 百家乐官网开户首选| 大发888线上娱乐城二十一点| 百家乐官网技巧网址| 呼玛县| 百家乐是娱乐场| 7位百家乐官网扑克桌| 沙巴百家乐官网现金网| 风水24山图解| 博网百家乐官网现金网| 威尼斯人娱乐场色碟| 属蛇和属马合作做生意谁吃亏| 百家乐官网桌蓝盾在线| 大发888登陆网页| 好用百家乐官网软件| 大发888体育场下载| 澳门百家乐赢钱技术| 百家乐真人斗地主| 百家乐官网波音独家注册送彩| 百家乐官网大小桌布| 现场百家乐官网机| 百家乐官网视频麻将| 百家乐官网赌博彩| 澳门网上博彩| 天祝| JJ百家乐官网的玩法技巧和规则 | 做生意摆什么好招财| 百家乐官网赌法| 澳门赌博经历| 威尼斯人娱乐代理注| 百家乐群html|