作者：京東物流 劉浩

1. 背景

在分布式系統中，消息隊列（MQ）是實現系統解耦、異步通信的重要工具。然而，MQ消費時出現的消息亂序問題，經常會對業務邏輯的正確執行和系統穩定性產生不良影響。本文將詳細探討MQ消息亂序問題的根源，并提供一系列在實際應用中可行的解決方案。

2. MQ消息亂序問題分析

常見的MQ消息亂序問題的根源主要可以歸結為以下幾點：

2.1 相同topic內的消息亂序

1). 并發消費：

在分布式系統中，為了提高消息處理的吞吐量，通常會配置多個消費者實例來并發消費同一個隊列中的消息。然而，由于消費者實例的機器性能、網絡延遲以及處理速度的差異，可能導致消息的消費順序與發送順序不一致。

2). 消息分區：

為了支持更高效的消息存儲和消費，MQ系統通常會采用分區化的設計。然而，當同一業務邏輯的多條消息被分發到不同的分區時，消費者在消費這些消息時就可能出現亂序現象。

3). 網絡延遲與抖動：

消息在傳輸過程中可能會受到網絡延遲和抖動的影響，導致消息到達消費者端的時間順序與發送順序不一致。

4). 消息重試與故障恢復：

當消費者處理消息失敗或出現故障時，MQ系統通常會進行消息重試或故障恢復操作。如果重試機制或故障恢復策略設計不當，也可能導致消息亂序。

2.2 不同topic的消息亂序

從相對時間的視角來審視，消息被消費的順序并不等同于其被發送的順序。例如，系統A在12:00時向TopicA發送了消息msgA-12:00，而緊接著系統B在12:01時向TopicB發送了消息msgB-12:01。當系統C同時訂閱并消費這兩個Topic時，它無法預設msgA-12:00會必然先于msgB-12:01被接收。這是由于消息系統在處理過程中，受到諸如消息分區策略、各個Consumer的處理能力以及其諸如網絡、堆積、重試等他綜合因素的影響，導致無法確保消息遵循嚴格的先進先出原則。

3. 案例分析

3.1 數據遷移過程中的mq消費亂序場景

在數據遷移或同步過程中，尤其是雙寫場景（即數據既寫入舊系統，又通過MQ發送到新系統進行異步處理），MQ亂序可能導致嚴重的數據不一致問題。

具體來說，當數據寫入時發送INSERT MQ，數據更新時發送UPDATE MQ，如果UPDATE MQ先于INSERT MQ到達目標系統，目標系統可能會基于一個不存在的數據記錄進行更新操作。這會導致以下幾種情況：

數據丟失：如果目標系統沒有處理UPDATE MQ中提到的數據記錄（因為該記錄尚未通過INSERT MQ創建），則更新操作會失敗，可能導致數據變更丟失或遺漏。

數據覆蓋：在高頻修改的情況下，頻繁更新可能會面臨舊數據覆蓋新數據的風險，比如UPDATE MQ攜帶的是舊數據且先于新數據的UPDATE MQ到達。

3.2 業務風險分析

MQ亂序對數據遷移和同步過程的影響是深遠的：

數據一致性受損：最直接的影響是數據一致性受損。目標系統中的數據可能與源系統不一致，導致業務決策基于錯誤的數據。

用戶體驗下降：數據不一致可能導致用戶看到錯誤的信息或遇到功能故障，從而降低用戶體驗。

業務中斷：在嚴重的情況下，數據不一致可能導致業務中斷或系統故障，影響企業的運營和聲譽。

4. 解決方案

為了解決這個問題，可以采取以下措施：

4.1 順序消息

消息順序性保證：雖然Kafka不保證全局消息順序，但可以通過合理的分區策略和消息鍵來確保同一賬單的消息被發送到同一個分區，從而在一定程度上保證消息的順序性。

比如RocketMQ支持順序消息。但是需要注意這是局部有序，非全局后續。具體實現過程：

1.發送mq消息時，通過selector將同一個業務主鍵的消息，發送到同一隊列中

2.消費方使用MessageListenerOrderly消費局部有序的消息

該方案需要發送方和消費方同步改造。

4.2 前置檢測

?在消費者處理消息之前，進行前置條件檢查。例如，可以查詢一個消息輔助表，確保上一個消息已經被成功消費或存入死信隊列中。這種檢查可以確保消息按照正確的順序被處理。

?另一種方法是，在消息中添加序列號或時間戳，并在消費者端進行驗證。如果當前消息的序列號或時間戳不符合預期順序，則暫停處理并等待正確的消息到達。

4.3 狀態機

在消息處理系統中，狀態機可以用來定義和處理消息的順序。每個狀態代表系統當前所處的特定條件或階段，而狀態之間的轉換則是由接收到的消息觸發的。當系統接收到一個消息時，它會檢查當前的狀態和消息類型，然后決定是否要轉移到另一個狀態并執行相應的動作。

對于消息亂序問題，狀態機可以通過以下方式解決：

1.定義狀態轉換規則：首先，需要定義一套明確的狀態轉換規則。這些規則應該基于業務邏輯來確定，以確保消息按照正確的順序被處理。例如，如果系統要求先處理事件A再處理事件B，那么狀態機就應該在接收到事件A后轉移到能夠處理事件B的狀態。

2.狀態檢查與消息緩存：當系統接收到一個消息時，它會檢查當前的狀態是否允許處理該消息。如果當前狀態不允許處理該消息（即消息的順序不正確），則可以將該消息緩存起來，等待狀態機轉移到正確的狀態后再進行處理。

3.狀態轉移與消息處理：一旦狀態機轉移到正確的狀態，它就可以處理緩存中的消息。這可以確保消息按照正確的順序被處理，即使它們最初是以亂序到達的。

4.4 監控與報警

建立系統的監控和報警機制，及時發現并處理消息錯亂等異常情況。

通過采取以上措施，可以大大降低賬單還款系統中消息錯亂導致的問題，提高系統的穩定性和用戶體驗。

5. 小結

MQ消息亂序是分布式系統的常見難題，影響系統穩定性和業務一致性。本文深入解析問題根源，探討了順序消息、前置檢查、狀態機等實戰解決方案，為實際開發中的問題解決提供有力參考。

文章中難免會有不足之處，希望讀者能給予寶貴的意見和建議。謝謝！

審核編輯 黃宇