從廉價筆記本電腦到價值一百萬美元的服務器，任何一臺計算機中CPU都有一個叫做“緩存”的東西。當然緩存的級別往往有所不同。

緩存很重要，不然也不會無處不在。但是緩存到底有什么作用，為什么是不同級別的呢？

而且 12 路路組相連到底意味著什么？

緩存到底是什么？

TL 和 DR 很小，但卻非?？觳⑽挥贑PU的邏輯單元旁邊。當然，我們需要了解更多有關緩存的信息。

讓我們從一個虛構的，神奇的存儲系統開始說起。這個存儲系統速度極快，可以一次處理無限的數據，并始終保持數據安全。對它來說甚至不存在任何需要遠程操作的東西，但是如果的確存在，處理器的設計將更加簡單。CPU僅需要具有用于加法，乘法等的邏輯單元，以及用于處理數據傳輸的系統。這是因為我們的理論存儲系統可以立即發送和接收所需的所有編號；沒有一個邏輯單元會等待數據處理。

但是，眾所周知，實際上不存在任何上述魔術般的存儲技術。反之，我們擁有硬盤驅動器或固態驅動器，即使其中最好的驅動器也無法遠程處理典型 CPU 所需的所有數據傳輸。原因在于，現代 CPU 的運行速度非常快 - 它們僅需一個時鐘周期即可將兩個 64 位整數值相加，而對于以 4 GHz 運行的 CPU，則僅為 0.00000000025 秒或四分之一納秒。同時，旋轉硬盤驅動器僅需數千納秒即可在內部磁盤上查找數據，更不用說傳輸數據了，而固態驅動器仍需數十或數百納秒。

顯然，此類驅動器無法內置在處理器中，因此這意味著兩者之間將存在物理隔離。這只會增加數據移動的時間，使情況變得更糟。因此，我們需要的是另一個數據存儲系統，它位于處理器和主存儲之間。它需要比驅動器更快的速度，能夠同時處理大量數據傳輸，并且離處理器更近一些。

如今它已成為現實，叫做RAM。每個計算機系統都有一些用于上述目的的裝置。而幾乎所有這類存儲都是 DRAM（動態隨機存取存儲器），它能夠比任何驅動器更快地傳輸數據。但是，盡管 DRAM速度極快，但它無法存儲盡可能多的數據。

美光公司是 DRAM 的少數制造商之一，其中一些最大的 DDR4 存儲器芯片可容納 32 Gbit 或 4 GB 數據。最大的硬盤驅動器的容量是此容量的 4000 倍。因此，盡管我們提高了數據網絡的速度，但仍需要附加系統（硬件和軟件），以便確定應將哪些數據保留在有限數量的 DRAM 中，以備 CPU 使用。或者至少可以將 DRAM 置于芯片封裝中（稱為嵌入式 DRAM）。不過，CPU 很小，所以您不能在其中塞太多。

絕大多數 DRAM 位于處理器旁邊（插入主板）。在計算機系統中，它始終是最接近 CPU 的組件。然而，這還是不夠快。DRAM 仍需要約 100 納秒的時間才能找到數據，但至少每秒可以傳輸數十億比特。看來我們需要另一級存儲器，才能進入處理器單元和 DRAM 之間。

左級輸入：SRAM（靜態隨機存取存儲器）。在 DRAM 使用微觀電容器以電荷形式存儲數據的情況下，SRAM 使用晶體管做同樣的事情，并且它們的工作速度幾乎與處理器中的邏輯單元一樣快（大約比 DRAM 快 10 倍）。

當然，SRAM 有一個缺點，那就是空間。

基于晶體管的內存比 DRAM 占用更多的空間：對于相同大小的 4 GB DDR4 芯片，您將獲得不到 100 MB 的 SRAM。但是，由于它是通過與創建 CPU 相同的過程制成的，因此 SRAM 可以直接在處理器內部構建，并盡可能靠近邏輯單元。每增加一個環節，我們就增加了數據移動的速度，從而增加了存儲量。我們可以繼續添加更多的環節，每個環節更快但簡潔。

因此，我們對高速緩存下了一個更為專業的定義：它是全部位于處理器內部的多個 SRAM 塊，通過以超快的速度發送和存儲數據來確保邏輯單元保持盡可能繁忙。

對這個定義滿意嗎？很好 - 因為從現在開始它將變得更加復雜！

高速緩存：多層停車場

如上所述，需要緩存是因為沒有一種神奇的存儲系統可以滿足處理器中邏輯單元的數據需求。現代的 CPU 和圖形處理器包含許多 SRAM 塊，這些 SRAM 塊在內部組織成一個層次結構，即一系列高速緩存，其順序如下：

在上圖中，CPU 由黑色虛線矩形表示。ALU（算術邏輯單元）在最左邊；這些是為處理器提供動力，處理芯片運算能力的結構。從專業角度來講，它不是緩存，而最接近 ALU 的內存級別是寄存器（它們組合在一起成為一個寄存器文件）。

其中的每一個都擁有一個數字，例如 64 位整數。該值本身可能是有關某物的一條數據，一條特定指令的代碼或某些其他數據的內存地址。

臺式機 CPU 中的寄存器文件非常小 - 例如，在 Intel 的 Core i9-9900K 中，每個內核中有兩個存儲區，而一個整數存儲區僅包含 180 個 64 位寄存器。另一個寄存器文件，用于向量（數字的小數組），具有 168 個 256 位條目。因此，每個內核的總寄存器文件略低于 7 kB。相比之下，Nvidia GeForce RTX 2080 Ti 的流式多處理器（GPU 等效于 CPU 內核）中的寄存器文件大小為 256 kB。

寄存器是 SRAM，就像高速緩存一樣，但是它們和它們所服務的 ALU 一樣快，可以在一個時鐘周期內輸入和輸出數據。但是它們的設計并不是要容納太多數據（僅存儲其中的一部分），這就是為什么附近總是存在一些更大的內存塊的原因：這是 1 級緩存。

可以在最左側看到 ALU 和寄存器文件（以綠色突出顯示）。圖片的頂部中間是白色的 1 級數據緩存。它容納的信息并不多，僅為 32 kB，但是與寄存器一樣，它非常靠近邏輯單元，并以與它們相同的速度運行。

另一個白色矩形表示 1 級指令高速緩存，大小也為 32 kB。顧名思義，該命令存儲了各種命令，這些命令可以分解成較小的所謂的微操作（通常標記為μop），以供 ALU 執行。它們也有一個緩存，您可以將其歸類為 0 級，因為它比 L1 緩存小（僅進行 1，500 次操作）并且更近。

您可能想知道為什么這些 SRAM 塊這么小？為什么它們不是一兆字節大小？數據和指令高速緩存一起占用的芯片空間幾乎與主要邏輯單元占用的空間相同，因此使其增大將增加芯片的整體尺寸。

但是它們僅保留幾 kB 的主要原因是，隨著內存容量的增大，查找和檢索數據所需的時間也會增加。L1 高速緩存必須達到真正意義上的快，因此必須在大小和速度之間達成折衷 - 最多需要大約 5 個時鐘周期（較長的浮點值）才能從該高速緩存中獲取數據，以備使用。

但是，如果這是處理器內部唯一的緩存，則其性能將突然崩潰。這就是為什么它們都在內核中內置了另一級內存的原因：二級緩存。這是一個通用的存儲塊，保存著指令和數據。

它總是比級別 1 大很多：AMD Zen 2 處理器的最大容量為 512 kB，因此可以保持較低級別的緩存的良好供應。但是，這種額外的大小需要付出一定的代價，而與 1 級相比，從此緩存中查找和傳輸數據大約要花費兩倍的時間。

追溯到最初的 Intel Pentium 時代，Level 2 高速緩存是一個單獨的芯片，其位于小型插入式電路板上（例如RAMDIMM）或內置在主板中。最終它像奔騰 III 和 AMD K6-III 處理器一樣，一直運用于 CPU 封裝本身，直到最終被集成到 CPU 裸片中。

由于多核芯片的興起，這項發展很快之后又有了另一個級別的緩存，以支持其他較低的級別。

上圖是 Intel Kaby Lake 芯片，其左中間有 4 個內核（集成 GPU 占據了右側一半的裸片）。每個內核都有其自己的“專用”組 1 級和 2 級緩存（白色和黃色高亮顯示），但它們也帶有第三組 SRAM 塊。

3 級高速緩存即使直接圍繞一個內核也可以與其他內核完全共享 - 每個都可以自由訪問另一個 L3 高速緩存的內容。它 內存更大（在 2 到 32 MB 之間），但也慢得多，平均超過 30 個周期（尤其是在內核需要使用相距一定距離的緩存塊中的數據時）。

在下面，我們可以看到 AMD Zen 2 架構中的單核：白色的 32 kB 1 級數據和指令緩存，黃色的 512 KB 2 級緩存和紅色的 4 MB 巨大塊 L3 緩存。

不只是一個數字：

高速緩存兩個環節：其一是來提高性能通過加速向邏輯單元的數據傳輸，其二是保留常用指令和數據的副本。緩存中存儲的信息分為兩部分：數據本身以及它最初位于系統內存 / 存儲中的位置。此地址稱為緩存標簽。

當 CPU 運行要從內存讀取數據或向內存寫入數據的操作時，它首先檢查 1 級緩存中的變量。如果存在所需的數據（緩存命中），則幾乎可以立即訪問該數據。當所需標簽不在最低緩存級別中時，即緩存未命中。

因此，在 L1 高速緩存中會有一個新標簽，其余的處理器體系結構將接管，盡數瀏覽其他高速緩存級別（如有必要，一直返回主存儲驅動器）以查找該標簽的數據。但是要在 L1 緩存中為該新標簽騰出空間，必須將其他內容始終引導到 L2 中。

這導致了幾乎恒定的數據改組，所有這些都只需要幾個時鐘周期即可實現。實現此目的的唯一方法是在 SRAM 周圍構建一個復雜的結構，以處理數據管理。換句話說，如果一個 CPU 內核僅由一個 ALU 組成，則 L1 緩存會簡單得多，但是由于 ALU 有數十個（其中許多將處理兩個指令線程），因此緩存需要多個連接來保持一切都在進行中。

您可以使用免費程序（例如 CPU-Z）來檢查為自己的計算機供電的處理器的緩存信息。但是所有這些信息意味著什么？一個重要的元素是關聯的標簽集。這與規則有關，這些規則取決于由系統內存中的數據塊復制到緩存的方式。

上面的緩存信息適用于 Intel Core i7-9700K。它的 1 級高速緩存每個都分成 64 個小塊，稱為集合，并且每個小塊進一步劃分為高速緩存行（大小為 64 字節）。集相關意味著將來自系統內存的數據塊映射到一個特定集合中的高速緩存行上，而不是自由地在任何地方進行映射。

8 向告訴我們，一個塊可以與一組中的 8 條緩存行關聯。關聯性級別越高（即“方式”越多），則當 CPU 搜尋數據時，命中高速緩存的機會就越大，并且減少由高速緩存未命中引起的損失。缺點是它增加了復雜性，增加了功耗，還可能降低性能，因為有更多的緩存行要處理一個數據塊。

高速緩存復雜性的另一方面在于如何在各個級別上保留數據。規則是在包含策略中設置的。例如，英特爾酷睿處理器具有完全包含的 L1 + L3 緩存。例如，這意味著第 1 級中的相同數據也可以在第 3 級中。這似乎在浪費寶貴的緩存空間，但是好處是，如果處理器在搜索低級標簽時出錯，數據就會丟失，而不需要遍歷更高的級別來找到它。

在同一處理器中，L2 緩存是非包含性的：存儲在其中的任何數據都不會復制到任何其他級別。這樣可以節省空間，但確實會導致芯片的存儲系統必須搜索 L3 以找到丟失的標簽（實際上總會比這個更大一些）。受害者緩存與此類似，但是它們習慣于存儲從較低級別推出的信息 - 例如，AMD 的 Zen 2 處理器使用 L3 受害者緩存，該緩存僅存儲來自 L2 的數據。

還有其他用于緩存的策略，例如何時將數據寫入緩存和主系統內存。這些稱為寫策略，當今大多數 CPU 使用回寫式緩存。這意味著，當將數據寫入高速緩存級別時，在使用其副本更新系統內存之前會有一個延遲。在大多數情況下，只要數據保留在高速緩存中，此暫停就會一直運行。只有將其引導后，RAM 才會獲取信息。

對于處理器設計者而言，選擇高速緩存的數量，類型和策略都是為了平衡對更大處理器能力的需求與增加的復雜性和所需的芯片空間。如果有可能擁有 20 MB，1000 路完全關聯的 1 級高速緩存，而芯片又不大的離譜（并消耗相同的功率），那么我們都將擁有配備這種芯片的計算機！

在過去的十年中，當今 CPU 中最低的緩存級別并沒有太大變化。但是，級別 3 緩存的大小仍在繼續增長。十年前，如果您幸運地擁有一臺售價 999 美元的 Intel i7-980X，則可以獲得 12 MB 的內存。如今，您只需花一半的錢就能得到 64 MB。

簡而言之，緩存是不可或缺的，也是尖端技術的體現之一。我們沒有研究過 CPU 和 GPU 中的其他緩存類型（例如轉換查找緩沖區或紋理緩存），但是由于它們都遵循我們在此介紹的簡單的級別結構和模式，因此聽起來可能并不復雜。
責任編輯:pj