那曲檬骨新材料有限公司

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

探討Linux操作系統(tǒng)虛擬內(nèi)存和物理內(nèi)存的關系

電子設計 ? 來源:TOMORROW 星辰 ? 作者:TOMORROW 星辰 ? 2020-12-10 16:12 ? 次閱讀

為了高效、準確測試出該系統(tǒng)下,單個進程能夠申請到的最大虛存空間,所以編寫了一個Linux的測試程序。因為 64 位真的是個很可怕的數(shù)字,所以程序在申請內(nèi)存空間時,先申請較大的內(nèi)存塊(100G),直到?jīng)]有這么大的內(nèi)存塊,然后申請上次能申請到的內(nèi)存塊的一半。重復以上步驟,直到內(nèi)存塊變得足夠小(小于 100Byte)。然后結束申請內(nèi)存。代碼如下:

#include
#define SZ_100G (50*2147483648)  //100GB 的字節(jié)數(shù)

int main()
{
	int *p[1000000];//存放申請內(nèi)存塊的指針以備釋放
	int *ptem;
	long long int block_sz,total_sz=0;
	int i,j;
	char c='c';

	printf("pid=%d\n",getpid());
	getchar();

	block_sz=SZ_100G;
	for(i=0;;i++)
	{
		printf("i=%d\n",i);
		p[i]=(int *)malloc(block_sz*sizeof(char));
		if(NULL==p[i])//當所申請的內(nèi)存塊不成功時,把內(nèi)存塊大小減半重新申請
		{
			block_sz=block_sz/2;
			p[i]=(int *)malloc(block_sz*sizeof(char));
		}
		total_sz=total_sz+block_sz;//累加所申請到的內(nèi)存塊

		if(block_sz<100)//當內(nèi)存塊小于 100 個字節(jié)時結束內(nèi)存申請
			break;
	}
	getchar();

	ptem=p[0];
	for(j=0;;j++)
	{
		if(0==j%1000)
			c=getchar();
		if('e'==c)
			break;

		*(ptem+=(2*1024*1024))=c;
	}

	for(;i>=0;i--)//釋放所有內(nèi)存塊
		free(p[i]);

	printf("total_sz=%ldByte\n",total_sz);
	

	return 0;
}

在終端 1 編譯運行上面代碼。
運行后,先在另一個終端(終端 2)執(zhí)行:

cat /proc/6674/status

查看該進程的 status 文件如下圖圖一所示:

終端 1 終端 2

圖一

對于 status 文件,本文只會關注以下幾個參數(shù)

VmPeak(進程所占用的虛存空間最大值)

VmRSS(進程正在占用物理內(nèi)存大小)

VmSwap(進程占用交換區(qū)大小)

然后回車開始申請內(nèi)存,當終端停止輸出數(shù)字時,再次在終端 2 執(zhí)行:

cat /proc/6674/status

得到下圖圖二輸出:

終端 1 終端 2

圖二

對比圖一和圖二中的 VmPeak:

137438953320K – 12044K = 140737475866624 Byte

= 111 1111 1111 1111 1111 1111 0100 0001 0111 0000 0000 0000(B) Byte

是的,如果你沒有眼花,你數(shù)到上面得到的是一個 47 位!!!!二進制數(shù)。

47 位什么概念?大概是 128TB = 128*1024GB !!! (試問現(xiàn)在誰的個人電腦有這么大的硬盤??更不要說內(nèi)存)

一個進程能夠申請到這么恐怖的內(nèi)存空間?這不但超過了物理內(nèi)存、超過了物理內(nèi)存+交換區(qū)、還超過了硬盤大小啊。這不科學啊。

但是從 status 讀出來的數(shù)據(jù)錯不了的。

首先,虛擬內(nèi)存,顧名思義,虛擬的、并不是事實上存在,在一個進程的虛存空間里,只存在進程自己和系統(tǒng)內(nèi)核,而不存在其他進程。這是為了方便編程和提高物理內(nèi)存利用率而創(chuàng)造出來的一種機制(在過去內(nèi)存是很貴的)。虛擬內(nèi)存中對應著的是邏輯地址,邏輯地址通過操作系統(tǒng)和硬件的配合映射到物理內(nèi)存上。(這里就不在多說虛擬內(nèi)存的定義。如果把段頁式內(nèi)存管理機制理解后,虛擬內(nèi)存也就理解了。關于段頁式內(nèi)存管理介紹可參考:深入理解操作系統(tǒng)之——分頁式存儲管理,深入理解操作系統(tǒng)之——段頁式存儲器管理。)

其二,交換區(qū),實際上就是物理內(nèi)存不夠用時,虛存空間的數(shù)據(jù)就必須映射到交換區(qū)上。

那么單個進程所能申請的最大虛存空間理應不會超過物理內(nèi)存和交換區(qū)的和。然而實際卻是超過那么多。

然后,網(wǎng)上查閱相關資料,msdn 上看到了相關解釋。

傳送門:https://docs.microsoft.com/zh-cn/windows-hardware/drivers/gettingstarted/virtual-address-spaces

該文章介紹到,Windows 32 系統(tǒng)下,虛擬內(nèi)存中,用戶空間占用了低地址 2G 的空間,系統(tǒng)內(nèi)核占用了高地址 2G 空間。總共虛存空間就是 2^32Byte。

pIYBAF_R18aAbdkcAAAjG143L2o351.png

圖三

那么 64 位系統(tǒng)中,就系統(tǒng)而言,總共的虛存空間應當是 2^64Byte?

在該文章下面還有 Windows 64 位系統(tǒng)的虛存空間介紹,如下圖圖四所示。從圖中看到用戶虛存空間 8TB+系統(tǒng)空間 248TB=256TB=2^48 Byte ,這個數(shù)字似乎和上面所測得的單個進程能夠申請到的最大虛存空間的數(shù)字有點接近了。

pIYBAF_R182AHv1KAAA9UJVQds8012.png

圖四

注意看圖四,還可以發(fā)現(xiàn) 64 位系統(tǒng)中還有很大很大的虛存空間保留沒有被使用的。從這個出發(fā)繼續(xù)查閱資料,然后找到了關于目前 64 位 CPU 的相關說明。由于目前還遠遠用不到 64 位那么大的空間,所以 AMD 64 位 CPU 目前只用了 48 位的尋址。而 Intel 的 64 位 CPU 是和 AMD 交叉授權,所以 Intel 64CPU 也同樣只采用 48 位尋址。所以圖三的保留空間就得到了解釋。

再回到原先的問題,現(xiàn)在知道了就 64 位系統(tǒng)而言,虛擬內(nèi)存空間是可以達到 2^48Byte 那么大的,參考 Windows 64 位系統(tǒng)虛存空間結構,可以猜測Linux 64 位系統(tǒng)下,用戶虛存空間和系統(tǒng)內(nèi)核虛存空間分布和 Windows 是相似的,只是兩者大小比例有所差別。(因為找了很久,沒有找到Linux的官方文檔說明,只找到很舊的、32 位。所以不能提供準確的參考,如果有讀者找到,希望可以告訴作者一下補上)。

不過,到現(xiàn)在,還有問題沒有解決,為什么所申請的虛存空間會比物理內(nèi)存與交換區(qū)的和大?

現(xiàn)在回到一開始沒有運行完的程序,在終端 1 回車繼續(xù)運行程序,程序接著會對所申請到的第一個 100G 內(nèi)存塊每隔 2M 空間進行寫操作,每回車一次,會寫 1000 次。回車幾次后,在終端 2 再執(zhí)行:

cat /proc/6674/status

得到下圖圖五:

圖五

由圖五可以看到正在使用的物理內(nèi)存 VmRSS 變小了,正在使用的交換區(qū)空間 VmSwap 迅速增大。但是兩者之和是在一直增加的,這就說明,申請到的虛擬內(nèi)存在未被使用之前,它只是一個數(shù)字,并沒有實際的物理內(nèi)存和交換區(qū)與之相對應。當對虛存進行寫操作時,系統(tǒng)就會逐步分配物理內(nèi)存,而物理內(nèi)存的數(shù)據(jù)又會可能被系統(tǒng)調(diào)到交換區(qū)。現(xiàn)在問題逐漸明了了。

如果我不停地對虛存空間進行寫操作會怎樣,為了解決疑惑,在終端 1 不停回車,偶爾在終端 2 中查看 status 文件中的狀態(tài),寫到一定程度后,終端 1 出現(xiàn)了

[1]    7893 killed     a.out

如圖六所示:

圖六

在進程結束之前查看到的 status 文件顯示 VmRSS+VmSwap 約等 1.8G,加上系統(tǒng)占用和其他進程占用,那么說此時物理內(nèi)存和交換區(qū)已經(jīng)接近極限了。再繼續(xù)運行寫的時候,操作系統(tǒng)為了系統(tǒng)的正常運行選擇把這個進程殺死了。那么所有的疑問也解決了。

系統(tǒng)所允許的申請的虛存空間是可以超過物理內(nèi)存與交換區(qū)的和的。但是當進程所占用的物理內(nèi)存加上交換區(qū)影響到了系統(tǒng)的正常運行就會被系統(tǒng)殺死。
編輯:hfy

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • Linux
    +關注

    關注

    87

    文章

    11345

    瀏覽量

    210378
  • 操作系統(tǒng)

    關注

    37

    文章

    6892

    瀏覽量

    123738
  • 物理內(nèi)存

    關注

    0

    文章

    11

    瀏覽量

    8480
  • 虛擬內(nèi)存

    關注

    0

    文章

    77

    瀏覽量

    8084
收藏 人收藏

    評論

    相關推薦

    hyper v 內(nèi)存,hyper v 內(nèi)存設置的操作步驟和方法是什么?

    造成資源浪費,影響宿主機及其他虛擬機的性能。因此,掌握Hyper-V內(nèi)存設置的操作步驟和方法,對于高效使用虛擬機十分關鍵。下面就為大家詳細介紹。 ? ?Windows
    的頭像 發(fā)表于 01-24 15:22 ?131次閱讀
    hyper v <b class='flag-5'>內(nèi)存</b>,hyper v <b class='flag-5'>內(nèi)存</b>設置的<b class='flag-5'>操作</b>步驟和方法是什么?

    虛擬內(nèi)存和云計算的關系

    虛擬內(nèi)存是一種計算機系統(tǒng)內(nèi)存管理技術,它通過將物理內(nèi)存與磁盤空間結合起來,使得應用程序可以訪問比物理
    的頭像 發(fā)表于 12-04 09:50 ?177次閱讀

    虛擬內(nèi)存溢出該怎么處理 虛擬內(nèi)存在服務器中的應用

    在現(xiàn)代計算機系統(tǒng)中,虛擬內(nèi)存是一種重要的資源管理技術,它允許系統(tǒng)使用硬盤空間來擴展物理內(nèi)存的容量。然而,當
    的頭像 發(fā)表于 12-04 09:49 ?276次閱讀

    Linux下如何管理虛擬內(nèi)存 使用虛擬內(nèi)存時的常見問題

    Linux系統(tǒng)中,虛擬內(nèi)存管理是操作系統(tǒng)內(nèi)核的一個重要功能,負責管理物理內(nèi)存和磁盤上的交換空間
    的頭像 發(fā)表于 12-04 09:19 ?631次閱讀

    虛擬內(nèi)存對計算機性能的影響

    ,它允許計算機使用硬盤空間來模擬物理內(nèi)存。當物理內(nèi)存(RAM)不足以容納當前所有活動的程序和數(shù)據(jù)時,操作系統(tǒng)會將部分數(shù)據(jù)從RAM移動到硬盤上
    的頭像 發(fā)表于 12-04 09:17 ?1228次閱讀

    什么是虛擬內(nèi)存分頁 Windows系統(tǒng)虛擬內(nèi)存優(yōu)化方法

    虛擬內(nèi)存分頁概述 在Windows操作系統(tǒng)中,虛擬內(nèi)存是通過分頁機制實現(xiàn)的。分頁允許系統(tǒng)內(nèi)存中的數(shù)據(jù)移動到硬盤上,以便為當前運行的程序騰出
    的頭像 發(fā)表于 12-04 09:16 ?585次閱讀

    虛擬內(nèi)存不足如何解決 虛擬內(nèi)存物理內(nèi)存的區(qū)別

    物理內(nèi)存,可以減少系統(tǒng)虛擬內(nèi)存的依賴。 調(diào)整虛擬內(nèi)存設置 : 進入系統(tǒng)設置,調(diào)整
    的頭像 發(fā)表于 12-04 09:14 ?576次閱讀

    虛擬內(nèi)存的作用和原理 如何調(diào)整虛擬內(nèi)存設置

    虛擬內(nèi)存,也稱為虛擬內(nèi)存管理或頁面文件,是計算機操作系統(tǒng)中的一種內(nèi)存管理技術。它允許系統(tǒng)使用硬盤空間作為額外的RAM(隨機存取存儲器),以彌
    的頭像 發(fā)表于 12-04 09:13 ?779次閱讀

    如何優(yōu)化RAM內(nèi)存使用

    :使用任務管理器查看當前運行的程序和服務,關閉那些不需要的。 禁用啟動程序 :減少開機啟動項,只保留必要的程序。 2. 優(yōu)化操作系統(tǒng)設置 調(diào)整虛擬內(nèi)存 :合理設置虛擬內(nèi)存,避免過多占用硬盤空間。 清理磁盤 :定期進行磁盤清理,
    的頭像 發(fā)表于 11-11 09:58 ?588次閱讀

    Windows管理內(nèi)存的三種主要方式

    Windows操作系統(tǒng)提供了多種方式來管理內(nèi)存,以確保系統(tǒng)資源的有效利用和性能的優(yōu)化。以下是關于Windows管理內(nèi)存的三種主要方式的詳細闡述,包括堆
    的頭像 發(fā)表于 10-12 17:09 ?1328次閱讀

    邏輯內(nèi)存物理內(nèi)存的區(qū)別

    邏輯內(nèi)存物理內(nèi)存是計算機系統(tǒng)中兩個重要的概念,它們在計算機的運行和數(shù)據(jù)處理中起著至關重要的作用。 1. 物理
    的頭像 發(fā)表于 09-27 15:38 ?932次閱讀

    內(nèi)存緩沖區(qū)和內(nèi)存關系

    內(nèi)存緩沖區(qū)和內(nèi)存之間的關系是計算機體系結構中一個至關重要的方面,它們共同協(xié)作以提高數(shù)據(jù)處理的效率和系統(tǒng)的整體性能。
    的頭像 發(fā)表于 09-10 14:38 ?753次閱讀

    操作系統(tǒng)內(nèi)存布局介紹

    32位操作系統(tǒng)內(nèi)存布局很經(jīng)典,很多書籍都是以32位系統(tǒng)為例子去講解的。32位的系統(tǒng)可訪問的地址空間為4GB,用戶空間為1GB ~ 3GB,內(nèi)核空間為3GB ~ 4GB。
    的頭像 發(fā)表于 08-07 15:47 ?454次閱讀
    <b class='flag-5'>操作系統(tǒng)</b>的<b class='flag-5'>內(nèi)存</b>布局介紹

    物理內(nèi)存模型的演變

    內(nèi)存管理概述中,主要是以Linux v2.6.11為例進行分析的,但是計算技術在不斷發(fā)展,新的存儲架構、新的指令集架構、新的SoC架構等都對物理內(nèi)存模型的抽象提出了更高要求。為此,必須
    的頭像 發(fā)表于 02-25 10:35 ?530次閱讀

    Linux內(nèi)核內(nèi)存管理之內(nèi)核非連續(xù)物理內(nèi)存分配

    的主要優(yōu)點是避免了外部碎片,而缺點是需要修改內(nèi)核頁表。顯然,非連續(xù)內(nèi)存區(qū)域的大小必須是4096的倍數(shù)。Linux使用非連續(xù)物理內(nèi)存區(qū)的場景有幾種:(1)為swap區(qū)分配數(shù)據(jù)結構;(2)
    的頭像 發(fā)表于 02-23 09:44 ?1076次閱讀
    <b class='flag-5'>Linux</b>內(nèi)核<b class='flag-5'>內(nèi)存</b>管理之內(nèi)核非連續(xù)<b class='flag-5'>物理</b><b class='flag-5'>內(nèi)存</b>分配
    下载百家乐官网的玩法技巧和规则| 百家乐官网ag厅投注限额| 百家乐官网赢家公式| 百家乐官网两边| 鼎龙百家乐官网的玩法技巧和规则 | 24山向方位| 百家乐中庄闲比例| 澳门百家乐真人版| 免费百家乐计划软件| 云顶会所| 视频百家乐官网网站| 做生意开店风水| 网上赌百家乐的玩法技巧和规则| 网上棋牌游戏赚钱| 至尊百家乐官网20111110| 百家乐官网规则| 实战百家乐十大取胜原因百分百战胜百家乐不买币不吹牛只你能做到按我说的.百家乐基本规则 | 信誉棋牌评测网| 立即博百家乐官网现金网| 百家乐官网电投网址| 百家乐小型抽水泵| 棋牌娱乐游戏大厅| 至尊百家乐官网奇热| 网上百家乐可靠| 大发888娱乐城网站| 百家乐官网预测神法| 大发888官网亚洲线上| 长城百家乐官网游戏| 粤港澳百家乐官网赌场娱乐网规则 | 大发888娱乐总代理qq| 百家乐官网太阳城娱乐城| 百家乐一直下注庄家| 郑州百家乐的玩法技巧和规则 | 玩百家乐官网有何技巧| 百家乐博赌场娱乐网规则| OK娱乐城| 百家乐官网博弈之赢者理论| 利澳百家乐的玩法技巧和规则 | 真人百家乐国际第一品牌| 静乐县| 优博百家乐yobo88|