一、內(nèi)核源碼之我見
Linux內(nèi)核代碼的龐大令不少人“望而生畏”,也正因為如此,使得人們對Linux的了解僅處于泛泛的層次。如果想透析Linux,深入操作系統(tǒng)的本質(zhì),閱讀內(nèi)核源碼是最有效的途徑。我們都知道,想成為優(yōu)秀的程序員,需要大量的實踐和代碼的編寫。編程固然重要,但是往往只編程的人很容易把自己局限在自己的知識領域內(nèi)。如果要擴展自己知識的廣度,我們需要多接觸其他人編寫的代碼,尤其是水平比我們更高的人編寫的代碼。通過這種途徑,我們可以跳出自己知識圈的束縛,進入他人的知識圈,了解更多甚至我們一般短期內(nèi)無法了解到的信息。Linux內(nèi)核由無數(shù)開源社區(qū)的“大神們”精心維護,這些人都可以稱得上一頂一的代碼高手。透過閱讀Linux內(nèi)核代碼的方式,我們學習到的不光是內(nèi)核相關(guān)的知識,在我看來更具價值的是學習和體會它們的編程技巧以及對計算機的理解。
我也是通過一個項目接觸了Linux內(nèi)核源碼的分析,從源碼的分析工作中,我受益頗多。除了獲取相關(guān)的內(nèi)核知識外,也改變了我對內(nèi)核代碼的過往認知:
1.內(nèi)核源碼的分析并非“高不可攀”。內(nèi)核源碼分析的難度不在于源碼本身,而在于如何使用更合適的分析代碼的方式和手段。內(nèi)核的龐大致使我們不能按照分析一般的demo程序那樣從主函數(shù)開始按部就班的分析,我們需要一種從中間介入的手段對內(nèi)核源碼“各個擊破”。這種“按需索取”的方式使得我們可以把握源碼的主線,而非過度糾結(jié)于具體的細節(jié)。
2.內(nèi)核的設計是優(yōu)美的。內(nèi)核的地位的特殊性決定著內(nèi)核的執(zhí)行效率必須足夠高才可以響應目前計算機應用的實時性要求,為此Linux內(nèi)核使用C語言和匯編的混合編程。但是我們都知道軟件執(zhí)行效率和軟件的可維護性很多情況下是背道而馳的。如何在保證內(nèi)核高效的前提下提高內(nèi)核的可維護性,這需要依賴于內(nèi)核中那些“優(yōu)美”的設計。
3.神奇的編程技巧。在一般的應用軟件設計領域,編碼的地位可能不被過度的重視,因為開發(fā)者更注重軟件的良好設計,而編碼僅僅是實現(xiàn)手段問題——就像拿斧子劈柴一樣,不用太多的思考。但是這在內(nèi)核中并不成立,好的編碼設計帶來的不光是可維護性的提高,甚至是代碼性能的提升。
每個人對內(nèi)核的了理解都會有所不同,隨著我們對內(nèi)核理解的不斷加深,對其設計和實現(xiàn)的思想會有更多的思考和體會。因此本文更期望于引導更多徘徊在Linux內(nèi)核大門之外的人進入Linux的世界,去親自體會內(nèi)核的神奇與偉大。而我也并非內(nèi)核源碼方面的專家,這么做也只是希望分享我自己的分析源碼的經(jīng)驗和心得,為那些需要的人提供參考和幫助,說的“冠冕堂皇”一點,也算是為計算機這個行業(yè),尤其是在操作系統(tǒng)內(nèi)核方面貢獻自己的一份綿薄之力。閑話少敘(已經(jīng)羅嗦了很多了,囧~),下面我就來分享一下自己的Linix內(nèi)核源碼分析方法。
二、內(nèi)核源碼難不難?
從本質(zhì)上講,分析Linux內(nèi)核代碼和看別人的代碼沒有什么兩樣,因為擺在你面前的一般都不是你自己寫出來的代碼。我們先舉一個簡單的例子,一個陌生人隨便給你一個程序,并要你看完源碼后講解一下程序的功能的設計,我想很多自我感覺編程能力還可以的人肯定覺得這沒什么,只要我耐心的把他的代碼從頭到尾看完,肯定能找到答案,并且事實確實是如此。那么現(xiàn)在換一個假設,如果這個人是Linus,給你的就是Linux內(nèi)核的一個模塊的代碼,你還會覺得依然那么輕松嗎?不少人可能會有所猶豫。同樣是陌生人(Linus要是認識你的話當然不算,呵呵~)給你的代碼,為什么給我們的感覺大相徑庭呢?我覺得有以下原因:
1.Linux內(nèi)核代碼在“外界”看來多少有些神秘感,而且它很龐大,猛地擺在面前可能感覺無法下手。比如可能來源于一個很細小的原因——找不到main函數(shù)。對于簡單的demo程序,我們可以從頭至尾的分析代碼的含義,但是分析內(nèi)核代碼這招就徹底失效了,因為沒有人能把Linux代碼從頭到尾看上一遍(因為確實沒有必要,用到時看就可以了)。
2.不少人也接觸過大型軟件的代碼,但多數(shù)屬于應用型項目,代碼的形式和含義都和自己常接觸的業(yè)務邏輯相關(guān)。而內(nèi)核代碼不同,它處理的信息多數(shù)和計算機底層密切相關(guān)。比如操作系統(tǒng)、編譯器、匯編、體系結(jié)構(gòu)等相關(guān)的知識的欠缺,也會讓閱讀內(nèi)核代碼障礙重重。
3.分析內(nèi)核代碼的方法不夠合理。面對大量的并且復雜的內(nèi)核代碼,如果不從全局的角度入手,很容易陷入代碼細節(jié)的泥淖中。內(nèi)核代碼雖然龐大,但是它也有它的設計原則和架構(gòu),否則維護它對任何人來說都是一個噩夢!如果我們理清代碼模塊的整體設計思路,再去分析代碼的實現(xiàn),可能分析源碼就是一件輕松快樂的事情了。
針對這些問題,我個人是這樣理解的。如果沒有接觸過大型軟件項目,可能分析Linux內(nèi)核代碼是一個很好的積累大型項目經(jīng)驗的機會(確實,Linux代碼是我目前接觸到的最大的項目了!)。如果你對計算機底層了解的不夠透徹,那么我們可以選擇邊分析邊學習的方式去積累底層的知識。可能剛開始分析代碼的進度會稍顯遲緩,但是隨著知識的不斷積累,我們對Linux內(nèi)核的“業(yè)務邏輯”會逐漸明朗起來。最后一點,如何從全局的角度把握分析的源碼,這也是我想與大家分享的經(jīng)驗。
三、內(nèi)核源碼分析方法
第一步:資料搜集
從人認識新事物的角度來講,在探索事物本質(zhì)之前,必須有一個了解新鮮事物的過程,這個過程是的我們對新鮮事物產(chǎn)生一個初步的概念。比如我們想學習鋼琴,那么我們需要先了解彈奏鋼琴需要我們學習基本的樂理、簡譜、五線譜等基礎知識,然后學習鋼琴彈奏的技巧和指法,最后才能真正的開始練習鋼琴。
分析內(nèi)核代碼也是如此,首先我們需要定位要分析的代碼涉及的內(nèi)容。是進程同步和調(diào)度的代碼,是內(nèi)存管理的代碼,還是設備管理的代碼,還是系統(tǒng)啟動的代碼等等。內(nèi)核的龐大決定著我們不能一次性將內(nèi)核代碼全部分析完成,因此我們需要給自己一個合理的分工。正如算法設計告訴我們的,要解決一個大問題,首先要解決它所涉及的子問題。
定位好要分析的代碼范圍,我們就可以動用手頭的一切資源,盡可能的全面了解該部分代碼的整體結(jié)構(gòu)和大致功能。
?
這里所說的一切資源是指無論是Baidu、Google大型網(wǎng)絡搜索引擎,還是操作系統(tǒng)原理教材和專業(yè)書籍,亦或是他人提供的經(jīng)驗和資料,甚至是Linux源碼提供的文檔、注釋和源碼標識符的名稱(不要小看代碼中的標識符的命名,有時它們能提供關(guān)鍵的信息)。總之這里的一切資源指的就是你能想到的一切可用資源。當然,我們不太可能通過這種形式的信息搜集獲得所有的我們想要的信息,我們只求盡可能全面即可。因為信息搜集的越全面,之后分析代碼的過程能使用的信息就更多,分析過程的困難就會越小。
這里舉一個簡單的例子,假定我們要分析Linux的變頻機制實現(xiàn)的代碼。目前為止我們僅僅是知道這個名詞而已,透過字面含義我們可以大致猜測它應該和CPU的頻率調(diào)節(jié)相關(guān)。通過信息搜集,我們應該能得到如下的相關(guān)的信息:
1.CPUFreq機制。
2.performance、powersave、userspace、ondemand、conservative調(diào)頻策略。
3./driver/cpufreq/。
4./documention/cpufreq。
5.P state和C state。
……
分析Linux內(nèi)核代碼如果能搜集到這些信息,應該說是非常“幸運”了。畢竟有關(guān)Linux內(nèi)核的資料確實不如.NET和JQuery那么豐富,不過這相比于十數(shù)年前,沒有強大的搜索引擎,沒有相關(guān)的研究資料的時期應該稱得上是“大豐收”時代了!我們通過簡單的“搜索”(可能會花費一到兩天的時間吧),甚至找到了這部分代碼所在的源碼文件目錄,不得不說這樣的信息簡直是“價值連城”!
第二步:源碼定位
從資料搜集中,我們“有幸”找到了源碼相關(guān)的源碼目錄。但是這并非意味著我們的確就是分析這個目錄下的源代碼。有時我們找到的目錄有可能是分散的,也有時我們找到的目錄下有很多和具體機器相關(guān)的代碼,而我們更關(guān)心的是待分析代碼的主要機制,而非與機器相關(guān)的特化代碼(這樣更有助于我們理解內(nèi)核的本質(zhì))。因此,我們需要對資料中涉及代碼文件的資料進行仔細甄選。當然,這一步也不太可能一次性完成,誰也不能保證一次就能選擇出所有待分析的源碼文件而且一個不漏。但是我們也不必擔心,只要我們能抓住大多數(shù)模塊相關(guān)的核心源文件,通過后期對代碼的具體分析,就很自然的把它們?nèi)空页鰜怼?br />
回到上述的例子中,我們認真的閱讀/documention/cpufreq下的文檔說明。目前的Linux源碼會把模塊相關(guān)的文檔說明保存在源碼目錄的documention的文件夾下,如果待分析的模塊沒有文檔說明,這多少會增加定位關(guān)鍵源碼文件的難度,但是不會導致我們找不到我們要分析的源碼。通過閱讀文檔說明,我們至少能關(guān)注到/driver/cpufreq/cpufreq.c這個源文件。通過這個對源文件的文檔說明,結(jié)合之前搜羅到的調(diào)頻策略,我們很容易關(guān)注到cpufreq_performance.c、cpufreq_powersave.c、cpufreq_userspace.c、cpufreq_ondemand、cpufreq_conservative.c這五個源文件。所有涉及的文件都找完了嗎?不用擔心,從它們開始分析,遲早能找到其他的源文件。如果在windows下使用sourceinsight閱讀內(nèi)核源碼的話,我們通過函數(shù)的調(diào)用和查找符號引用等功能,結(jié)合代碼的分析可以很方便的找到另外的文件freq_table.c、cpufreq_stats.c和/include/linux/cpufreq.h。
?
按照搜索出的信息流動方向,我們完全可以定位到需要分析的源碼文件。源碼定位這一步并非十分關(guān)鍵,因為我們不需要找出所有源碼文件,我們可以把部分工作推遲到分析代碼的過程中。源碼定位也比較關(guān)鍵,找到一部分源碼文件是分析源碼的基礎。
第三步:簡單注釋
在已定位好的源碼文件中,分析每個變量、宏、函數(shù)、結(jié)構(gòu)體等代碼元素的大致含義和功能。之所以稱此為簡單注釋,并非指這部分的注釋工作很簡單,而是指這部分的注釋可以不必過分細化,只要大致描述出相關(guān)代碼元素的含義即可。相反,這里的工作其實是整個分析流程中最困難的一步。因為這是第一次深入到內(nèi)核代碼的內(nèi)部,尤其是對于首次分析內(nèi)核源碼的人來說,大量的生疏GNU的C語法和鋪天蓋地的宏定義會令人很絕望。此時只要沉下心來,弄清每個關(guān)鍵的難點,才能保證以后碰到類似的難點不會再被困住。而且,我們對內(nèi)核相關(guān)的其他知識會不斷的像樹一樣擴展開來。
比如在cpufreq.c文件開始就會出現(xiàn)“DEFINE_PER_CPU”宏的使用,我們通過查閱資料可以基本弄清這個宏的含義和功能。這里使用的手段和之前搜集資料使用的方法基本一致,另外我們也可以使用sourceinsight提供的轉(zhuǎn)到定義等功能查看它的定義,或者使用LKML(Linux Kernel Mail List)查閱,實在不行我們還可以到www.stackoverflow.com提問尋求解答(想了解什么是LKML和stackoverflow?搜集資料吧!)。總之利用所有可能的手段,我們總能得到這個宏的含義——為每個CPU定義一個獨立使用的變量。
我們也不要強求一次就能把注釋描述的很準確(我們甚至都沒必要弄清每個函數(shù)的具體實現(xiàn)流程,只要弄清大致功能含義即可),我們結(jié)合搜集到的資料和后邊代碼的分析不斷的完善注釋的含義(源碼中原有的注釋和標識符命名在此很有利用價值)。通過不斷的注釋,不斷的查閱資料,不斷的修改注釋的含義。
?
當我們把所有涉及的源碼文件簡單注釋完畢后我們可以達到如下效果:
1.基本弄清了源碼中代碼元素存在的含義。
2.找出了該模塊所涉及的基本上全部的關(guān)鍵源碼文件。
結(jié)合之前搜集到的信息和資料對該待分析代碼的整體或者架構(gòu)描述,我們可以將分析的結(jié)果和資料對比,以確定和修正我們對代碼的理解。這樣,通過一遍的簡單注釋,我們就可以從整體上把握了源碼模塊的主要結(jié)構(gòu)。這也達到了我們簡單注釋的基本目的。
第四步:詳細注釋
完成代碼的簡單注釋后,可以認為對模塊的分析工作完成了一半了,剩下的內(nèi)容就是對代碼的深入分析和徹底理解。簡單注釋總是不能將代碼元素的具體含義描述的十分精確,因此詳細注釋是十分有必要的。這一步中,我們需要弄清以下內(nèi)容:
1.變量定義在何時被使用。
2.宏定義的代碼何時被使用。
3.函數(shù)的參數(shù)和返回值的含義。
4.函數(shù)的執(zhí)行流程和調(diào)用關(guān)系。
5.結(jié)構(gòu)體字段的具體含義和使用條件。
我們甚至可以把這一步稱為函數(shù)詳細注釋,因為函數(shù)之外的代碼元素的含義基本上在簡單注釋中已經(jīng)比較明確了。而函數(shù)本身的執(zhí)行流程、算法等是這部分注釋和分析的主要任務。
比如cpufreq_ondemand策略的實現(xiàn)算法(函數(shù)dbs_check_cpu中)是如何實現(xiàn)的。我們需要逐步分析該函數(shù)使用的變量和調(diào)用的函數(shù)等信息,弄清算法的來龍去脈。最好的結(jié)果,我們需要這些復雜函數(shù)的執(zhí)行流程圖和函數(shù)調(diào)用關(guān)系圖,這是最直觀的表達方式。
?
通過這一步的注釋,我們基本上能完全把握待分析代碼整體的實現(xiàn)機制了。而所有的分析工作可以認為完成了80%。這一步工作尤其關(guān)鍵,我們必須盡量讓注釋的信息足夠的準確,才能更好的理解待分析代碼的內(nèi)部模塊的劃分。雖然Linux內(nèi)核中使用了宏語法“module_init”和“module_exit”聲明模塊文件,但是對模塊內(nèi)部子功能的劃分是建立在充分了解模塊的功能基礎上的。只有正確劃分好模塊,我們才能弄清模塊提供了哪些外部函數(shù)和變量(使用EXPORT_SYMBOL_GPL或者EXPORT_SYMBOL導出的符號)。才能繼續(xù)下一步的模塊內(nèi)標識符依賴關(guān)系分析。
第五步:模塊內(nèi)部標識符依賴關(guān)系
通過第四步對代碼模塊的劃分,我們就可以很“輕松”地逐個對模塊進行分析。一般的,我們可以從文件底部的模塊出入口函數(shù)開始(“module_init”和“module_exit”聲明的函數(shù),一般都在文件最后),根據(jù)它們調(diào)用的函數(shù)(自己定義的或者其他模塊的函數(shù))和使用的關(guān)鍵變量(本文件內(nèi)的全局變量或者其他模塊的外部變量)畫出“函數(shù)-變量-函數(shù)”依賴關(guān)系圖——我們稱為標識符依賴關(guān)系圖。
當然,模塊內(nèi)標識符依賴關(guān)系并非是單純的樹形結(jié)構(gòu),很多情況是錯綜復雜的網(wǎng)絡關(guān)系。這時候,我們對代碼的詳細注釋的作用就體現(xiàn)出來了。我們根據(jù)函數(shù)本身的含義,將模塊進行子功能劃分,抽取出每個子功能的標識符依賴樹。
?
通過標識符依賴關(guān)系分析,可以很清晰的展示模塊定義的函數(shù)調(diào)用了那些函數(shù),使用了哪些變量,以及模塊子功能之間的依賴關(guān)系——公用了哪些函數(shù)和變量等。
第六步:模塊間相互依賴關(guān)系
一旦將所有的模塊內(nèi)部標識符依賴關(guān)系圖整理完畢,根據(jù)模塊使用的其他模塊的變量或函數(shù),可以很容易得到模塊之間的依賴關(guān)系。
?
cpufreq代碼的模塊依賴關(guān)系可以表示為如下關(guān)系。
?
第七步:模塊架構(gòu)圖
透過模塊間的依賴關(guān)系圖,可以很清楚的表達模塊在整個待分析代碼中的地位和功能。基于此,我們可以將模塊分類,整理出代碼的架構(gòu)關(guān)系。
?
如cpufreq的模塊依賴關(guān)系圖所示,我們可以很清楚的看到所有的調(diào)頻策略模塊都是依賴于核心模塊cpufreq、cpufreq_stats和freq_table的。如果我們把被依賴的三個模塊抽象為代碼的核心框架的話,這些調(diào)頻策略模塊都是建立在這個框架之上的,它們負責和用戶層交互。而核心模塊cpufreq提供了驅(qū)動等相關(guān)的接口負責與系統(tǒng)底層交互。因此,我們可以得到如下的模塊架構(gòu)圖。
?
?
當然,架構(gòu)圖并非模塊的無機拼接,我們還需要結(jié)合查閱的資料去豐富架構(gòu)圖的含義。因此,這里的架構(gòu)圖的細節(jié)會隨著不同的人的理解有所偏差。但是架構(gòu)圖主體的含義很基本一致的。至此,我們完成了待分析的內(nèi)核代碼的所有分析工作。
四、總結(jié)
正如文章開始所說,我們不可能對全部的內(nèi)核代碼進行分析。因此,通過對待分析的代碼進行信息搜集,然后按照上述的流程分析出代碼的原本始末是了解內(nèi)核本質(zhì)的有效手段。這種按照具體需要分析內(nèi)核代碼的方式,為快速進入Linux內(nèi)核的世界提供了可能。通過這種方式,不斷的對內(nèi)核的其他模塊分析,最后綜合得到自己對Linux內(nèi)核的理解,也就達到了我們學習Linux內(nèi)核的目的。
最后向大家推薦兩本學習內(nèi)核的參考書。一本是《Linux內(nèi)核的設計與實現(xiàn)》,該書為讀者快速精簡的介紹了Linux內(nèi)核的主要功能和實現(xiàn)。但不會把讀者帶入Linux內(nèi)核代碼的深淵中,是了解內(nèi)核架構(gòu)和入門Linux內(nèi)核代碼的非常好的參考書,同時該書會提高讀者對內(nèi)核代碼的興趣。另一本是《深入理解Linux內(nèi)核》,該書的經(jīng)典我不必多說。我只是建議,如果想更好的學習本書,最好是結(jié)合著內(nèi)核代碼一起閱讀。由于這本書對內(nèi)核代碼描述的十分詳細,所以結(jié)合代碼進行閱讀可以幫助我們更好的理解內(nèi)核代碼。同時,在分析內(nèi)核代碼的過程中,也可以在本書中找到具有參考價值的資料。最后,愿大家早日進入內(nèi)核的世界,體驗Linux帶給我們的驚喜!
?
評論
查看更多