作者：京東物流 陳昌浩

最近的工作中接觸到CK，一開(kāi)始還不知道CK是什么,通過(guò)查詢才知道CK是ClickHouse，ClickHouse 是俄羅斯的Yandex于2016年開(kāi)源的列式存儲(chǔ)數(shù)據(jù)庫(kù)，是一款開(kāi)源的面向列的分布式數(shù)據(jù)庫(kù)管理系統(tǒng)，以其卓越的性能和強(qiáng)大的數(shù)據(jù)分析能力在大數(shù)據(jù)領(lǐng)域備受矚目。

列式存儲(chǔ)

列式存儲(chǔ)是一種數(shù)據(jù)存儲(chǔ)結(jié)構(gòu),也稱為列存儲(chǔ)或列式數(shù)據(jù)庫(kù)。它將數(shù)據(jù)按列存儲(chǔ)而非傳統(tǒng)的按行存儲(chǔ)。每一列的數(shù)據(jù)類型相同或者相似。

例如表結(jié)果如下：

采用行式存儲(chǔ)時(shí)，數(shù)據(jù)在磁盤(pán)上的組織結(jié)構(gòu)為：

采用列式存儲(chǔ)時(shí)，數(shù)據(jù)在磁盤(pán)上的組織結(jié)構(gòu)為：

列存儲(chǔ)在寫(xiě)入效率、保證數(shù)據(jù)完整性上都不如行存儲(chǔ)，它的優(yōu)勢(shì)是在讀取過(guò)程，不會(huì)產(chǎn)生冗余數(shù)據(jù)，這對(duì)數(shù)據(jù)完整性要求不高的大數(shù)據(jù)處理領(lǐng)域，比如互聯(lián)網(wǎng)，猶為重要。

ClickHouse 的主要特點(diǎn)

高性能

?快速的查詢響應(yīng)：能夠在秒級(jí)甚至亞秒級(jí)時(shí)間內(nèi)處理大規(guī)模數(shù)據(jù)的查詢請(qǐng)求。

?高效的數(shù)據(jù)壓縮：采用了多種數(shù)據(jù)壓縮算法，大大減少了數(shù)據(jù)存儲(chǔ)占用的空間，同時(shí)提高了數(shù)據(jù)讀取的速度。

? 向量化執(zhí)行引擎：可以并行處理大量數(shù)據(jù)，充分利用現(xiàn)代硬件的優(yōu)勢(shì)，提高執(zhí)行效率。

可擴(kuò)展性

?分布式架構(gòu)：支持水平擴(kuò)展，可以輕松地添加更多的服務(wù)器節(jié)點(diǎn)來(lái)處理不斷增長(zhǎng)的數(shù)據(jù)量和查詢負(fù)載。

?數(shù)據(jù)分片：將數(shù)據(jù)分散存儲(chǔ)在不同的節(jié)點(diǎn)上，提高數(shù)據(jù)的可用性和可靠性。

豐富的數(shù)據(jù)分析功能

?支持多種數(shù)據(jù)類型：包括數(shù)值、字符串、日期時(shí)間等常見(jiàn)數(shù)據(jù)類型，以及數(shù)組、嵌套結(jié)構(gòu)等復(fù)雜數(shù)據(jù)類型。

?強(qiáng)大的聚合函數(shù)：提供了豐富的聚合函數(shù)，如求和、平均值、最大值、最小值等，方便進(jìn)行數(shù)據(jù)分析和統(tǒng)計(jì)。

?支持 SQL 語(yǔ)言：用戶可以使用熟悉的 SQL 語(yǔ)句進(jìn)行數(shù)據(jù)查詢和分析，降低了學(xué)習(xí)成本。

場(chǎng)景支持

ClickHouse的數(shù)據(jù)處理速度非常快，尤其適合于包含復(fù)雜分析查詢的場(chǎng)景

適合場(chǎng)景

?日志和事件數(shù)據(jù)：由于ClickHouse的處理速度，它可以作為實(shí)時(shí)數(shù)據(jù)分析的工具。

?監(jiān)控和報(bào)警系統(tǒng)：ClickHouse可以用于快速查詢和顯示監(jiān)控?cái)?shù)據(jù)。

?交互式查詢：由于其快速的查詢速度，ClickHouse可以作為數(shù)據(jù)科學(xué)家進(jìn)行交互式探索的工具。

?數(shù)據(jù)倉(cāng)庫(kù)：ClickHouse可以作為數(shù)據(jù)倉(cāng)庫(kù)的一種替代方法，用于快速查詢和分析。

不適合場(chǎng)景

?事務(wù)處理：ClickHouse不支持事務(wù)處理。

?強(qiáng)一致性：ClickHouse不保證數(shù)據(jù)的強(qiáng)一致性。

?低延遲的更新：ClickHouse不適合于需要實(shí)時(shí)或近實(shí)時(shí)更新數(shù)據(jù)的場(chǎng)景。

?高度模式化的數(shù)據(jù)：ClickHouse對(duì)模式的靈活性不如關(guān)系型數(shù)據(jù)庫(kù)。

小結(jié)

總之，ClickHouse 是一款功能強(qiáng)大的數(shù)據(jù)庫(kù)管理系統(tǒng)，適用于大規(guī)模數(shù)據(jù)分析和處理場(chǎng)景。通過(guò)了解其特點(diǎn)和基礎(chǔ)知識(shí)，用戶可以更好地利用 ClickHouse 來(lái)滿足自己的數(shù)據(jù)分析需求

審核編輯 黃宇