那曲檬骨新材料有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

未來大數據時代,Hadoop會被Spark取代?

倩倩 ? 來源:IT168 ? 2020-03-20 14:12 ? 次閱讀

由雅虎為工程師和數據科學家打造的Apache Hadoop曾因巨大的潛力而備受稱贊,但如今它卻受到了更快的產品的影響,而這些產品往往來自于它本身的生態系統——Spark就是其中之一。今年早些,H20.ai的創始人Sri Ambati對Datanami 曾說:“Spark將會使Hadoop處于絕地”。

但在過去的幾年中,Hadoop似乎并沒有出現過任何衰退的跡象。在2015年Atscale的調查報告中顯示:“在未來3個月內,已經有超過 76%的人使用Hadoop來做更多的工作。”這些受訪者中大約有一半聲稱他們利用Hadoop工作中獲得了一定的價值。Hadoop作為一個十多年的老品牌,在產品的采用方面并沒有減緩下降的趨勢,Spark也并沒有做到真正取代Hadoop。空口無憑,下面我們從以下幾個方面來分析一下Spark在未來的幾年之內到底能不能真正的取代Hadoop。

按行業劃分的市場滲透率

毫無疑問,為專家設計的產品一般都會停留在原來的軌道上,在其他方面不會有所涉及。但Spark在各個行業都存在一些有意義的分布,這可能要歸功于各種市場上的大數據的泛濫。所以,雖然Spark可能有更廣泛的應用,但Hadoop仍然支配著原本預期的用戶群。

主要地理市場

在全球范圍內,我們可以看到Informatica處于中心位置——在歐洲和美洲整體市場份額占比達32%。在兩年半的時間里,我們跟蹤了Informatica在云市場和工業領域的增長,結果顯示達到了50%的增長,而且在高等教育領域也處于領先地位。上周, Informatica被Gartner評為主數據管理解決方案2017年魔力象限的領導者。而Hadoop仍然停留于過去成功的地理市場中。

公司規模的采用趨勢

在企業客戶中Spark也沒有大范圍的涉及。我們注意到世界上大多數公司規模較小,一般都為1-50名員工,所以Spark似乎并不是任何規模公司的唯一選擇。對于那些已經使用Hadoop的人來說,這個產品也對企業和公司起到了一定的作用,而且 Hadoop并不僅限于一種用戶。而Hadoop無論在何種規模的公司中,使用率相對于Spark還是非常高的。

寫在最后

此外,在調查的過程中,傳統的科技公司像eBay、Verizon、惠普和亞馬遜等主流廠商已經開始使用Spark,但是Hadoop還沒有被大規模的拋棄。相反,用戶使用Spark作為系統的介紹,利用這個程序來突破Hadoop的障礙,兩者的結合,使得工作更高效的完成。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • Hadoop
    +關注

    關注

    1

    文章

    90

    瀏覽量

    16036
  • 大數據
    +關注

    關注

    64

    文章

    8908

    瀏覽量

    137789
收藏 人收藏

    評論

    相關推薦

    Hadoop 生態系統在大數據處理中的應用與實踐

    隨著數據量的爆發式增長,大數據處理技術成為企業關注焦點,Hadoop 生態系統在其中扮演著核心角色。 Hadoop Distributed File System(HDFS)是其分布式
    的頭像 發表于 01-21 17:48 ?104次閱讀

    耳機座連接器:未來是否會被全部取代

    耳機座連接器作為音頻設備的重要組成部分,長期以來在手機、電腦和音響等設備中占據著不可或缺的地位。隨著科技的進步,耳機座連接器的未來似乎面臨著許多挑戰。本文將分析耳機座連接器是否會被全部取代的可能性,探討其優缺點、市場趨勢以及用戶
    的頭像 發表于 10-11 15:16 ?525次閱讀
    耳機座連接器:<b class='flag-5'>未來</b>是否<b class='flag-5'>會被</b>全部<b class='flag-5'>取代</b>?

    耳機座接口會被TYPE-C取代嗎?

    耳機座接口,即傳統的3.5mm耳機插孔,一直以來都是音頻設備的標準配置。然而,隨著科技的發展和用戶需求的變化,TYPE-C接口逐漸嶄露頭角,成為許多設備的主流選擇。這一趨勢引發了一個重要問題:耳機座接口會被TYPE-C取代嗎?
    的頭像 發表于 10-11 14:24 ?401次閱讀

    基于Kepware的Hadoop大數據應用構建-提升數據價值利用效能

    處理超大數據集。 Hadoop的生態系統非常豐富,包括許多相關工具和技術,如Hive、Pig、HBase等,這些工具可以方便地構建復雜的大數據應用。Hadoop廣泛應用于各種場景,包括
    的頭像 發表于 10-08 15:12 ?192次閱讀
    基于Kepware的<b class='flag-5'>Hadoop</b><b class='flag-5'>大數據</b>應用構建-提升<b class='flag-5'>數據</b>價值利用效能

    spark為什么比mapreduce快?

    減少的是磁盤I/O次數(相比于mapreduce計算模型而言),而不是shuffle次數,因為shuffle是根據數據重組的次數而定,所以shuffle次數不能減少 ? 所以總結spark
    的頭像 發表于 09-06 09:45 ?320次閱讀

    spark運行的基本流程

    前言: 由于最近對spark的運行流程非常感興趣,所以閱讀了《Spark大數據處理:技術、應用與性能優化》一書。通過這本書的學習,了解了spark的核心技術、實際應用場景以及性能優化的
    的頭像 發表于 07-02 10:31 ?477次閱讀
    <b class='flag-5'>spark</b>運行的基本流程

    Spark基于DPU的Native引擎算子卸載方案

    ?和 R?等多種高級編程語言,這使得Spark可以應對各種復雜的大數據應用場景,例如金融、電商、社交媒體等。 Spark 經過多年發展,作為基礎的計算框架,不管是在
    的頭像 發表于 06-28 17:12 ?766次閱讀
    <b class='flag-5'>Spark</b>基于DPU的Native引擎算子卸載方案

    關于Spark的從0實現30s內實時監控指標計算

    前言 說起Spark,大家就會自然而然地想到Flink,而且會不自覺地將這兩種主流的大數據實時處理技術進行比較。然后最終得出結論:Flink實時性大于Spark。 的確,Flink中的數據
    的頭像 發表于 06-14 15:52 ?512次閱讀

    Spark+Hive”在DPU環境下的性能測評 | OLAP數據庫引擎選型白皮書(24版)DPU部分節選

    在奇點云2024年版《OLAP數據庫引擎選型白皮書》中,中科馭數聯合奇點云針對Spark+Hive這類大數據計算場景下的主力引擎,測評DPU環境下對比CPU環境下的性能提升效果。特此節選該章節內容,與大家共享。
    的頭像 發表于 05-30 16:09 ?582次閱讀
    “<b class='flag-5'>Spark</b>+Hive”在DPU環境下的性能測評 | OLAP<b class='flag-5'>數據</b>庫引擎選型白皮書(24版)DPU部分節選

    如何利用DPU加速Spark大數據處理? | 總結篇

    SSD速度通過NVMe接口得到了大幅提升,并且網絡傳輸速率也進入了新的高度,但CPU主頻發展并未保持同等步調,3GHz左右的核心頻率已成為常態。 在當前背景下Apache Spark大數據處理工具中,盡管存儲和網絡性能的提升極大地減少了
    的頭像 發表于 04-02 13:45 ?1119次閱讀
    如何利用DPU加速<b class='flag-5'>Spark</b><b class='flag-5'>大數據</b>處理? | 總結篇

    Spark基于DPU Snappy壓縮算法的異構加速方案

    一、總體介紹 1.1 背景介紹 Apache Spark是專為大規模數據計算而設計的快速通用的計算引擎,是一種與 Hadoop 相似的開源集群計算環境,但是兩者之間還存在一些不同之處,這些不同之處使
    的頭像 發表于 03-26 17:06 ?865次閱讀
    <b class='flag-5'>Spark</b>基于DPU Snappy壓縮算法的異構加速方案

    RDMA技術在Apache Spark中的應用

    背景介紹 在當今數據驅動的時代,Apache?Spark已經成為了處理大規模數據集的首選框架。作為一個開源的分布式計算系統,Spark因其高
    的頭像 發表于 03-25 18:13 ?1599次閱讀
    RDMA技術在Apache <b class='flag-5'>Spark</b>中的應用

    基于DPU和HADOS-RACE加速Spark 3.x

    、Python、Java、Scala、R)等特性在大數據計算領域被廣泛使用。其中,Spark SQL 是 Spark 生態系統中的一個重要組件,它允許用戶以結構化數據的方式進行
    的頭像 發表于 03-25 18:12 ?1425次閱讀
    基于DPU和HADOS-RACE加速<b class='flag-5'>Spark</b> 3.x

    解鎖電梯大數據平臺的商業價值與未來展望

    在智能建筑領域,電梯大數據平臺作為關鍵技術之一,正逐漸成為行業的焦點。本文深圳梯云物聯科技有限公司小編將深入探討電梯大數據平臺的商業價值以及未來展望,為您揭示這一領域的無限可能。
    的頭像 發表于 03-25 10:51 ?445次閱讀
    解鎖電梯<b class='flag-5'>大數據</b>平臺的商業價值與<b class='flag-5'>未來</b>展望

    淺析大數據時代下的數據中心運維管理

    淺析大數據時代下的數據中心運維管理 張穎姣 安科瑞電氣股份有限公司?上海嘉定201801 摘要:本文將從數據中心運維管理的角度,聯系現實情況,對運維管理進行研究,期望通過本項目的研究,
    的頭像 發表于 02-22 14:40 ?448次閱讀
    淺析<b class='flag-5'>大數據</b><b class='flag-5'>時代</b>下的<b class='flag-5'>數據</b>中心運維管理
    百家乐官网金海岸| 百家乐对付抽水| 大发888备用| 网络百家乐官网免费试玩| 百家乐代理加盟| 大发888集团| 百家乐官网冲动| 真人百家乐套红利| 机械手百家乐官网的玩法技巧和规则 | 亚洲赌博网站| 百家乐官网知道| 大发888亚洲城| 百家乐官网赌博游戏| 百家乐视频百家乐| 博彩旅游业| 嘉年华百家乐官网的玩法技巧和规则 | 易发娱乐场| 百家乐官网电影网| 德州扑克在线游戏| 百家乐官网牌路图表下| 网上百家乐作| 澳门百家乐官网哪家信誉最好| 米其林百家乐的玩法技巧和规则| 百家乐官网桌蓝盾在线| 南京百家乐的玩法技巧和规则| 川宜百家乐官网分析软件| 澳门百家乐娱乐平台| 兴安盟| 真人百家乐新开户送彩金| 泊头市| 试用的百家乐软件| 澳门百家乐官网的故事| 大玩家百家乐的玩法技巧和规则| 网上百家乐官网信誉度| 欢乐谷百家乐的玩法技巧和规则| 网络娱乐| 988百家乐娱乐| 百家乐官网电话投注怎么玩| sz全讯网xb112| 百家乐官网真人游戏赌场娱乐网规则 | 大发888斗地主|