那曲檬骨新材料有限公司

您好,歡迎來電子發燒友網! ,新用戶?[免費注冊]

您的位置:電子發燒友網>源碼下載>數值算法/人工智能>

大數據基礎設施建設的技術關鍵及解決辦法

大小:0.26 MB 人氣: 2017-10-13 需要積分:1
 2015中國大數據技術大會第二天的大數據基礎設施分論壇中,來自阿里云、Hulu、北京憶恒創源、阿里巴巴、企事錄以及中科院計算所的技術專家分享了大數據基礎設施從設計、搭建到平臺測試標準各個方面的技術關鍵點、實際問題和解決方法。
  
  阿里云的高級技術專家李超
  首先,來自阿里云的高級技術專家李超通過雙11活動講解了阿里如何構建自己的大數據平臺。他首先講解了阿里云大數據的發展史,接下來講解了今天的阿里巴巴大數據平臺到底能做什么事情,第一點最重要就是海量處理能力,這個離線計算平臺支持SQL、MR、MPI、BSP算法平臺。單個集群規模上線達到一萬臺,存儲有800PB的數據,有100萬以上的JOB數,響應速度做到100個毫秒級別,導出速度達到100萬。除了海量數據處理能夠,平臺還可以提供數據整合能力,包括大數據的整合,把集團內部各個業務的數據整合在自己的平臺,現在已經達到800PB的數據量,相互之間可以流轉,包括結構化半結構化非結構化的數據,用統一的數據進行整合。還有數據交換能力,完全可信的數據交換平臺,多層次的數據交換,還有數據管理能力,包括原數據管理,數據質量管理,數據標準管理。接下來李超講解了大數據平臺里面三個比較重要的計算框架,一個是ODPS,第二個ADS實時數據分析,第三個StreamSQL,離線實時計算。前面兩個已經在阿里云官網有云服務提供,后面一個處于準備當中。此外,阿里云的伏羲系統今年打破了sort benchmark的4項世界紀錄,而ODPS和ADS系統的底層,都是基于伏羲分布式調度。李超也從技術上講解了如何用377秒將100TB的數據做出排序。
  
  Hulu公司的資深研發主管梁宇明
  Docker 技術越來越得到了很多開發者的青睞,而YARN對于多數愛好者來說還是一個比較新的平臺。來自Hulu公司的資深研發主管梁宇明為大家講解了如何把Voidbox用在YARN中。他的演講題目是《Voidbox - Docker On YARN在Hulu的實踐》。
  Voidbox是什么?可以做什么呢?梁宇明說, 在一個集群中,你把不同的應用在同一個計算的集群中共同的運行起來,這時候其實需要一個很好的調度系統,在開源的社區一般情況下大家就用Voidbox。為了把更多的應用,在全部的基礎框架之上,用戶構建一些Voidbox。
  在集群中的很多部署問題,用戶可以寫完打包到同一個集群去,利用Voidbox就可自動匹配,類似于虛擬機提供復雜環境得包的能力,提供一個相對比較好的資源隔離。Yarn作為資源調度系統實現了資源調度,VoidboxAPI使得用戶把復雜的東西統一到Yarn上去。
  梁宇明介紹說:“我們之所以選擇Voidbox有兩個原因,第一個對應用程序可以進行很好封裝,可以屏蔽環境的依賴。把這些復雜環境封裝更好的打包在里面這是第一點。第二點本身CPU有很好隔離,在新版本中做到一定對網絡比較好的隔離,這一點是可以提供的,這些隔離基于在一個程序之中,通過設置不同的隊列,你可以把不同的任務分到不同業務運行,你可以把不同運用程序支持不同隊列當中去,不同隊列支持不同的機器。”
  

非常好我支持^.^

(0) 0%

不好我反對

(0) 0%

      發表評論

      用戶評論
      評價:好評中評差評

      發表評論,獲取積分! 請遵守相關規定!

      ?
      百家乐筹码防伪| 百家乐官网规则| 娱乐城开户送钱| 百家乐娱乐城游戏| 枣强县| 大世界百家乐娱乐| 百家乐官网变牌器批发| 大发888代充平台| 百家乐官网单注打| 白金娱乐城| 传奇百家乐的玩法技巧和规则| 百家乐官网讯特| 大发888官方中文网址| 百家乐娱乐城优惠| 百家乐官网管理启发书| 百家乐博百家乐的玩法技巧和规则 | 3U百家乐的玩法技巧和规则| 网络百家乐官网的玩法技巧和规则 | 真钱百家乐官网哪里最好| 大发888娱乐城 qq服务| 百家乐类游戏平台| 澳盈88投注| 网上百家乐是假还是真的| 单机百家乐官网破解方法| 赣州市| 大发888东方鸿运| 百家乐稳一点的押法| 网络百家乐官网骗局| 豪龙国际娱乐| 王子百家乐的玩法技巧和规则 | 菲律宾百家乐官网太阳城| 永利博线上娱乐| 百家乐真人娱乐场开户注册| 玩百家乐官网请高手指点| 皇冠百家乐官网客户端皇冠| 六合彩特码开奖| 百家乐丽| 百家乐投注双赢技巧| 澳门百家乐官网娱乐网| 新宝百家乐官网网址| 大发888bet娱乐场下载|