2015年12月10-12日，由中國計算機學會（CCF）主辦，CCF大數(shù)據(jù)專家委員會承辦，中國科學院計算技術(shù)研究所、北京中科天璣科技有限公司與CSDN共同協(xié)辦，以“數(shù)據(jù)安全、深度分析、行業(yè)應用”為主題的 2015中國大數(shù)據(jù)技術(shù)大會 （Big Data Technology Conference 2015，BDTC 2015）在北京新云南皇冠假日酒店盛大開幕。
　　2015中國大數(shù)據(jù)技術(shù)大會首日全體會議中，中國移動蘇州研發(fā)中心總經(jīng)理助理兼CTO孫少陵在主題演講中表示傳統(tǒng)企業(yè)在大數(shù)據(jù)轉(zhuǎn)型過程中，通常要經(jīng)歷BI升級為大數(shù)據(jù)平臺、組織架構(gòu)轉(zhuǎn)型和內(nèi)部數(shù)據(jù)整合、主動數(shù)據(jù)采集三個階段，目前中國移動已完成第一階段，第二階段已開展，第三階段已初露萌芽。
　　
　　中國移動蘇州研發(fā)中心總經(jīng)理助理兼CTO 孫少陵
　　他結(jié)合實踐案例，分享了中國移動在大數(shù)據(jù)領(lǐng)域的探索成果并總結(jié)了運營商大數(shù)據(jù)系統(tǒng)設(shè)計思路：
　　集中化的數(shù)據(jù)管理。全網(wǎng)數(shù)據(jù)跨省、跨地域數(shù)據(jù)的高效存儲和統(tǒng)一管理。多樣化的服務模式。與應用解耦，提供靈活的數(shù)據(jù)服務。精細化的資源管理。實現(xiàn)多租戶支持，最大程度地提高資源使用效率。高效的任務調(diào)度。同一平臺高效提供多種類型應用的支持。
　　以下為演講實錄
　　孫少陵：大家下午好！今天大家話題的氣氛都是比較積極向上的，大數(shù)據(jù)現(xiàn)在這么熱，為什么會有冷思考？在目前互聯(lián)網(wǎng)尤其移動互聯(lián)網(wǎng)的條件之下，我們中國移動現(xiàn)在也算是個傳統(tǒng)行業(yè)，傳統(tǒng)行業(yè)在發(fā)展大數(shù)據(jù)轉(zhuǎn)型過程中面臨確實有很多困惑，所有的公司都認為中國移動是個富有數(shù)據(jù)的公司。
　　在大數(shù)據(jù)這個時代，對中國移動給予了非常高的期待，但我們在運作的時候，不管是內(nèi)部應用，還是在外部變現(xiàn)，現(xiàn)在都遇到很多困惑的問題。其實也是借這么個機會，希望能夠拋磚引玉，大家一起共同思考。
　　我的演講分兩個部分，第一是傳統(tǒng)行業(yè)在大數(shù)據(jù)時代轉(zhuǎn)型方面的思考，第二是中國移動在大數(shù)據(jù)方面的實踐和探索。
　　傳統(tǒng)行業(yè)在大數(shù)據(jù)的思考
　　大數(shù)據(jù)現(xiàn)在繼續(xù)成為行業(yè)熱點，不管從國家政策方面，還是從產(chǎn)業(yè)發(fā)展的角度，都對大數(shù)據(jù)抱有非常高的期望。大家從今天上午發(fā)布的十大熱點能夠看得出來，
　　大數(shù)據(jù)處于上升的階段。今年有個變化，在Gartner新技術(shù)炒作曲線里面發(fā)現(xiàn)沒有大數(shù)據(jù)了，這個我跟Gartner探討過，Gartner并不是說在新技術(shù)里面大數(shù)據(jù)已經(jīng)不重要了，是大數(shù)據(jù)變得更寬泛，這個東西已經(jīng)慢慢嵌入到各行各業(yè)各類應用，所以今年專門有個大數(shù)據(jù)自身的炒作曲線，比如有大數(shù)據(jù)的安全和隱私的炒作曲線，所以并不是說大數(shù)據(jù)已經(jīng)變得不那么熱了，而是說它更熱了，現(xiàn)在很多分報告去探討大數(shù)據(jù)在各行各業(yè)各領(lǐng)域的應用，包括供應鏈、物聯(lián)網(wǎng)、金融、醫(yī)療等。像麥肯錫等對大數(shù)據(jù)提出了很高的預期，包括未來它在各行業(yè)中的產(chǎn)值，以及未來人才需求方面。
　　在大數(shù)據(jù)時代我們實現(xiàn)轉(zhuǎn)型，面臨很多問題和挑戰(zhàn)，互聯(lián)網(wǎng)公司是把大數(shù)據(jù)作為互聯(lián)網(wǎng)+的利器，互聯(lián)網(wǎng)公司利用手里數(shù)據(jù)的優(yōu)勢實現(xiàn)業(yè)務拓展，如果有了這種商品交易的數(shù)據(jù)，它可以做銀行、做支付。傳統(tǒng)行業(yè)能不能+互聯(lián)網(wǎng)？在現(xiàn)有的領(lǐng)域中，通過大數(shù)據(jù)助力實現(xiàn)轉(zhuǎn)型，這是實現(xiàn)行業(yè)困局的突破。
　　開展大數(shù)據(jù)有下面幾個典型的問題：
　　第一，技術(shù)能力不足。在傳統(tǒng)行業(yè)，IT一直作為后端的部門，IT一般不是直接跟它業(yè)務直接相關(guān)，它經(jīng)常被IT作為后端的支撐手段，大量通過外包或采購方式實現(xiàn)，所以在自身軟件開發(fā)和大數(shù)據(jù)平臺運維、大數(shù)據(jù)新技術(shù)應用、大數(shù)據(jù)分析挖掘方面能力相當有限。從前面幾位專家介紹我們能夠感受到，現(xiàn)在大數(shù)據(jù)沒有達到易用性是普通的非IT人員就可以很容易操作的，它各個環(huán)節(jié)需要非常專業(yè)的IT支撐能力。
　　第二，數(shù)據(jù)條塊的分割。因為傳統(tǒng)的業(yè)務單位都是根據(jù)它的業(yè)務去組織它的組織架構(gòu)，所以不可避免造成很多數(shù)據(jù)分散在它不同的系統(tǒng)當中。比如對中國移動來說，我們現(xiàn)在IT支撐系統(tǒng)分BOM三個域，解決計費、用戶注冊數(shù)據(jù)、經(jīng)營分析，O域主要是網(wǎng)絡運維，網(wǎng)絡采集的數(shù)據(jù)，M域是內(nèi)部的ERP等辦公類數(shù)據(jù)，這三個域分布在三個不同部門，三個系統(tǒng)分別建設(shè)。目前這個數(shù)據(jù)間有壁壘，而且這個數(shù)據(jù)標準也不統(tǒng)一，就算簡單的把三個域合成一起，也很難帶來數(shù)據(jù)融合以后“1+1大于2”的效果，這方面也限制傳統(tǒng)行業(yè)對大數(shù)據(jù)的應用。
　　第三，組織架構(gòu)不匹配。因為我們現(xiàn)在不同的數(shù)據(jù)分散在不同的部門，沒有個專門的機構(gòu)去管理這些數(shù)據(jù)，對這些數(shù)據(jù)進行統(tǒng)一的標準，對這些數(shù)據(jù)進行維護，所以目前我們數(shù)據(jù)的使用都在自己的條塊之內(nèi)。
　　第四，思維模式的轉(zhuǎn)變。傳統(tǒng)行業(yè)某種意義上來說，在利用大數(shù)據(jù)方面還處在摸索階段，技術(shù)和業(yè)務知識方面可能并不是主要的問題，關(guān)鍵是意識的問題。今天上午王堅先生提到一個問題，他認為數(shù)據(jù)不是采集的，但我有不同的看法。我認為傳統(tǒng)行業(yè)開始主動的收集數(shù)據(jù)，重視它行業(yè)中各種各樣的數(shù)據(jù)，甚至在它業(yè)務系統(tǒng)、業(yè)務流程設(shè)計時，把數(shù)據(jù)采集作為一個很重要的工作納入進去，這個公司某種意義上才可以說是實現(xiàn)了大數(shù)據(jù)的初步思維模式轉(zhuǎn)變，傳統(tǒng)行業(yè)是沒有這方面的意識。如果把業(yè)務系統(tǒng)的設(shè)計、業(yè)務流程的設(shè)計，跟數(shù)據(jù)的采集分析有機融合在一起，我認為這個真正是未來傳統(tǒng)行業(yè)實現(xiàn)互聯(lián)網(wǎng)+轉(zhuǎn)型的很重要步驟。我們看互聯(lián)網(wǎng)公司現(xiàn)在在走什么樣的路，它的業(yè)務流程通過引入大數(shù)據(jù)，實現(xiàn)了業(yè)務的智能化和自動化，這是未來互聯(lián)網(wǎng)+和工業(yè)4.0要達到的目標。所以思維轉(zhuǎn)變對傳統(tǒng)行業(yè)有效利用大數(shù)據(jù)實現(xiàn)業(yè)務轉(zhuǎn)型起到非常重要的作用。
　　傳統(tǒng)行業(yè)大數(shù)據(jù)發(fā)展路徑一般分三個階段：
　　第一，技術(shù)升級，我們可以把它形象比喻成“BIPLUS”，傳統(tǒng)行業(yè)都有BI，不管是做決策支持，還是做市場營銷支持，一般都是用IOE的架構(gòu)去實現(xiàn)的。在第一階段技術(shù)升級的時候，傳統(tǒng)行業(yè)一般會隨著技術(shù)發(fā)展的趨勢引入像Hadoop、Spark、MPP數(shù)據(jù)倉庫等等新技術(shù)，這個階段大家主要關(guān)心新技術(shù)對傳統(tǒng)技術(shù)替代過程中怎么提高效率和降低成本。目前大部分傳統(tǒng)行業(yè)是用混搭的方式，因為現(xiàn)在部門業(yè)務線條是孤立的，所以往往它內(nèi)部會形成多個數(shù)據(jù)倉庫系統(tǒng)，出現(xiàn)不同的Spark、不同的Hadoop集群。
　　第二，數(shù)據(jù)融合和組織架構(gòu)調(diào)整的階段。在數(shù)據(jù)應用的過程當中，大家發(fā)現(xiàn)現(xiàn)在技術(shù)手段具備了，現(xiàn)在有Spark和Hadoop，可以分析存儲大量的數(shù)據(jù)，但是發(fā)現(xiàn)數(shù)據(jù)源存儲在不同的數(shù)據(jù)系統(tǒng)里面，這時候有整合的需求存在。這種整合必然帶來組織架構(gòu)的調(diào)整，原來業(yè)務按條塊分割、系統(tǒng)按條塊分割去建設(shè)，沒有統(tǒng)一的團隊去整理和維護這些數(shù)據(jù)的話，這種數(shù)據(jù)整合肯定無法實現(xiàn)。
　　第三，思維模式的變化。思維模式的變化就是把大數(shù)據(jù)作為企業(yè)的一個思維習慣，所有的經(jīng)營活動都考慮數(shù)據(jù)的收集和采集，都考慮未來業(yè)務流程中如何利用這些數(shù)據(jù)去優(yōu)化、去發(fā)現(xiàn)問題，所以收集數(shù)據(jù)會變成這個階段業(yè)務設(shè)計的一個重要考慮。隨著數(shù)據(jù)對于業(yè)務優(yōu)化效果的體現(xiàn)，會出現(xiàn)數(shù)據(jù)饑渴。這個階段也許有的公司會出現(xiàn)盲目的收集數(shù)據(jù)，數(shù)據(jù)會大量的飛速增長，同時大數(shù)據(jù)和業(yè)務系統(tǒng)深度整合，同時研發(fā)、運營一體化實現(xiàn)快速迭代，使業(yè)務更加智能化和自動化。實際上對傳統(tǒng)行業(yè)來說，思維轉(zhuǎn)變是實現(xiàn)互聯(lián)網(wǎng)+轉(zhuǎn)型的一個關(guān)鍵。
　　中國移動大數(shù)據(jù)探索實踐與思考
　　中國移動是一個富有大數(shù)據(jù)的公司，現(xiàn)在我們的組織架構(gòu)也是個典型的傳統(tǒng)行業(yè)，不光是我們在公司內(nèi)部有不同的線條，比如做業(yè)務支撐的，做網(wǎng)絡維護的，做市場營銷的，同時我們也是一個分區(qū)域的公司，我們現(xiàn)在有31家省公司，現(xiàn)在還有18家的專業(yè)公司。
　　數(shù)字類型可以看一些數(shù)字，比如我們有超過8.2億用戶，100萬機站，經(jīng)營分析系統(tǒng)里有10B以上的數(shù)據(jù)，每分鐘有大量用戶的呼叫等等，實際上所有這些動作每天都在產(chǎn)生大量的數(shù)據(jù)。之前我們這個公司有個測算，就是中國移動到底有多少數(shù)據(jù)，我要把這些數(shù)據(jù)集中在一起會有個什么效果。網(wǎng)絡部最后做了個測算，我們一個大的省公司比如廣東公司一天數(shù)據(jù)可能幾百P，第二，如果把這些數(shù)據(jù)集中在一點，比如都傳到哈爾濱或者呼和浩特的集中數(shù)據(jù)中心，需要重構(gòu)一個中國移動的CMNET，就是我們Internet的骨干網(wǎng)。所以某種意義上來說，一方面可以看到這個數(shù)據(jù)量非常大，另外一方面我們可以看到這個投資也是非常驚人的。
　　目前中國移動數(shù)據(jù)主要用于網(wǎng)絡優(yōu)化、業(yè)務創(chuàng)新、精準營銷、決策支持，這個跟其他很多公司使用大數(shù)據(jù)的方式和方法都一樣。中國移動在大數(shù)據(jù)的探索方面，我個人自我評價的話，覺得是初步完成了第一階段，現(xiàn)在在部分省公司開始做第二階段，集團也在開始考慮做第二個階段，第三個階段只能說現(xiàn)在有些萌芽：
　　第一階段，公司在2011年、2012年時就在激烈的討論，就是Hadoop這種新型技術(shù)到底適用不適用中國移動，我們傳統(tǒng)部門有很多質(zhì)疑的聲音，他們認為MPP數(shù)據(jù)倉庫出現(xiàn)了，現(xiàn)在傳統(tǒng)的業(yè)務尤其話音等等這樣的業(yè)務，應該用比較穩(wěn)定的商業(yè)系統(tǒng)。我們作為一個研發(fā)單位，積極推進Hadoop、Spark、流計算等等新技術(shù)，最終的結(jié)果是到了去年、今年這個質(zhì)疑不存在了，大家開始穩(wěn)步建設(shè)，在系統(tǒng)當中不斷引入新技術(shù)，同時開始業(yè)務中大數(shù)據(jù)的工作。
　　第二階段，現(xiàn)在有些省公司把數(shù)據(jù)進行集中化，有的建個部門，有的在部門下面專門建個團隊，實現(xiàn)三個域數(shù)據(jù)的融合。
　　第三個階段，這里想結(jié)合個案例，說一下我們?yōu)槭裁凑J為傳統(tǒng)行業(yè)要改變思維模式，那么我們第三階段到底都做了些什么。這里我們以福建移動為例，最近福建移動做了件事情，他們把傳統(tǒng)的網(wǎng)絡性能管理系統(tǒng)做了重新的開發(fā)，這個網(wǎng)絡性能管理系統(tǒng)目前在公司內(nèi)部的效果非常突出，遠遠好于其他單位用傳統(tǒng)方式去做的。這里有哪些不同于傳統(tǒng)的網(wǎng)管系統(tǒng)的特點？
　　福建公司是最找實現(xiàn)BOM三個域整合，福建公司業(yè)務支撐系統(tǒng)部下面專門設(shè)計了大數(shù)據(jù)中心，BMO三個域的數(shù)據(jù)現(xiàn)在都放在它那統(tǒng)一進行管理，它現(xiàn)在也是部署了好幾個Hadoop集群，進行數(shù)據(jù)的管理和維護。剛才說性能管理系統(tǒng)，它實際上是網(wǎng)絡部在這個平臺上的應用，因為它實現(xiàn)了三域數(shù)據(jù)的融合，所以給我們這個性能管理系統(tǒng)帶來了一個進行創(chuàng)新的物質(zhì)基礎(chǔ)。我們的網(wǎng)絡部根據(jù)它業(yè)務上的經(jīng)驗，把原來傳統(tǒng)的網(wǎng)管系統(tǒng)只關(guān)注網(wǎng)絡這個環(huán)節(jié)拓展開來，變成端到端的去關(guān)注整個網(wǎng)絡的運行情況。
　　除了原來傳統(tǒng)的網(wǎng)絡，現(xiàn)在包括小區(qū)、用戶、終端、包括我們開設(shè)的業(yè)務平臺，所以定義“五元”、“五階”概念，“五階”是業(yè)務流程，也就是說我們打通一通電話或者連接上網(wǎng)過程中有五個步驟，這五個步驟中產(chǎn)生所有數(shù)據(jù)挖掘收集過來，并且進行建模，在某種意義上是數(shù)據(jù)融合帶來的好處。
　　在它的運維方式上實現(xiàn)了突破，這個突破體現(xiàn)在什么地方？第一，因為它有不同維度的數(shù)據(jù)，所以他們提出來一個“空間置換法”，也就是說它原來有很多故障的發(fā)現(xiàn)和排除，某種意義上來說它是端到端的一點點去找故障的方式。現(xiàn)在它可以做橫向比較，比如某個業(yè)務訪問有問題，那么它看一下同類業(yè)務平臺，比如你是個視頻類的，那么其他視頻類的業(yè)務是不是有問題，通過類似于這樣的方法逐點去排除，最后很快的定位到底故障在哪。第二種方式，他們提出來叫“主動運維”，主動運維跟我們傳統(tǒng)運維的觀念產(chǎn)生很大的變化，傳統(tǒng)運維的運維系統(tǒng)是只監(jiān)不控，也就是說我在運維的過程中不會調(diào)整我的網(wǎng)絡，但是他們在發(fā)現(xiàn)問題以后會去調(diào)整它的業(yè)務流量、流向等等，做這樣一些工作，去看調(diào)整之前和之后的變化，通過這種方式去發(fā)現(xiàn)問題，甚至發(fā)現(xiàn)一些還沒有出現(xiàn)但潛在存在的問題，所以他們叫“主動運維”。
　　他們還培養(yǎng)了一個小的團隊，這個小團隊的人熟悉Hadoop和Spark等等編程，這些人是業(yè)務方面的專家，他可以通過業(yè)務方面的知識，快速利用這些新的技術(shù)去解決問題，研發(fā)和運營實現(xiàn)了一體化，所以他能夠比較快速的把他的想法變成可以用的東西。剛才說的這幾點是我感覺出來的，就是一個傳統(tǒng)行業(yè)大數(shù)據(jù)帶來思維的變化，它應該有這樣的一些反映。
　　中國移動大數(shù)據(jù)發(fā)展路徑，公司內(nèi)部也慢慢意識到大數(shù)據(jù)對我們來說非常重要，所以公司首先成立了蘇州研發(fā)中心，第一，蘇州研發(fā)中心首先是個研發(fā)單位，第二，它的定位是云計算、大數(shù)據(jù)、IT支撐系統(tǒng)這三大部分。目前我們現(xiàn)在已經(jīng)有超過500人，研發(fā)人員占85%以上，我們的職責，一方面為公司內(nèi)部提供新的技術(shù)和產(chǎn)品，比如Hadoop、Spark等等，我們都維護自己的定制版本，同時，在此基礎(chǔ)上我們做定制化等新工作，讓我們新的技術(shù)在現(xiàn)在的應用中更容易讓非IT背景的人員使用。
　　現(xiàn)在公司提倡所有的省公司鼓勵員工去做開發(fā)，就是大家培養(yǎng)一個開發(fā)的能力。作為傳統(tǒng)行業(yè)，我們發(fā)現(xiàn)有很多能力是缺失的，在云計算和大數(shù)據(jù)時代，我們的一線員工不會開發(fā)，不會去應用這些新的基礎(chǔ)，在很多工作推進的時候都會有問題。所以像今年中國移動也有自主開發(fā)大賽，它的條件就是所有的這些應用都是我們員工自己寫代碼做的，同時，像今年我們的科技進步獎評獎之類的，要求也必須是自主研發(fā)，所以大家可以看到傳統(tǒng)行業(yè)也在轉(zhuǎn)變。
　　在數(shù)據(jù)管理、大數(shù)據(jù)的開放方面，我們一方面積極的去建立公司內(nèi)部的數(shù)據(jù)管控體系，首先知道內(nèi)部的數(shù)據(jù)的家底是什么，要摸清楚，第二是數(shù)據(jù)的標準化，未來對數(shù)據(jù)質(zhì)量有管控。
　　前面很多專家提到了，盡管大家對大數(shù)據(jù)未來的商業(yè)預期非常大，但實際上現(xiàn)在看起來效果并沒有那么明顯，有很多公司過來找中國移動，說像咱們交通行業(yè)可以一塊做點什么，也有一些比如像客戶的營銷等等方面，說我需要你中國移動的數(shù)據(jù)，甚至有很多金融的行業(yè)認證方面也需要你的一些數(shù)據(jù)。但我感覺現(xiàn)在都沒有找到一個解決用戶痛點的應用，也就是說這個東西好多都不是剛需，頂多是解決一個點。目前我們在推進大數(shù)據(jù)過程中，一方面積極，第二方面比較慎重，所以我們非常關(guān)注大數(shù)據(jù)這個系統(tǒng)它的建設(shè)和應用怎么去高效和低成本。
　　在整個大數(shù)據(jù)系統(tǒng)設(shè)計思路上來說，我們按這四個方面去考慮：
　　第一，集中化數(shù)據(jù)管理，因為我們目前的數(shù)據(jù)是分散存放，它的資源利用率非常低，數(shù)據(jù)冗余很高，同時不利于多域數(shù)據(jù)融合和交叉使用，所以集中的數(shù)據(jù)管理，對結(jié)構(gòu)化和非結(jié)構(gòu)化進行統(tǒng)一管理，對跨省的數(shù)據(jù)也統(tǒng)一管理，同時有效描述這個數(shù)據(jù)，讓非這個業(yè)務領(lǐng)域人通過這個描述很容易理解，同時知道怎么用。同時，數(shù)據(jù)安全和數(shù)據(jù)質(zhì)量方面也非常重要。
　　第二，多樣化服務模式。現(xiàn)在數(shù)據(jù)它本身的管理、維護、和數(shù)據(jù)的應用對人的能力要求是不一樣的。未來集中化的數(shù)據(jù)維護和數(shù)據(jù)管理團隊更應該是IT背景，怎么把這個數(shù)據(jù)有效管好，并且做初步的預處理等等。但是真正的應用一定要放給業(yè)務人員，因為懂業(yè)務的人才能最好地應用這個數(shù)據(jù)。這里問題在于中間的界面，我們覺得未來數(shù)據(jù)一定要服務化，有三種模式，第一種，DaaS，數(shù)據(jù)就是服務，舉例來說，某個單位它需要數(shù)據(jù)，作為數(shù)據(jù)管理的團隊，我按你的要求把不同數(shù)據(jù)整合成個寬表給你，這就是DaaS的服務。第二種，PaaS，尤其外部數(shù)據(jù)服務的時候，有些數(shù)據(jù)沒有辦法離開數(shù)據(jù)平臺，王堅博士也說他們的數(shù)據(jù)盡管做了很多脫敏，但是給了第三方以后，開發(fā)者能夠從中發(fā)現(xiàn)很多有隱私的信息，所以實際上只有數(shù)據(jù)維度夠多，盡管你去掉了你認為是隱私的數(shù)據(jù)，最后還是能把用戶非常機密的信息挖掘出來。在這種條件之下我們來提供平臺，提供各種各樣數(shù)據(jù)分析挖掘的工具，你在我的平臺上用我的數(shù)據(jù)運行出你需要的結(jié)果，這是就PaaS，第三種是SaaS，比如出報告可以通過這種模式。同時，這個平臺應該高度的資助化和自動化，用戶在平臺上很容易獲取他要的數(shù)據(jù)集，把多個數(shù)據(jù)集整合在一起，申請他相應需要的服務，比如Hadoop、Spark或高級工具，最終實現(xiàn)它業(yè)務想要的結(jié)果。
　　第三，精細化的資源管理。這要實現(xiàn)多租戶支持，通過虛擬化的技術(shù)。我們現(xiàn)在非常關(guān)注容器技術(shù)，因為我們未來大數(shù)據(jù)系統(tǒng)必定是多任務并行運行的環(huán)境，在這種并行運行的環(huán)境我們必須對它資源進行有效的處理，把這個任務有效的調(diào)度，最大限度使用我這個平臺。所以我們要求未來一定要是個支持多租戶的環(huán)境。同時，冷熱數(shù)據(jù)要進行分級存儲，對一些不需要的數(shù)據(jù)，要把它放在低成本的存儲系統(tǒng)里，同時，對于這個系統(tǒng)要有一個系統(tǒng)老化的管理，就是有些長期不用的數(shù)據(jù)，或者這個數(shù)據(jù)需求很小，在系統(tǒng)內(nèi)部應該把它剔除掉。同時，網(wǎng)絡壓縮節(jié)省帶寬。
　　第四，高效的任務調(diào)度。我們要執(zhí)行并行計算框架，比如Spark是我們非常關(guān)心的新技術(shù)，Spark的確在高性能、要求實施性高這樣一些內(nèi)存類的計算里面非常有優(yōu)勢。但是我們還有一些面向離線批處理的，還有一些流式等等，各種各樣計算模式在平臺中都要去支持，適應各種不同的業(yè)務類型。同時，要支持標準SQL，給客戶更好的UI，支持傳統(tǒng)數(shù)據(jù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)工程師所習慣用的接口和工具。當然，我們希望在可視化上做工作，比如數(shù)據(jù)挖掘、ETL、流式處理的工具都可以實現(xiàn)拖拉拽，把常用的模型算法固化在里面，這樣對業(yè)務人員來說，他簡單配置就可以達到要形成的數(shù)據(jù)挖掘和分析的業(yè)務流程。
　　這是按照我們剛才的設(shè)想去做的一個系統(tǒng)架構(gòu)圖，蘇州研發(fā)中心現(xiàn)在基本實現(xiàn)這個系統(tǒng)，當然，很多地方還在不斷優(yōu)化，其實有很多問題，像安全問題，像源數(shù)據(jù)管理等等這樣的問題，我們希望跟業(yè)界共同探索，因為在業(yè)界是比較新的，需要不斷探索的技術(shù)領(lǐng)域。
　　在應用方面，我們跟上午聯(lián)通領(lǐng)導講到的比較類似，我們主要的應用，一方面包括網(wǎng)絡優(yōu)化，二是市場營銷，三是客戶體驗，同時我們現(xiàn)在開始探索一些外部大數(shù)據(jù)變現(xiàn)的服務。在這個過程當中中國移動不斷對大數(shù)據(jù)應用進行深入探索，包括像我們的垃圾短信，這是大數(shù)據(jù)應用的新領(lǐng)域，像騷擾電話一直困擾中國移動，怎么用大數(shù)據(jù)方法自動識別，如果我們用傳統(tǒng)手工的方式去解決的話，這個工作量太大。
　　下面從幾個案例分析來講，一方面跟大家分享中國移動和中國移動蘇州研發(fā)中心到底在做什么，第二方面是我們大數(shù)據(jù)目前有幾種比較典型的商業(yè)模式在去做。第一個，不良信息治理，中國移動很多年一直在做，每年315我們都很緊張，因為有幾年的315晚會上都點名我們的垃圾短信，其實中國移動在這方面投入很多工作，原來的方式都通過用戶行為識別、模式匹配，比如發(fā)垃圾短信的發(fā)送特點、頻率、時段以及號碼群體等等，這些都能夠體現(xiàn)出來他是個惡意用戶，他發(fā)的短信可能是垃圾短信，所以原來傳統(tǒng)方式是我們用行為匹配、用戶行為特征方式進行垃圾短信排除，但是這種做下來，每天有幾十萬上百萬無法識別的短信要到我們后臺人工去做。
　　中國移動在河南那邊有個安全的操作中心，他們很多人在人工去做這方面的事情，所以帶來一個需求，就是我怎么樣通過大數(shù)據(jù)的方式再進一步把無法識別的垃圾短信搜集出來，然后節(jié)省人工的工作量。蘇州研發(fā)中心配合集團公司的信息安全中心在做這個事情，它用了一些自然語言處理的方法，去對內(nèi)容進行分析，發(fā)現(xiàn)比如什么樣字段的組合在垃圾短信方面概率很高。當然，現(xiàn)在效果并不是很理解，比原來基礎(chǔ)之上再進一步濾掉百分之三四十垃圾短信的數(shù)據(jù)，但是剩下那些還需要人工去做。所以我們也在考慮結(jié)合文本的深度挖掘，未來結(jié)合語義的理解，就是我們怎么判斷垃圾短信，希望機器用同樣的方式進一步提高排查率，降低我們對人工方面的支出。
　　第二個案例是服裝行業(yè)的大數(shù)據(jù)解決方案，這是我們的一個數(shù)據(jù)挖掘工具，跟江蘇的時尚云公司，以及印度塔塔公司合作，由塔塔作為集成方，我們提供數(shù)據(jù)挖掘平臺，給服裝時尚云提供服務。服裝時尚云的數(shù)據(jù)是來自于比如政府，來自于它互聯(lián)網(wǎng)的收集，還有一些其他企業(yè)的渠道。它想做一個B2B的大數(shù)據(jù)服務，給一些服裝廠家提供市場需求、市場營銷方面的信息支持，同時它去分析一下比如原材料，還有時尚領(lǐng)域顏色、面料等元素的發(fā)展趨勢，這個它用得也是非常好，中國移動蘇州研發(fā)中心只提供個平臺。這個階段大家大數(shù)據(jù)的商業(yè)模式大部分是做軟件，我們從2015年工信部電信研究院發(fā)布的一個報告可以看得出來，現(xiàn)在大數(shù)據(jù)產(chǎn)業(yè)大概百分之三四十是軟件，所以現(xiàn)在這個商業(yè)模式是目前比較成熟的。
　　第三個案例是一個制造業(yè)的企業(yè)，就是三一重工，它比我們更是傳統(tǒng)行業(yè)，它的業(yè)務領(lǐng)域跟IT的距離更遠，我們在交流的過程中，他希望我們幫他托管數(shù)據(jù)，去做數(shù)據(jù)的分析，在未來工業(yè)大數(shù)據(jù)怎么去優(yōu)化工業(yè)提供一些幫助。他最初的訴求是，他數(shù)據(jù)原來存在Oracle數(shù)據(jù)庫里面，這個Oracle數(shù)據(jù)庫在處理大量數(shù)據(jù)時能力是不足的，比如政府希望三一重工調(diào)一下全國挖掘機開工的數(shù)據(jù)，這個數(shù)據(jù)某種意義上代表前一段時間中國房地產(chǎn)市場到底怎么樣，國家政府一直打個問號，統(tǒng)計局的數(shù)據(jù)有很多不可信，它希望從這方面拿到第一手的數(shù)據(jù)，但是三一重工現(xiàn)有的平臺無法處理這個東西。我們在自己的云計算平臺上，給它搭建這樣一個大數(shù)據(jù)系統(tǒng)，它把數(shù)據(jù)托管過來，未來我們能幫它做初步的數(shù)據(jù)統(tǒng)計。當然，后續(xù)我們還在探索如何進一步的去更緊密的合作，比如我?guī)退鐾诰驒C的運行狀況的統(tǒng)計和分析，比如油耗的分析和預警等等，通過大數(shù)據(jù)和傳統(tǒng)業(yè)務的結(jié)合，真正讓他實現(xiàn)業(yè)務的升級，這也是往工業(yè)4.0或者互聯(lián)網(wǎng)+前進的一步。在這種商業(yè)模式過程中，首先我是平臺的出租方，我們提供云計算的基礎(chǔ)設(shè)施，數(shù)據(jù)存儲和托管的基礎(chǔ)平臺，同時，在這個基礎(chǔ)之上我們?nèi)ヌ剿鳎绾卫梦覀兊膶I(yè)知識幫助它提高在業(yè)務方面的優(yōu)化，這也是我們在探討的商業(yè)模式。
?