一， 海量數據的運營壓力

　　無疑，無線互聯網終于迎來了屬于自己的春天：無線互聯網各種產品如雨后春筍般涌現，以手機QQ為代表的無線互聯網產品迅猛發展；同時，無線網民數也出現激增，據粗略估計，國內無線網民數已達3.5億。隨之而來的，是服務于不同產品的運營分析壓力和運營數據的暴發式增長。目前，無線BU日處理運營數據達10T，且涉及不同產品多維度復雜指標的分析運算，已經成為一頭當之無愧的大象。如何讓大象也能翩翩起舞，以最小的開發代價，實時準確地輸出多維度的運營數據，是無線BU數據平臺組需要解決的重要課題。

　　于是，以一頁式快速配置開發為基礎特點的海量數據云計算平臺就應運而生了。該平臺可覆蓋80%以上的統計指標，充分結合靈活性和通用性，最大程度為數據分析人員提高開發效率的同時，完成海量數據的分鐘級輸出。

二， 云計算平臺的創新歷程

 

圖表 1

　　如表一所示為業界通用的統計分布式解決方案。統計處理機到各業務機拖取日志，單獨編寫統計代碼處理原始日志和數據，將統計結果注入數據庫并展示。

　　優點：有利于完成定制化開發

　　缺點：通過編寫特定代碼完成統計開發的方式造成統計開發效率的低下、代碼質量難以保證。

　　在無線數據暴發式增長的情況下，這樣的技術架構已經難以支撐更高層次的運營分析。如何歸納提煉出通用性統計指標，復用代碼，做到一次開發，多次利用，迅速快捷獲得統計指標呢？模板化可配置的分布式運算平臺成為必然之路。因此，云計算平臺應運而生。

 

圖表 2

　　如圖表2所示，云計算平臺采集用戶通過配置頁面填入的自定義信息，將其轉變為xml文件，結合mapReduce計算模板，采用hadoop分布式運算技術，完成海量數據的可配置輸出。其特點有：

　　√ 一頁式配置開發，提升數據分析效率

 

圖表 3

　　如圖表3所示，經過簡單的配置，即可自動在數據庫中生成相應計算結果。省去了煩瑣的腳本編寫過程。

　　以某產品的基礎統計為例，神馬采集、日志db配置，各種復雜計算邏輯、sql，原有代碼為6千多行，至少需要2周左右的時間才能編寫完畢，給開發和維護都帶來嚴重的負擔。而通過如圖表3的配置，可全程通過配置實現零編碼統計需求。開發人員實現登錄用戶數/登錄次數/累計用戶/新增用戶/留存用戶/活躍用戶/有效用戶，開發時間僅為30分鐘左右，極大減輕開發人員的負擔。

　　√ 統計指標覆蓋面廣、擴展性強

 

圖表 4

　　如圖表4所示，云計算平臺涵蓋從常規指標、歷史累計指標到用戶健康度、用戶分析類等不同層次的各種統計指標，已形成可不斷擴充的統計指標體系。同時，統計維度還支持普通維度、cube/custom/rollup等復雜維度組合形式。

　　云計算平臺的統計指標覆蓋率可達80%以上。

　　√ 可維護性高

　　有BUG！影響了指標輸出！趕緊查問題吧！”這是統計分析人員經常碰到的場景。而現在有了云計算平臺，一切變得不一樣了！配置化的設計最大程度保證了代碼質量，降低了人為編寫代碼的出錯機率。有疑惑，檢查一下自己的配置，至少95%的錯誤就可得到解決！

　　√ 支持任意維度的組合計算

　　對任意維度（QQ號碼、IMEI、IP）等可任意組合計算，得到統計結果。以下統計指標，可以通過一次配置全部完成。（注：以下數值均為虛構）

 

圖表 5

　　√ 中間用戶級匯聚文件接口自動對接應用系統

　　做數據分析時，我們可能會碰到這樣的場景：計算出這個月的活躍用戶數，并且將用戶文件輸出，以用作發tips推廣用。在云計算平臺，這一切都可通過以上的配置實現，不需要多次開發。且所有中間文件直接通過TDW，對接TA等公司級應用系統，可供下一步的分析處理用。

　　√ 分布式并行計算，支撐海量數據的高效處理，統計結果可達分鐘級輸出

　　由多臺處理機并行處理，可支持線性擴容，海量日志時的運行速度不再是瓶頸！

 

圖表 6

　　如圖表6所示，在云計算平臺強有力的支撐下，每天T級(300億條記錄)的海量日志也可做到分鐘級的輸出?。ㄗⅲ阂陨蠑抵稻鶠樘摌嫞?br />

　　小結：云計算平臺通過高度抽像歸納業務邏輯進行封裝，形成通用計算模板，讓開發人員釋放出來做更有意義的統計分析，同時通過計算資源透明與共享，提高系統運算能力和可靠性，成為居家旅行殺人放火之必備良器。

三， 云計算平臺與運營平臺的緊密結合 

　　試想一下，我們做運營活動時，總希望能夠快速知道用戶對活動的反應情況，以便迅速調整運營方案，達到最佳的運營效果。

　　在某產品的運營活動中，產品人員想向用戶下發tips,以達到語音聊天的推廣目的。但在推廣過程中，產品人員有自己的困惑：在tips的接收人群中，有多少用戶受到了騷擾，有多少用戶有意愿使用語音聊天？我們的推廣策略是否需要進一步調整？不用擔心，有云計算平臺迅速為我們得到分析結果！

　　經過簡單的配置（耗時約20分鐘），即可得到如下的分析數據：

 

　　騷擾！嚴重的騷擾！于是產品人員立刻改變運營方式，改粗放式運營為精準運營，只針對特定版本的活躍用戶進行投放，被騷擾的用戶比例立刻下降至2%!運營活動獲得圓滿成功

　　每天近10T的數據被運營人員握在手心，隨時掌握第一手運營數據，還有什么不可能呢？

　　誰說大象不能跳舞？

---