1/21/2016,“2016年將成為真正意義上的大數(shù)據(jù)元年!卑⒗镌拼髷(shù)據(jù)事業(yè)部資深總監(jiān)徐常亮表示,“這是一個(gè)人人都在談?wù)摯髷?shù)據(jù)的年代,但極少人正在使用,2016年情況將發(fā)生改變!
徐常亮講到“大數(shù)據(jù)元年”是在阿里云2016云棲大會(huì)上海峰會(huì)上。1月20日,阿里云在2016云棲大會(huì)上海峰會(huì)上宣布開放阿里巴巴十年的大數(shù)據(jù)能力,發(fā)布全球首個(gè)一站式大數(shù)據(jù)平臺(tái)“數(shù)加”。這一平臺(tái)承載了阿里云“普惠大數(shù)據(jù)”的理想,即讓全球任何一個(gè)企業(yè)、個(gè)人都能用上大數(shù)據(jù)。首批亮相的將有20款產(chǎn)品。
在輸出自身大數(shù)據(jù)能力的同時(shí),“數(shù)加”還向有數(shù)據(jù)開發(fā)能力的團(tuán)隊(duì)開放。這些團(tuán)隊(duì)可入駐“數(shù)加”,借助數(shù)加上的工具為各行各業(yè)提供數(shù)據(jù)服務(wù)!斑@就像在淘寶開店一樣,只是他們售賣的是專業(yè)能力!毙斐A帘硎,阿里云計(jì)劃用3年時(shí)間吸引1000家合作伙伴入駐,共同分享1萬(wàn)億的大數(shù)據(jù)蛋糕。
阿里云數(shù)加平臺(tái)
輸出阿里巴巴沉淀10年的數(shù)據(jù)能力
據(jù)IDC出版的數(shù)字世界研究報(bào)告顯示,2013年人類產(chǎn)生、復(fù)制和消費(fèi)的數(shù)據(jù)量達(dá)到4.4ZB。而到2020年,數(shù)據(jù)量將增長(zhǎng)10倍,達(dá)到44ZB。大數(shù)據(jù)已經(jīng)成為當(dāng)下人類最寶貴的財(cái)富。但全球真正享受大數(shù)據(jù)紅利的公司不足千分之一,人類已挖掘的數(shù)據(jù)財(cái)富更是不到百萬(wàn)分之一。
在過去的5年里,全球大數(shù)據(jù)計(jì)算性能實(shí)現(xiàn)了超過20倍的增長(zhǎng),100TB數(shù)據(jù)排序時(shí)間由8274秒縮短到377秒。“束縛大數(shù)據(jù)的技術(shù)瓶頸已經(jīng)被完全打破,數(shù)據(jù)將從企業(yè)的成本中心轉(zhuǎn)變?yōu)閮r(jià)值中心,2016年我們將迎來大數(shù)據(jù)應(yīng)用的全面落地!毙斐A琳f,通過數(shù)加平臺(tái),我們希望所有企業(yè)都能像阿里巴巴一樣更高效的使用大數(shù)據(jù)。
借助大數(shù)據(jù)技術(shù),阿里巴巴取得了巨大的商業(yè)成功。通過對(duì)電子商務(wù)平臺(tái)上的客戶行為進(jìn)行分析,誕生了螞蟻小貸、花唄、借唄;菜鳥網(wǎng)絡(luò)通過電子面單、物流云、菜鳥天地等數(shù)據(jù)產(chǎn)品,為快遞行業(yè)的升級(jí)提供技術(shù)方法。
在這些創(chuàng)新中,“數(shù)加”承載了阿里巴巴EB級(jí)別的數(shù)據(jù)加工計(jì)算,經(jīng)歷了上萬(wàn)名工程師的實(shí)戰(zhàn)檢驗(yàn)。大麥網(wǎng)是阿里云“數(shù)加”平臺(tái)的嘗鮮者。通過采用“數(shù)加”的推薦引擎,大麥網(wǎng)的研發(fā)成本從900人天降低到了30人天,效率提升了30倍。
首批集中發(fā)布20款產(chǎn)品
此次,“數(shù)加”平臺(tái)首批集中發(fā)布了20款產(chǎn)品,覆蓋數(shù)據(jù)采集、計(jì)算引擎、數(shù)據(jù)加工、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)應(yīng)用等數(shù)據(jù)生產(chǎn)全鏈條!斑@些技術(shù)至少領(lǐng)先業(yè)界三年”,徐常亮說。
大數(shù)據(jù)計(jì)算服務(wù)(MaxCompute)、分析型數(shù)據(jù)庫(kù)(Analytic DB)、流計(jì)算(StreamCompute)共同組成了底層強(qiáng)大的計(jì)算引擎,速度更快,成本更低。經(jīng)測(cè)算,自建Hadoop集群的成本是數(shù)加的1.5倍,國(guó)外計(jì)算廠商AWS 的EMR成本更是數(shù)加的5倍。
計(jì)算引擎之上,“數(shù)加”提供了最豐富的云端數(shù)據(jù)開發(fā)套件,包括數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、調(diào)度系統(tǒng)、數(shù)據(jù)管理、運(yùn)維視屏、數(shù)據(jù)質(zhì)量、任務(wù)監(jiān)控。
在數(shù)據(jù)分析方面,通過移動(dòng)數(shù)據(jù)分析(Mobile Analytics)產(chǎn)品,開發(fā)者可快速搭建日志采集、分析系統(tǒng);通過數(shù)加BI報(bào)表產(chǎn)品,3分鐘即可完成海量數(shù)據(jù)的分析報(bào)告;通過數(shù)據(jù)可視化產(chǎn)品DataV,一星期就能做出雙11同款大屏。
同時(shí),基于DataV,數(shù)加還發(fā)布了面向政府的行業(yè)應(yīng)用產(chǎn)品“郡縣圖治”。通過這款產(chǎn)品,縣長(zhǎng)可以在一個(gè)屏幕下統(tǒng)覽全縣各項(xiàng)經(jīng)濟(jì)民生數(shù)據(jù),為政府決策提供輔助。
對(duì)于時(shí)下大熱的機(jī)器學(xué)習(xí),數(shù)加更是提供了全面支持!皵(shù)加”發(fā)布的機(jī)器學(xué)習(xí)工具,可基于海量數(shù)據(jù)實(shí)現(xiàn)對(duì)用戶行為、行業(yè)走勢(shì)、天氣、交通等的預(yù)測(cè)。圖形化編程讓用戶無(wú)需編碼、只需用鼠標(biāo)拖拽標(biāo)準(zhǔn)化組件即可完成開發(fā)。產(chǎn)品還集成了阿里巴巴核心算法庫(kù),包括特征工程、大規(guī)模機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等。
為了能夠幫助開發(fā)者更快捷在應(yīng)用中集成大數(shù)據(jù)功能,“數(shù)加”同時(shí)提供了規(guī)則引擎、推薦引擎、文字識(shí)別、智能語(yǔ)音交互等數(shù)據(jù)應(yīng)用產(chǎn)品。
此外,行業(yè)的健康發(fā)展,自律很重要。徐常亮強(qiáng)調(diào),數(shù)據(jù)是客戶的寶貴資產(chǎn),任何云計(jì)算平臺(tái)都不能移作它用。阿里云將嚴(yán)格遵守去年7月份發(fā)起的《數(shù)據(jù)保護(hù)倡議書》,也希望全行業(yè)能夠自律,共同迎接大數(shù)據(jù)產(chǎn)業(yè)的爆發(fā)。