開源與閉源的融合有利于構建大數據分析生態
但目前B2B數據分析整個市場總量還很小,而且對數據分析的要求更高。因為單一平臺不能解決大數據的所有問題,這也有了開源與閉源技術的混合需求,構建大數據分析的生態系統,在IoT數據大量爆發的時代為各行各業提供對應的分析能力。
IoT數據分析需要7大支撐
IoT的快速發展讓數據分析也要更進一步,因為IoT的數據量是傳統數據的100倍,這就需要強大可擴展的數據平臺來存儲和處理這些數據;IoT的地理空間數據比例非常大,需要擁有先進的地理空間分析能力;IoT中有大量基于時間序列的時間數據需要分析,傳統SQL并不善于處理。
數據量、地理空間數據、時間序列數據三方面都是IoT數據相比于傳統數據的不同之處。Teradata天睿公司技術官寶立明提到,隨著IoT數據的可分析也標志著我們已經真的進入了“萬物皆可分析”的時代,通過傳感器采集到的數據終于可以發揮其價值。
構建大數據分析生態實現開源與閉源的融合
其實在2015年TeradataPartners大會上,Teradata就提出了“萬物皆可分析”的概念。但基于傳感器的數據應用更多集中在制造業層面,所以Teradata的一個業務重點便是要向制造業轉移。當然萬物皆可分析也包含了來自各行各業的數據,如電信行業收集手機的地理位置信息,醫療行業醫療設備收集的身體指標數據等等。
在Teradata提供的產品中對于IoT數據的分析可以分為七類,、TeradataListener框架,以實時的方式把海量的數據導入到Teradata系統;第二、利用RESTfulAPI實現各種技術平臺的對接;第三、可靠、高可伸縮的數據傳輸技術;第四、存儲技術;第五、可兼容技術;第六、壓縮技術;第七、即將推出TeradataIntelliFlex一體機產品,采用下一代海量并行處理(MPP)架構,能以非常高的經濟性,有效地進行海量數據的處理。
除了剛剛說到的七部分,Teradata實現萬物皆可分析的基礎還是統一數據架構(UDA),其結合了Teradata的技術、開源技術、數據湖等技術。
“我們可以將數據先放到數據湖中存儲,經過Aster進一步處理,導入到數據倉庫為BI使用。”寶立明說道,UDA中的Aster是一個非常適合處理傳感器數據的平臺,而且已經被移植到Hadoop上,既可以在文件系統上去執行,也可以在開源的數據庫上應用。
從跳高演變看技術整合
正如UDA的架構,開源和閉源已經實現融合,而這在之前是不可想象的。寶立明用跳高姿勢的演變舉例,在之前跳高的姿勢都是剪刀腿,而到了80年代跳高遇到了一個轉型期,背越式的出現比剪刀腿能取得更好的成績。
這也使得越來越多的選手開始采用背越式,當然選手可以依然待在安全區,但你終不會成為贏家。通過12年的發展背越式完全取代了剪刀腿,這就如同采用新技術也是一個痛苦的過程一樣,企業需要實現商業技術和開源技術的整合。
在15年前,Teradata就已經把數據庫產品跑在Unix、Linux開源的版本之上,一直到今天也是如此。
在UDA的組合中不僅有開源Hadoop,寶立明還特別提到同Facebook合作研發的開源分布式SQL查詢引擎Presto,以及運行在Presto上面的QueryGrid,其可以在Hadoop平臺發起并完成跨平臺查詢,所以UDA已經是一個商業技術和開源技術融合的開放架構。
同時Teradata也為機器學習提供一個具有高可延展性的大數據平臺,把機器學習的算法,像R、Ruby內嵌到平臺之上,供Teradata的數據科學家做各種各樣的實驗和探索,更好地找到一些成熟可商用的技術,整合到解決方案中。
在云計算戰略上,為了和企業的應用趨勢匹配,數據分析的重心也正在向云中轉移,尤其是現在企業的業務系統逐漸前移到云端,分析也將轉移到云端。
Teradata的原則是給客戶提供同類佳技術的選擇,AWS是目前宣布的家公有云合作伙伴,未來在MicrosoftAzure、谷歌云上都會提供服務,目標是在不同云平臺上都可以提供同樣的數據分析能力。

智能制造網APP
智能制造網手機站
智能制造網小程序
智能制造網官微
智能制造網服務號











智能控制
機器人
儀器儀表
物聯網
3D打印
工業軟件

回放




浙公網安備 33010602000006號
智能制造網APP
智能制造網小程序
微信公眾號


