大數據浪潮推動科技發(fā)展，從大數據1.0的BI/Datawarehouse時代，經歷過大數據2.0的Web/APP時代，屬于IOT的大數據3.0時代已然來臨。近日，Analysys易觀發(fā)布IOTA整體技術架構，為企業(yè)進行數字用戶分析和營銷貢獻了新工具。
早期大數據平臺利用Lambda數據架構，將收集來的數據在流式計算平臺和批量數據處理離線平臺進行計算，主要解決實時數據處理需求和批量離線處理需求。穩(wěn)定性高、成本可控且便于晚間閑時錯峰計算的Lambda架構支撐了起步時期的數據行業(yè)，但由于實時與批量計算結果不一致引起的數據口徑問題、ETL批量計算在計算窗口內無法完成、數據源變化后修改開發(fā)周期長、服務器存儲大等缺陷，后期的Lambda數據架構越來越無法適應飛速擴增的數據處理需求。
Lambda典型架構
在Lambda之后，Kappa架構成為主流，核心思想是通過改進流計算系統(tǒng)來解決數據全量處理的問題，使得實時計算和批處理過程使用同一套代碼，并且只有在必要的時候才會對歷史數據進行重復計算。雖然比起Lambda，Kappa結構能夠將實時和離線代碼統(tǒng)一起來，既方便維護又解決了數據口徑不一致問題，但其缺點也很明顯：流式處理對于歷史數據的高吞吐量力不從心，開發(fā)周期長，服務器成本浪費嚴重。
而在IOT大潮下，智能手機、PC、智能硬件設備的計算能力越來越強，而業(yè)務需求要求數據實時響應需求能力也越來越強，過去傳統(tǒng)的中心化、非實時化數據處理的思路已經不適應現(xiàn)在的大數據分析需求，Analysys易觀提出新一代的大數據IOTA架構來解決上述問題，整體思路是設定標準數據模型，通過邊緣計算技術把所有的計算過程分散在數據產生、“去ETL化”、計算和查詢過程當中，以統(tǒng)一的數據模型貫穿始終，從而提高整體的預算效率，同時滿足即時計算的需要，可以使用各種Ad-hoc Query來查詢底層數據：
凝聚了Analysys易觀團隊多年心血的IOTA架構，解決了傳統(tǒng)技術中ETL和相關開發(fā)的痛點，提高了整體數據分析效率;Ad-hoc即時查詢功能使用戶無需多等就能直接查詢到前幾秒發(fā)生的事件;邊緣計算技術解除了中央端集中處理的限制，將計算過程分散到數據產生、存儲和查詢端，同時確?？蛻舳藗魉蛿祿r能馬上進行反饋。
為了驗證IOTA架構，Analysys易觀也自主設計并實現(xiàn)了“秒算”引擎，目前支持易觀內部月活5.5億設備端同時進行計算。此外基于“秒算”引擎，Analysys易觀研發(fā)出了可以獨立部署在企業(yè)客戶內、進行數字用戶分析和營銷的“易觀方舟”精細化運營產品。
Analysys易觀認為，在大數據3.0時代，Lambda大數據架構已經無法滿足企業(yè)用戶日常大數據分析和精益運營的需要，去ETL化的IOTA大數據架構才是未來。Lambda大數據架構為大數據分析行業(yè)提供了創(chuàng)新思維和技術基礎，Analysys易觀以此為基礎，將繼續(xù)致力于互聯(lián)網企業(yè)的用戶與產品運營。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
10月29日至31日，以“組學與全球合作”為主題的第十六屆國際基因組學大會（ICG-16）在青島成功舉辦。
大數據隨著5G時代的到來，大數據應用得到迅速的發(fā)展，在電商行業(yè)、金融行業(yè)、生物技術等領域中得到了廣泛的應用。
很多貨主表示，在互聯(lián)網時代傳統(tǒng)的中間人找船模式效果不佳很不實用，有一些平臺推陳出新，利用大數據一鍵智能匹配幫助貨主快速找到了合適的船，海運在線平臺租船找貨業(yè)務就是通過數據化革新，逐漸被越來越多貨主熟知并被廣泛使用！
“客戶需求和市場環(huán)境復雜多變，傳統(tǒng)軟件開發(fā)難以助力企業(yè)競爭力提升。“2021大數據產業(yè)生態(tài)大會上，南京數睿數據科技有限公司副總裁李爭輝在接受中國軟件網記者的采訪時表示，“供需雙方的矛盾，直指當前軟件開發(fā)模式的弊端，開發(fā)流程冗雜僵化，門檻高、周期長、見效慢。急需要顛覆性的開發(fā)模式?！?/p>
數智轉型融合共生，7月28日-29日，為期兩天的“2021中國大數據產業(yè)生態(tài)大會”在北京成功舉辦。榮聯(lián)作為國內領先的數字化服務提供商，參加了本次大會。
把脈中國數據智能化
2023年，幾乎可以被定義為中國互聯(lián)網公司的“大模型元年”。ChatGPT的全球爆紅，徹底點燃國內的大模型賽道，曾經的“創(chuàng)業(yè)英雄”、如今的商業(yè)領袖們親自下場，接連發(fā)布生成式人工智能產品與大模型布局。大模型火了，沉寂許久的互聯(lián)網行業(yè)又有了新的“戰(zhàn)事”。同時，大模型的快速發(fā)展也改變了云市場的現(xiàn)狀，企業(yè)對
近日，數字化市場研究咨詢機構愛分析發(fā)布了《2022愛分析·數據智能廠商全景報告》，愛分析從技術研發(fā)能力、服務客戶數量、收入規(guī)模等維度對廠商進行了全面專業(yè)的評估
2022年11月18日,首個國家級大數據產業(yè)創(chuàng)新賽事——2022第一屆中國大數據大賽圓滿落幕。工業(yè)和信息化部信息技術發(fā)展司數字經濟推進處處長張建倫,中國電子技術標準化研究院副院長孫文龍出席頒獎典禮并致辭
2022年11月17日，在廈門市工業(yè)和信息化局的指導下，以“數據確權”為主題的2022數據資產(廈門)論壇在廈門成功舉辦。本次論壇以“數據確權”為主題，由廈門市互聯(lián)網域名應用服務產業(yè)協(xié)會和構信網(公信.中國)聯(lián)合主辦
近日，國內知名數字化市場研究咨詢機構愛分析正式發(fā)布《2022愛分析·信創(chuàng)廠商全景報告》(以下簡稱“報告”)。報告綜合考慮企業(yè)關注度、行業(yè)落地進展等因素，遴選出在信創(chuàng)市場中具備成熟解決方案和落地能力的廠商。
10月31日下午,由數博會執(zhí)委會主辦、數據觀(北京)傳媒科技有限公司承辦、貴陽大數據交易所協(xié)辦的第四期數博思享會“實踐先行觀公共數據價值與應用”活動成功舉辦。
近日，由中國國際數字經濟博覽會組委會主辦，中國電子技術標準化研究院、河北省工業(yè)和信息化廳承辦的“第一屆中國大數據大賽”(簡稱大數據大賽)正式啟動。
廣州光點信息科技有限公司自主研發(fā)的數據中臺產品GI大數據中臺V2.0產品是國內率先推出符合新創(chuàng)標準的中臺產品,基于“大數據+AI”等技術全新打造,集數據采集、融合、治理、服務、管理為一體的旗艦平臺。
廣州光點信息科技有限公司自主研發(fā)的數據中臺產品GI大數據中臺V2.0產品是國內率先推出符合新創(chuàng)標準的中臺產品,基于“大數據+AI”等技術全新打造,集數據采集、融合、治理、服務、管理為一體的旗艦平臺
