NVIDIA AR SDK為直播、視頻會議和游戲開辟了創(chuàng)造性的新選擇。這個SDK允許開發(fā)者使用標準的網(wǎng)絡攝像頭對人臉進行實時3D追蹤,并創(chuàng)建各種有趣的的增強現(xiàn)實效果,如為人臉疊加3D數(shù)字內容或為背景添加沉浸式效果。
NVIDIA AR SDK正以公測版本向社區(qū)開放,并支持多項用例:
追蹤攝像頭視圖的人臉,并識別圖像中的一個或多個主體。
將數(shù)字asset疊加于個人,如服飾和效果。
通過臉部和頭部運動控制動畫角色或游戲角色。
NVIDIA AR SDK利用了NVIDIA RTX顯卡的Tensor內核,可通過AI網(wǎng)絡實現(xiàn)快速和高質量的追蹤性能。所述網(wǎng)絡可以提供精確的人臉追蹤;人臉形狀、嘴唇、眼睛、眉毛和鼻子的三自由度五官追蹤;以及六自由度的先進人臉網(wǎng)格(人臉和頭部姿態(tài)的3D重建)。
例如,用于OBS直播軟件的熱門插件StreamFX發(fā)布了一個全新的版本,其利用NVIDIA AR SDK創(chuàng)建了一個可以自動裁剪和放大用戶、并且在用戶移動時保持幀居中的智能camera。
StreamFX的開發(fā)者Michael Fabian 'Xaymar' Dirks表示:“StreamFX中的全新Face Tracking濾鏡需要復雜的數(shù)學和機器學習,而這原本需要以一系列的機器運行和花費數(shù)個月,甚至幾年的時間。但利用NVIDIA的AR SDK,現(xiàn)在可以在短時間內完成操作,并且可以支持因NVENC H.264編碼器而日漸流行的所有NVIDIA RTX硬件。這大大縮短了必要的開發(fā)時間,從原本數(shù)年的時間縮短到僅需兩周,而且沒有額外的成本。”
NVIDIA發(fā)布的NVIDIA CloudXR 1.0軟件開發(fā)套件將通過5G、Wi-Fi和其他高性能網(wǎng)絡,為增強現(xiàn)實、混合現(xiàn)實和虛擬現(xiàn)實內容(統(tǒng)稱擴展現(xiàn)實XR)帶來重大提升。
隨著5G網(wǎng)絡在全球的推廣,NVIDIA CloudXR正在為包括建筑和零售等許多行業(yè)帶來創(chuàng)新。通過從GPU驅動的邊緣服務器傳輸XR體驗,公司能夠將圖形密集型應用程序和內容的訪問擴展到移動端,讓遠程用戶也能享受沉浸式、響應式擴展現(xiàn)實體驗。
據(jù)艾媒咨詢統(tǒng)計,在疫情爆發(fā)前的2016至2019年,我國在線直播用戶規(guī)模就已呈現(xiàn)連年上升趨勢,2020年我國在線直播用戶規(guī)模預測將達到5.24億人。起于秀場、游戲的直播形式,如今已成為商家營銷的重要方式之一。各行各業(yè)都在聞風而動:化妝品、服裝、生活用品、零食…………
信息化互聯(lián)網(wǎng)時代,行業(yè)市場發(fā)生了巨大的變革,產(chǎn)品由傳統(tǒng)制造演變?yōu)橹悄芑⒒ヂ?lián)化、共享化、個性化,體驗化的趨勢。伴隨淘寶、抖音、快手等視頻直播電商平臺日漸成熟,實時互動、真實感強、互動率高的直播帶貨場景正贏得越來越多消費者的青睞,“萬物皆可播”正在變?yōu)楝F(xiàn)實,這將極大程度改變很多行業(yè)的傳統(tǒng)營銷模式。
隨著5G全息通訊網(wǎng)絡帶寬條件變化,5G全息應用市場將迎來爆發(fā),全息互動娛樂、全息會議、全息發(fā)布會等高端應用逐步向全息社交、全息通訊、全息導航、全息家庭應用等方向普及。微美全息(WIMI.US)計劃基于全息AI人臉識別技術和全息AI人臉換臉技術為核心技術,用多個技術創(chuàng)新的系統(tǒng)支持全息云平臺服務和5G通訊全息應用。
隨著5G商用時代的即將來到,令游戲以及直播行業(yè)有了新的機遇。5G帶來的底層變化更加喜人,比提升碼率和畫質更令人感到興奮。如果在直播中使用了超低時延,將會提升直播的互動過程,令直播內容更有價值。
當下,移動互聯(lián)網(wǎng)正以前所未有的態(tài)勢改變著我們的娛樂方式,而此次微美全息(WIMI.US)的AR+直播系統(tǒng),通過在直播中加入AR技術作為新的交互介質,很好的解決了場景化、互動化的問題。
立體展示、全息成像等酷炫技術越來越受到行業(yè)的青睞,傳統(tǒng)的展示手法已給觀眾造成了麻痹的審美疲勞,更多企業(yè)希望通過更加先進的高科技手段展示自己的產(chǎn)品,引起客戶的注意,提升自身市場占有率。
微美全息(WIMI.US)的AR+直播直播優(yōu)勢很顯而易見,可真實模擬任意場景,體現(xiàn)產(chǎn)品在不同真實環(huán)境中的使用請況;可以展現(xiàn)更為復雜的產(chǎn)品,讓受眾更為直觀了解產(chǎn)品的內部結構和產(chǎn)品細節(jié);突破人員限制,同時又可以鎖定人群進行直播精準投放,宣傳力度效應更廣;線上互動性更強,嘉賓與粉絲可在直播期間進行互動,并對他們的問題進行實時篩選作答;進行實時效果合成,直播結束即可獲得整套完成視頻,無需再進行后期剪輯,第一時間用于宣發(fā)。
微美全息(WIMI.US)依托自我成熟的視覺設計團隊基礎,深度開挖AR直播技術,正式上線AR直播業(yè)務,豐富自我的業(yè)務結構,為客戶提供更多服務,解決客戶問題,涵蓋多行業(yè)多領域。
微美全息(WIMI.US)AR+直播系統(tǒng),簡單來說就是通過AR全息科技,讓觀眾可裸眼觀看全息人物或場景在現(xiàn)實中的真實還原,身臨其境,用戶體驗可以用嘆為觀止來形容微美全息將全息技術與娛樂模式相結合,觀影者能夠成為電影/舞臺中的角色,介入影片/舞臺事先設置的環(huán)境與劇情,讓觀影者身臨其境般感受到自己就是電影/舞臺里的一份子,觀影者就是影片里的主角或是其中一員,并持續(xù)與影片/舞臺內容產(chǎn)生交互作用。
全息直播是展示的一個新的方式和發(fā)展方向,通過全息投影技術,參觀者不僅能看到清晰的圖像,而且是全方位、多角度的看到立體、逼真的圖像,結合原有的展示方式,充分的呈現(xiàn)了直播的內涵、細節(jié),更加激發(fā)了大眾接受新事物的積極性。
微美全息(WIMI.US)通過構建多角度拍攝實時建模系統(tǒng):對采集對象進行全維度的影像掃描,實時合成為立體模型。六度矩陣式光場系統(tǒng):多光源綜合運用,構建全息虛擬影像的成像場。雙眼視差智能增強系統(tǒng):采集過程中動態(tài)跟蹤對象軌跡并調整光線,保持雙眼差的均衡值。多圖像動態(tài)融合系統(tǒng):狹窄空間中的多維圖像廣角采集技術,應用于云視小型化全息棧倉。全息圖像高速處理算法:對圖像信息進行極速處理,并保證渲染效果,處理速率達10GB/秒。隱身聚酯光學顯像膜:全息成像關鍵構件,讓全息影像完美成像顯示。全息虛擬人物畫音重建技術:運用人骨骼動態(tài)捕捉,圖像實時渲染,語音識別技術,聲音模擬技術呈現(xiàn)虛擬人。全息云平臺:覆蓋全國的影像采集和還原,具有數(shù)據(jù)存儲、影像還原、全息社交屬性的交互平臺。微美通過以上系統(tǒng)組合構建起完整的5G全息通訊應用平臺,以支持各種線上終端和個人設備應用,同時拓展全息社交通訊、全息家庭互動、全息明星互動、全息在線教育、全息在線會議等各種主流5G全息應用。
VR/AR是新一代信息技術相互融合的產(chǎn)物,過去的VR/AR產(chǎn)品因為帶寬和延時的因素可以導致渲染能力不足、互動體驗不強和終端移動性差等痛點問題,一直是遏制行業(yè)發(fā)展的最大的一塊短板。高質量VR/AR業(yè)務對帶寬、時延要求非常高,例如對于VR來說,要達到非常好的用戶體驗,需要的帶寬要達到1000Mbps以上,延時要達到小于2ms的級別,而對于AR來說要達到不錯的用戶體驗也需要200Mbps帶寬以上和5ms以下的延時,這在4G時代是沒有辦法實現(xiàn)的,唯有5G能滿足這樣的高速傳輸能力。
5G時代,視頻流量將呈指數(shù)級增長,視頻化表達已是大勢所趨。但當前,我國媒體轉型與發(fā)展正面臨著發(fā)展瓶頸,主要表現(xiàn)在:低效率的視頻生產(chǎn)方式制約了傳統(tǒng)媒體向融媒體、智媒體轉型;海量化的視頻生產(chǎn)規(guī)模使內容審核更加復雜困難。
未來,AI和5G將作為一種底層能力,融入各行各業(yè),AI+5G的最終價值在于行業(yè)應用。當前,5G技術在主要垂直行業(yè)的全球市場潛在價值預計可達4.3萬億美元。那么,如何撬動4.3萬億美元的行業(yè)應用,AI或許才是幕后關鍵的推手。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
