當(dāng)前位置:首頁(yè) >  科技 >  移動(dòng)互聯(lián) >  正文

多場(chǎng)景實(shí)時(shí)音視頻通信激增背后,RTC 技術(shù)大爆發(fā)

 2021-04-23 11:11  來(lái)源: 互聯(lián)網(wǎng)   我來(lái)投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過(guò)

音視頻社交軟件 Clubhouse 的估值較 3 個(gè)月前又翻了兩番。當(dāng)?shù)貢r(shí)間 4 月 19 日,Clubhouse 宣布完成 C 輪融資,估值已達(dá) 40 億美元。

而這只是實(shí)時(shí)音視頻通信大爆發(fā)中的冰山一角。

在馬斯克“直播帶貨”的催化下,越來(lái)越多的語(yǔ)聊房產(chǎn)品出現(xiàn),F(xiàn)acebook 也被爆出即將推出 Clubhouse 同類競(jìng)品。不僅如此,在線辦公、在線教育、泛娛樂(lè)場(chǎng)景中對(duì)實(shí)時(shí)音視頻的需求也在激增。

得益于 5G、RTC 等技術(shù)的發(fā)展,一間語(yǔ)聊房、或是活動(dòng)直播間、在線課堂等都可以快速完成搭建并發(fā)布,進(jìn)一步刺激實(shí)時(shí)音視頻市場(chǎng)。以融云實(shí)時(shí)音視頻服務(wù)為例,開(kāi)發(fā)者只需三步,就可以在 30 分鐘內(nèi)快速集成音視頻能力:

l 第一步,申請(qǐng)開(kāi)發(fā)者注冊(cè),官網(wǎng)會(huì)發(fā)送 App key 等信息,下載 SDK。這一步驟通常十分鐘內(nèi)可以完成。

l 將下載好的 SDK 集成到自己的開(kāi)發(fā)工具里,初始化 SDK,然后加入房間。初始化 SDK 可幫助初始化設(shè)備、音視頻相關(guān)參數(shù)等。

l 發(fā)布自己的音視頻流和訂閱別人的音視頻流。

5G 時(shí)代需要更便捷的 RTC 技術(shù)服務(wù)

為何市場(chǎng)需要快速集成實(shí)時(shí)音視頻的能力?

一方面,在 5G 的作用下,許多傳統(tǒng)互聯(lián)網(wǎng)場(chǎng)景中正在嵌入實(shí)時(shí)音視頻功能。另一方面,專注應(yīng)用層面的廠商需要以最小的成本,最快的速度上線功能,以支撐產(chǎn)品的發(fā)布和運(yùn)營(yíng)。

融云 CTO 任杰認(rèn)為,5G 給 RTC 市場(chǎng)帶來(lái)兩大方面的變化。

一是 5G 的寬帶和延時(shí)有較大提升,所以未來(lái)高清的、低延遲的音視頻通話將會(huì)成為主流。在 4G 網(wǎng)絡(luò)之下,實(shí)時(shí)音視頻通話主流的為 720p,1080p 穩(wěn)定性略有不足。而在 5G來(lái)臨之后 ,1080p 甚至是更高清的 4K、8K 通話場(chǎng)景會(huì)普遍增加。

二是增加各種物聯(lián)網(wǎng)設(shè)備接入。此前 RTC 實(shí)時(shí)音視頻領(lǐng)域中,主要是移動(dòng)端、PC 端應(yīng)用。其他物聯(lián)網(wǎng)設(shè)備如車機(jī)、攝像頭、大屏設(shè)備等接入較少。任杰認(rèn)為,在 5G 到來(lái)之后,各種物聯(lián)網(wǎng)設(shè)備的接入場(chǎng)景也會(huì)增加。從技術(shù)層面看,5G 解決延遲問(wèn)題之后,大量設(shè)備都可接入,許多實(shí)時(shí)操作系統(tǒng) ATOS ,以及 Linux 在 RTC 領(lǐng)域的應(yīng)用場(chǎng)景也會(huì)變得更加主流。

5G 的到來(lái)孕育了許多新生的實(shí)時(shí)音視頻應(yīng)用場(chǎng)景,這也意味著,RTC 技術(shù)服務(wù)商需要提供更好的支持。

“我們無(wú)論何時(shí)何地都 能提供高清、穩(wěn)定、流暢的音視頻體驗(yàn)。” 任杰總結(jié),RTC 領(lǐng)域相關(guān)技術(shù)很多,但融云的業(yè)務(wù)目標(biāo)僅此一個(gè)。當(dāng)然,在呈現(xiàn)給用戶優(yōu)質(zhì)的音視頻體驗(yàn)背后,融云會(huì)去解決網(wǎng)絡(luò)帶寬限制、音視頻處理等等技術(shù)問(wèn)題。

RTC 技術(shù)服務(wù)商在做什么?

在高清、穩(wěn)定、流暢的音視頻服務(wù),以及“30 分鐘快速集成”背后,RTC 技術(shù)服務(wù)商要做的工作很多。

通常,RTC 技術(shù)棧可以分為兩方面:端上的處理和 server 端的處理。

端上的處理,主要為聲音和視頻的編解碼。編解碼完成后會(huì)進(jìn)行系列聲音和視頻的前處理,前處理包括回聲、降噪,嘯叫抑制,聲音增益,3A 算法等。server 端類似端上處理技術(shù),如錄音錄像等,但更側(cè)重傳輸層面,如網(wǎng)絡(luò)的優(yōu)化等。

網(wǎng)絡(luò)優(yōu)化又可以分成兩大部分:對(duì)抗弱網(wǎng),分布式網(wǎng)絡(luò)和調(diào)度。無(wú)論是5G、4G 還是 WiFi,只要是無(wú)線信號(hào),都會(huì)遇到信號(hào)遮擋、衰減的問(wèn)題,表現(xiàn)為網(wǎng)絡(luò)不太穩(wěn)定,經(jīng)常在瞬時(shí)的丟包會(huì)比較大,延遲也可能會(huì)突然變大。

另外,端點(diǎn)設(shè)備接入網(wǎng)絡(luò)路由之后,在兩個(gè)端或是多個(gè)端之間進(jìn)行實(shí)時(shí)音視頻流的傳輸,需要經(jīng)過(guò)多個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)。那么哪一套路徑能讓端點(diǎn)更好地接入,使傳輸流更穩(wěn)定,便是網(wǎng)絡(luò)路由的策略,也是分布式網(wǎng)絡(luò)與調(diào)度要解決的問(wèn)題。

對(duì)于這些問(wèn)題,融云從以下三方面做了優(yōu)化:

第一,弱網(wǎng)對(duì)抗相關(guān)算法的優(yōu)化,包括重新定義一些算法,對(duì)隨機(jī)丟包和帶寬受限,要嚴(yán)格區(qū)分并且能夠快速反應(yīng)等。

第二,動(dòng)態(tài)路由策略方面,融云會(huì)做一些提前探測(cè),動(dòng)態(tài)檢查鏈路。大概可在3~4秒之內(nèi)發(fā)現(xiàn)鏈路變壞的情況,并立即重新調(diào)度,包括服務(wù)端、負(fù)載的一些調(diào)度,即分布式部署。

第三,全球網(wǎng)絡(luò)的部署,融云音視頻使用大量 IaaS,也和全球的一些機(jī)房合作,盡可能多地部署節(jié)點(diǎn)。同時(shí)對(duì)這些節(jié)點(diǎn)的狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控、擴(kuò)容、增加節(jié)點(diǎn)等。后臺(tái)也有音視頻質(zhì)量的 QoE 系統(tǒng)監(jiān)控整個(gè)的網(wǎng)絡(luò),實(shí)時(shí)進(jìn)行調(diào)優(yōu)。

做開(kāi)發(fā)者的支持方,而非競(jìng)爭(zhēng)對(duì)手

“我們是 PaaS 提供方,會(huì)向上做 aPaaS,但不會(huì)直接做 to c 的產(chǎn)品”,任杰表示,只要復(fù)用程度較高,融云就會(huì)考慮將其向上封裝,幫助開(kāi)發(fā)者的使用更加貼近場(chǎng)景化,但融云始終是面向開(kāi)發(fā)者服務(wù),因此不會(huì)做 to c 產(chǎn)品,和開(kāi)發(fā)者客戶形成競(jìng)爭(zhēng)關(guān)系。

以語(yǔ)聊房為例,融云為語(yǔ)聊房應(yīng)用提供的支持集中在技術(shù)層面,使其呈現(xiàn)出的聲音效果更好。

在開(kāi)發(fā)者花了 30 分鐘快速集成一個(gè)語(yǔ)聊房應(yīng)用之后,融云還會(huì)再根據(jù)業(yè)務(wù)場(chǎng)景做 SDK 調(diào)用和開(kāi)發(fā),以便開(kāi)發(fā)者可以更快速地實(shí)現(xiàn)使用混音、添加背景音樂(lè)、麥位管理、網(wǎng)絡(luò)信號(hào)展示等各種功能。

一是語(yǔ)聊房中麥位的相關(guān)控制。任杰表示,麥位支持依靠信令管理,因?yàn)橛卸嗄?IM 領(lǐng)域的積累,信令是融云的傳統(tǒng)優(yōu)勢(shì),并且在語(yǔ)聊房方面融云也有一套完整的技術(shù)支持,可以更容易、更輕松地完成麥位管理。二是實(shí)時(shí)音視頻中聲音的相關(guān)處理,包括美聲、變聲,各種音效,混音之后的聲音效果等等。

任杰指出,由于 RTC 領(lǐng)域涉及到許多具體的音視頻概念,以及音視頻相關(guān)的質(zhì)量控制,開(kāi)發(fā)環(huán)境有一定復(fù)雜度。SDK 本身越場(chǎng)景化,就會(huì)越容易集成,因?yàn)檫@對(duì)于開(kāi)發(fā)者來(lái)說(shuō)是隱藏技術(shù)細(xì)節(jié)的,所以大家提出應(yīng)該往 SaaS 化方向發(fā)展。

“在一定程度上我非常同意。對(duì)于我們 PaaS 能力的提供方 ,也最希望降低開(kāi)發(fā)者成本,所以我們也在往上做,往 SaaS 和 PaaS 之間,做 aPaaS 能力。 比如我們?cè)谔峁┮粢曨l能力之外,也提供 MeetingLib 整套的控制信令體系,和音視頻流的一些操作直接相關(guān)。 ”

此時(shí)開(kāi)發(fā)者使用這種 SDK,就無(wú)需太關(guān)注音視頻流的一些處理。比如需要禁麥時(shí),就在MeetingLib里通過(guò)一個(gè)標(biāo)準(zhǔn)接口操作。反之,如果沒(méi)有MeetingLib,開(kāi)發(fā)者也可以用RTCLib自己做,但是就需要自己在應(yīng)用側(cè)發(fā)禁令,或者調(diào)用 IM 能力去給每個(gè)人發(fā)禁令,禁掉每個(gè)人的麥克風(fēng)。

“所以我們往上做一層,開(kāi)發(fā)者就不用關(guān)注每一道具體流程,每一個(gè)用戶的狀態(tài)。”任杰表示,這就是他們目前正在做的。

此外,在客戶支持層面,融云也總結(jié)出最需要支持的兩類問(wèn)題。

一類是 SDK 接入,即開(kāi)發(fā)集成相關(guān)問(wèn)題。任杰透露,客戶一般會(huì)先看文檔,或者是融云提供服務(wù)的支持體系,工單、支持群,以這種方式去幫助客戶完成集成工作。但由于大多數(shù)開(kāi)發(fā)者對(duì)音視頻技術(shù)棧較為陌生,在遇到一些非通用的具體開(kāi)發(fā)概念時(shí)會(huì)有難處。

對(duì)此,融云會(huì)在相關(guān)文檔中提供概要性說(shuō)明,如編碼、幀率、碼率等基本概念的說(shuō)明等。此外還有一些程序性說(shuō)明,詳細(xì)描述 SDK 集成流程;提供 quick demo 以輔助開(kāi)發(fā)者快速使用和集成。

另一類則是質(zhì)量相關(guān)的支持。因?yàn)橐粢曨l在實(shí)時(shí)通話過(guò)程中受網(wǎng)絡(luò)影響相對(duì)較大,端點(diǎn)網(wǎng)絡(luò)可能出現(xiàn)問(wèn)題。“在這個(gè)過(guò)程中可能需要排查一系列的問(wèn)題,我們也有自助平臺(tái)——北極星。”任杰稱,北極星本質(zhì)上是音視頻的一套 QoE 體系。這套體系會(huì)記錄每一通通話;全部過(guò)程中音視頻流的傳輸情況,包括傳輸?shù)拇a率,卡頓率,是否有黑屏等系列數(shù)據(jù)指標(biāo),數(shù)據(jù)曲線;開(kāi)發(fā)者也可以在平臺(tái)上自助查詢通話質(zhì)量,統(tǒng)計(jì)指標(biāo)等。

下一代 RTC 市場(chǎng)

作為 RTC 市場(chǎng)技術(shù)服務(wù)商,融云最近正在做更新鮮的嘗試。

5G 催生了更多 VR 應(yīng)用,很快,VR 直播應(yīng)用也會(huì)到來(lái)。融云已和 VR 行業(yè)多家企業(yè)達(dá)成合作,目前為其提供遠(yuǎn)程維修、技術(shù)指導(dǎo)等服務(wù)。“隨著 5G 的推廣,娛樂(lè)業(yè)真正大規(guī)模的 to C 場(chǎng)景會(huì)逐漸出現(xiàn)。”

泛娛樂(lè)應(yīng)用是下一代 RTC 應(yīng)用的一大場(chǎng)景,除了正在爆發(fā)的語(yǔ)音房之外,還有直播、狼人殺、劇本殺、KTV 等等,以及不久的將來(lái)與 VR 融合的新場(chǎng)景。

此外還有辦公類應(yīng)用,包括會(huì)議場(chǎng)景,監(jiān)控場(chǎng)景等。任杰舉例,比如在公安、保安,應(yīng)急指揮工作的監(jiān)控場(chǎng)景中,也會(huì)涉及到一些設(shè)備的接入,包括 GB28181 的支持,SIP 的支持等等。在線教育場(chǎng)景中也涉及到許多細(xì)分應(yīng)用,如小班課、大班課、大直播、雙師等等。

近期,為了更好的賦能開(kāi)發(fā)者探索更多新鮮應(yīng)用,融云還發(fā)起 20 萬(wàn)分鐘免費(fèi)音視頻通享活動(dòng)。凡是開(kāi)通實(shí)時(shí)音視頻功能的用戶,立享每月免費(fèi)200,000分鐘,視頻最高可支持1080P 超高清分辨率。

在 RTC 應(yīng)用爆發(fā)的當(dāng)下,融云作為通信云領(lǐng)域引領(lǐng)者,結(jié)合多年 IM 領(lǐng)域能力,已經(jīng)可提供覆蓋全通訊場(chǎng)景的技術(shù)服務(wù)。

任杰表示,融云的優(yōu)勢(shì)來(lái)自多方面:融云是公有云的 PaaS 提供方,IM 也做了很多年,而 99% 以上的 RTC 場(chǎng)景中都會(huì)用到 IM 相關(guān)能力,二者結(jié)合,融云會(huì)有很大的優(yōu)勢(shì);此外,融云擁有非常專業(yè)的大規(guī)模團(tuán)隊(duì),并且在音視頻技術(shù)上大力投入,不斷迭代技術(shù)。“我們一家服務(wù)商可以通過(guò)‘RTC+IM+PUSH’的整合通信能力,以一套SDK覆蓋所有通信場(chǎng)景,只要找我們?nèi)谠埔患揖涂梢酝瓿蛇@件事。”

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)標(biāo)簽
云通信
社交軟件

相關(guān)文章

熱門排行

信息推薦