2021歐洲杯足球賽近日“姍姍來遲”，牽動了無數(shù)球迷的心。精彩的球賽視頻背后，令人意想不到的是AI技術(shù)正在重塑體育視頻產(chǎn)業(yè)的內(nèi)容生產(chǎn)方式。
在近期舉辦的國際計算機(jī)視覺與模式識別頂會CVPR 2021上，視頻理解領(lǐng)域最具影響力的International Challenge on Activity Recognition (ActivityNet) workshop旗下多個競賽公布榜單。競賽吸引了百度、阿里、字節(jié)跳動、騰訊、華為等知名企業(yè)和清華、北大、斯坦福、麻省理工學(xué)院、中科院等國內(nèi)外高校和機(jī)構(gòu)參與。其中，全球首個以足球比賽視頻的全方位理解為目標(biāo)的SoccerNet-v2足球視頻理解競賽中，百度研究院以絕對優(yōu)勢奪取了全部兩項(xiàng)任務(wù)的冠軍。
百度拿下全部兩項(xiàng)任務(wù)冠軍
本屆競賽所使用的 SoccerNet-v2數(shù)據(jù)集在足球理解領(lǐng)域規(guī)模最大，包括500場來自2014到2017年三個賽季的歐洲足球五大聯(lián)賽和歐洲冠軍聯(lián)賽的視頻，視頻總時長達(dá)到764小時，人工標(biāo)注達(dá)30萬個，成為國際AI團(tuán)隊(duì)間衡量足球視頻理解能力的重要標(biāo)準(zhǔn)。
雙任務(wù)項(xiàng)目奪冠 大幅提升基線平均mAP
本屆SoccerNet-v2競賽下設(shè)了事件定位(action spotting)和回放溯源(replay grounding)兩個任務(wù)。其中，事件定位(action spotting)是從足球比賽實(shí)況轉(zhuǎn)播視頻中找到一些關(guān)鍵事件并確定其發(fā)生的時刻。關(guān)鍵事件包括17個類別，涵蓋進(jìn)球、點(diǎn)球、任意球、紅牌、黃牌、角球等重要事件，以及犯規(guī)、越位、射正、射偏等人類也難以立刻分辨的事件。同時有一部分事件甚至并未被直接拍攝到，需要根據(jù)上下文來推測，這也是對視頻動作識別和事件檢測能力的一個挑戰(zhàn)。
回放溯源是(replay grounding)是把足球比賽轉(zhuǎn)播視頻中的回放片段和原始事件進(jìn)行匹配。在足球比賽視頻中一個精彩事件發(fā)生之后往往有多次回放，且回放和原始事件之間可能會相隔長達(dá)上百秒，拍攝視角也經(jīng)常不同，能否將回放片段和原始片段匹配是對超長距離視頻理解能力的一項(xiàng)考察。
百度研究院圖文轉(zhuǎn)視頻VidPress團(tuán)隊(duì)專注于算法研究和應(yīng)用創(chuàng)新，此次拿下兩項(xiàng)任務(wù)的冠軍，展現(xiàn)出了超群的技術(shù)實(shí)力。系統(tǒng)采用兩階段的方法，首先特征提取器提取足球視頻特征，再將提取出的特征作為第二階段具體任務(wù)模塊的輸入，進(jìn)行事件定位或者回放溯源。
事件定位和回放溯源的系統(tǒng)流程
在特征提取階段，團(tuán)隊(duì)認(rèn)為在足球視頻上微調(diào)過的特征提取器更有利于提升事件定位和回放溯源兩個下游任務(wù)的表現(xiàn)，因此在SoccerNetv2數(shù)據(jù)上微調(diào)了五種預(yù)訓(xùn)練的特征提取器模型：TPN、GTA、VTN、irCSN和I3D-Slow。這五種特征提取器模型均是最近年來視頻理解領(lǐng)域在分類任務(wù)上表現(xiàn)優(yōu)異的模型，在標(biāo)準(zhǔn)數(shù)據(jù)集Kinetics-400上的成績也名列前茅。
在五種特征提取器模型之上，團(tuán)隊(duì)也充分利用數(shù)據(jù)，設(shè)計了多種微調(diào)特征提取器模型的策略、開發(fā)了提取特征的新方法。得到每種特征提取器在足球視頻上提取的特征后，將五種特征連接起來并做了歸一化處理，使得優(yōu)化后的特征對足球比賽視頻具有強(qiáng)大表達(dá)能力，為后面的下游任務(wù)打下了堅(jiān)實(shí)基礎(chǔ)。
在事件定位和回放溯源階段采用了Transformer結(jié)構(gòu)。Transformer架構(gòu)的特點(diǎn)是更清晰、更標(biāo)準(zhǔn)化、模型容量大、擴(kuò)展性強(qiáng)，能適應(yīng)計算機(jī)視覺、自然語言等多種業(yè)務(wù)。Transformer結(jié)構(gòu)在這兩個任務(wù)中體現(xiàn)了對視覺語義特征的精確的時序處理能力，優(yōu)于基線算法中Siamese網(wǎng)絡(luò)的學(xué)習(xí)能力和訓(xùn)練速度。在訓(xùn)練過程中，事件定位采用了mix-up數(shù)據(jù)增強(qiáng)，更高效利用了訓(xùn)練數(shù)據(jù)、降低過擬合。在回放溯源的任務(wù)上，模型結(jié)構(gòu)的更換使得訓(xùn)練時間減少到原來的八分之一。
結(jié)合前述的視覺信息語義化特征，以及為新的任務(wù)訂制的Transformer結(jié)構(gòu)，百度研究院在競賽成績上取得了較大幅度的領(lǐng)先。在事件定位任務(wù)上，把基線的平均mAP由52.54%提升到74.84%，提高了22.3個百分點(diǎn)，是第二名提升的近兩倍;在回放溯源的任務(wù)上，把平均mAP由基線的40.75%提升到了71.90%，提高了31.15個百分點(diǎn)，比第二名63.91%的成績高出8個百分點(diǎn)。
技術(shù)“照進(jìn)”現(xiàn)實(shí)應(yīng)用 智能視頻生成工具應(yīng)運(yùn)而生
百度研究院之所以能夠在該項(xiàng)競賽中脫穎而出，離不開基于大規(guī)模視頻數(shù)據(jù)的算法能力技術(shù)積累。
該項(xiàng)技術(shù)有非常高的實(shí)用價值，可以大規(guī)模應(yīng)用于體育賽事視頻中，通過對全場比賽進(jìn)行智能識別，可以在不需要人工介入的條件下，精準(zhǔn)、實(shí)時地切分出進(jìn)球、射門、犯規(guī)等動作片段。
基于此項(xiàng)能力，團(tuán)隊(duì)開發(fā)出了一系列應(yīng)用工具并成功落地。
首先是行業(yè)領(lǐng)先的自定義足球精彩集錦生成工具。輸入球員后選定比賽場次，即可自動生成這個球員的精彩瞬間視頻集錦以及慢動作回放。目前這一系統(tǒng)已經(jīng)落地在百度百科400多個足球球員和球隊(duì)頁面。
輸入球員名稱+比賽名稱，生成該球員的視頻集錦
其次，將文本語義理解與視頻圖像理解貫通，團(tuán)隊(duì)還搭建了足球圖文戰(zhàn)報一鍵轉(zhuǎn)換視頻平臺。輸入文字直播內(nèi)容或者直播間地址，就能智能聚合生成對應(yīng)的視頻內(nèi)容，提高了戰(zhàn)報的生成效率和可讀性。
根據(jù)文字直播內(nèi)容智能生成對應(yīng)的片段視頻
此外，團(tuán)隊(duì)還建立了基于圖像場景識別的智能視頻生產(chǎn)線，該生產(chǎn)線可以快速理解上傳的長視頻，檢測是否有進(jìn)球、精準(zhǔn)定位視頻中的進(jìn)球瞬間，并完成自動剪輯。
上傳一段比賽視頻，自動識別生成進(jìn)球片段
基于在智能視頻技術(shù)上的不斷創(chuàng)新和積累，百度研究院在2020年初孵化推出了智能圖文轉(zhuǎn)視頻工具VidPress，是業(yè)界首個支撐通用型、大規(guī)模的全自動視頻生產(chǎn)技術(shù)。VidPress能夠支持圖文鏈接一鍵導(dǎo)入，自動自動實(shí)現(xiàn)配音、字幕、畫面的視頻內(nèi)容生產(chǎn)，降低素材搜集、整理、匹配的時間成本。目前VidPress已作為百度大腦智能創(chuàng)作平臺中的核心能力，為人民日報等多家媒體機(jī)構(gòu)的智能視頻生產(chǎn)賦能;為秒懂百科智能生成上千條球員精彩瞬間視頻;為百家號和好看視頻等平臺的終端用戶提供一鍵視頻生成服務(wù)。百度大腦智能創(chuàng)作平臺基于自然語言處理、知識圖譜、視覺、語音的整合技術(shù)能力，為創(chuàng)作者提供多項(xiàng)能力，助力新聞生產(chǎn)的策、采、編、審、發(fā)全流程，全面提升內(nèi)容生產(chǎn)效率。
全視頻時代到來，各行各業(yè)對視頻的應(yīng)用、體驗(yàn)和效能都提出了全新升級需求，智能視頻變化趨勢背后的驅(qū)動力少不了AI的身影。無論是足球比賽視頻，還是其他內(nèi)容豐富、形式多樣的視頻內(nèi)容，未來百度也將持續(xù)在相關(guān)領(lǐng)域的技術(shù)上不斷突破迭代，并持續(xù)賦能應(yīng)用與產(chǎn)品落地，為視頻行業(yè)的發(fā)展與變革注入充足動力。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
