視覺常識推理VCR (Visual Commonsense Reasoning )是人工智能領(lǐng)域的前沿?zé)狳c問題，我國《新一代人工智能發(fā)展規(guī)劃》中也將從處理類型單一的數(shù)據(jù)到跨媒體認(rèn)知、學(xué)習(xí)和推理的“跨媒體智能”納入五大智能方向。

　　近日，騰訊微視視頻理解團(tuán)隊在多模態(tài)理解領(lǐng)域最權(quán)威排行榜之一VCR任務(wù)中榮登榜首。該團(tuán)隊提出的BLENDer(BimodaL ENcoDer)模型超越百度、谷歌、微軟、Facebook等多家研究機(jī)構(gòu)的模型效果，一舉成為單、多模型的三項指標(biāo)第一，值得注意的是，BLENDer僅憑單模型效果便超越了此前榜單上的多模型最好效果，賦予了機(jī)器更強(qiáng)大的理解和認(rèn)知能力，并深度應(yīng)用到短視頻領(lǐng)域。

　　趕超百度、谷歌等，騰訊微視AI團(tuán)隊登頂VCR榜首

　　VisualCommonsense Reasoning (VCR)任務(wù)于2018年由華盛頓大學(xué)的研究人員首次提出，任務(wù)旨在將圖像和自然語言理解二者結(jié)合，驗證多模態(tài)模型高階認(rèn)知和常識推理的能力，讓機(jī)器擁有“看圖說話”的能力, 例如VCR能夠通過圖片中人物的行為，進(jìn)一步推理出其動機(jī)、情緒等信息。VCR榜單是多模態(tài)理解領(lǐng)域最權(quán)威的排行榜之一，也是當(dāng)前圖像理解和多模態(tài)領(lǐng)域?qū)哟巫钌睢㈤T檻最高的任務(wù)之一，吸引了微軟、谷歌、Facebook、百度、UCLA等國內(nèi)外公司和研究機(jī)構(gòu)紛紛參與。

　　此次拔得頭籌的單模型BLENDer來自于騰訊微視視頻理解團(tuán)隊，超越上一屆榜首百度團(tuán)隊的多模態(tài)預(yù)訓(xùn)練模型 ERNIE-ViL-large成為新的VCR榜單霸主。

　　據(jù)相關(guān)負(fù)責(zé)人介紹，BLENDer模型已經(jīng)應(yīng)用到騰訊微視產(chǎn)品中，賦予了平臺更強(qiáng)大的認(rèn)知能力，使得包含文本、音頻、視頻等多種媒體信息在內(nèi)的短視頻內(nèi)容，能夠更好的做到分類和識別，更加精準(zhǔn)理解和挖掘這些海量的跨媒體信息。例如當(dāng)騰訊微視用戶創(chuàng)作視頻后平臺可識別內(nèi)容并精準(zhǔn)推薦適合的話題，也能根據(jù)內(nèi)容屬性快速推薦給感興趣的用戶，增強(qiáng)創(chuàng)作內(nèi)容的曝光。

　　騰訊微視視頻理解團(tuán)隊提出的單模型BLENDer，是基于前沿的視覺語言Bert模型，將整個學(xué)習(xí)過程分成三個階段，最終將任務(wù)的三項問答準(zhǔn)確率一舉提高到了81.6, 86.4, 70.8的水平，僅是BLENDer單模型上的表現(xiàn)已經(jīng)超過此前各業(yè)界公司和研究機(jī)構(gòu)的多模型融合效果。

　　在BLENDer模型中，第一階段以NLP中的Bert模型為起點，結(jié)合海量數(shù)據(jù)中抽取得到的數(shù)百萬張圖片和對應(yīng)描述文本作為BLENDer的輸入進(jìn)行多模態(tài)訓(xùn)練;第二階段，在視覺常識推理數(shù)據(jù)集上學(xué)習(xí)電影中的場景和情節(jié)，使模型在新數(shù)據(jù)上獲得更好的遷移能力;第三階段，引入最終問答任務(wù)，讓BLENDer利用已有的知識和常識對現(xiàn)有問題進(jìn)行人物-人物、人物-場景之間關(guān)系的挖掘和關(guān)聯(lián)進(jìn)行推理，得到最終的答案。

　　騰訊微視將人工智能技術(shù)賦能短視頻

　　一直以來，騰訊微視高度關(guān)注技術(shù)研發(fā)，騰訊微視視頻理解團(tuán)隊更是長期深耕多模態(tài)語義理解領(lǐng)域，持續(xù)進(jìn)行技術(shù)突破和落地，將相關(guān)技術(shù)應(yīng)用在海量圖像、視頻、文本等跨媒體信息的認(rèn)知推理中。

　　同時，騰訊微視團(tuán)隊也不斷從業(yè)務(wù)出發(fā)探索前沿領(lǐng)域，并將人工智能技術(shù)應(yīng)用到短視頻生態(tài)中，貫穿內(nèi)容創(chuàng)作、內(nèi)容審核以及內(nèi)容分發(fā)的各個環(huán)節(jié)。

　　在內(nèi)容創(chuàng)作環(huán)節(jié)，騰訊微視將3D人臉、人體、GAN等AI技術(shù)結(jié)合AR技術(shù)輔助用戶進(jìn)行內(nèi)容創(chuàng)作，讓創(chuàng)作過程更加便捷、有趣和普惠;在視頻審核環(huán)節(jié)，騰訊微視借助圖像檢測、分類、多模態(tài)理解等AI技術(shù)精準(zhǔn)識別視頻內(nèi)容，提升審核效率，使得用戶生產(chǎn)的內(nèi)容最快時間觸達(dá)消費者，目前騰訊微視內(nèi)容處理效率已取得業(yè)界領(lǐng)先水平;而在視頻分發(fā)環(huán)節(jié)，騰訊微視借助AI技術(shù)從非結(jié)構(gòu)化的圖像、音頻、文本數(shù)據(jù)中提取結(jié)構(gòu)化信息輸出，如標(biāo)簽、特征等，支撐分發(fā)精準(zhǔn)匹配用戶。

　　未來，人工智能將具備更加多元、深度的交流學(xué)習(xí)能力，而技術(shù)的創(chuàng)新和精進(jìn)將進(jìn)一步推動AI技術(shù)在短視頻業(yè)務(wù)中智能交互場景的落地。

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實，對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系我們，本站將會在24小時內(nèi)處理完畢。