国产V视频在线,综合,久久超

【曠視】參與“維科杯·OFweek 2024（第九屆）人工智能行業(yè)年度評選”

2024-07-12 17:04

維科杯 · OFweek 2024（第九屆）人工智能行業(yè)年度評選（OFweek 9th AI Awards 2024）由中國高科技行業(yè)門戶維科網(wǎng)主辦、維科網(wǎng)人工智能承辦，該評選是人工智能行業(yè)內(nèi)的一大品牌盛會，亦是高科技行業(yè)具有專業(yè)性、影響力的評選之一。

此次活動旨在為人工智能行業(yè)的產(chǎn)品、技術(shù)和企業(yè)搭建品牌傳播展示平臺，并借助 OFweek 平臺資源及影響力，向行業(yè)用戶和市場推介創(chuàng)新產(chǎn)品與方案，鼓勵更多企業(yè)投入技術(shù)創(chuàng)新；同時為行業(yè)輸送更多創(chuàng)新產(chǎn)品、前沿技術(shù)，一同暢想人工智能行業(yè)的未來。

維科杯 · OFweek 2024（第九屆）人工智能行業(yè)年度評選（OFweek 9th AI Awards 2024）于 2024 年 7 月 1 日－ 7 月 19 日進(jìn)入網(wǎng)絡(luò)投票階段，頒獎典禮于 8 月 28 日在深圳舉辦。目前，活動正處于火熱的企業(yè)申報階段，業(yè)內(nèi)企業(yè)積極響應(yīng)。

參評企業(yè)

曠視是一家聚焦物聯(lián)網(wǎng)場景的人工智能公司，基于業(yè)界領(lǐng)先的AI科研與工程實力，曠視打造出軟硬一體化的AIoT產(chǎn)品體系，面向消費(fèi)物聯(lián)網(wǎng)、城市物聯(lián)網(wǎng)和供應(yīng)鏈物聯(lián)網(wǎng)的核心場景提供解決方案持續(xù)為客戶和社會創(chuàng)造價值。

【曠視】參與“維科杯·OFweek 2024（第九屆）人工智能行業(yè)年度評選”

參評信息

申報獎項：維科杯 · OFweek 2024 人工智能行業(yè)優(yōu)秀創(chuàng)新力產(chǎn)品獎

產(chǎn)品名稱： AI人像視頻生成框架 —— MegActor

產(chǎn)品特點(diǎn)：

基于該框架，用戶只需輸入一張靜態(tài)的肖像圖片，以及一段視頻（演講、表情包、rap）文件，即可生成一段表情豐富、動作一致的 AI 人像視頻。MegActor 所生成的視頻長度，取決于給定的驅(qū)動視頻的長度。MegActor 能夠呈現(xiàn)出絲毫畢現(xiàn)的效果，面部細(xì)節(jié)更加豐富自然，畫質(zhì)更出色。

參評理由：

MegActor 是曠視研究院的最新研究成果。在目前的人像視頻生成領(lǐng)域，許多工作通常使用高質(zhì)量的閉源自采數(shù)據(jù)進(jìn)行訓(xùn)練，以追求更好的效果。而曠視研究院始終堅持全面開源，確保實際效果的可復(fù)現(xiàn)性。MegActor 的訓(xùn)練數(shù)據(jù)全部來自公開可獲取的開源數(shù)據(jù)集，配合開源代碼，使得感興趣的從業(yè)者可以從頭開始完整復(fù)現(xiàn)這些令人驚艷的效果。

為了完全復(fù)刻原始視頻的表情和動作，MegActor 采用了原始圖像進(jìn)行驅(qū)動，這與多數(shù)廠商使用 sketch、pose、landmark 的中間表示皆然不同，能夠捕捉到細(xì)致的表情和運(yùn)動信息。

在 AI 視頻生成領(lǐng)域，我們發(fā)現(xiàn)目前主流的骨骼關(guān)鍵點(diǎn)控制方式不僅要求用戶提供難以獲取的專業(yè)控制信號，同時生成視頻相較于原肖像的保真程度也不盡如人意。通過一系列研究發(fā)現(xiàn)，使用原視頻進(jìn)行驅(qū)動，不僅將幫助用戶降低控制信號的門檻，更能生成更加保真且動作一致的視頻。

為此，MegActor 開創(chuàng)性地采用了條件擴(kuò)散模型。首先，它引入了一個合成數(shù)據(jù)生成框架，用于創(chuàng)建具有一致動作和表情但不一致身份 ID 的視頻，以減輕身份泄露的問題。其次，MegActor 分割了參考圖像的前景和背景，并使用 CLIP 對背景細(xì)節(jié)進(jìn)行編碼。這些編碼的信息隨后通過文本嵌入模塊集成到網(wǎng)絡(luò)中，從而確保了背景的穩(wěn)定性。

在數(shù)據(jù)訓(xùn)練方面，曠視研究院團(tuán)隊僅使用公開的數(shù)據(jù)集進(jìn)行訓(xùn)練，處理了 VFHQ 和 CeleV 數(shù)據(jù)集進(jìn)行訓(xùn)練，總時長超過 700 小時。同時，為了避免 ID 泄露問題，MegActor 還使用換臉和風(fēng)格化方法 1:1 生成合成數(shù)據(jù)，實現(xiàn)表情和動作一致、但 ID 不一致的數(shù)據(jù)。此外，為了提高對大范圍動作和夸張表情的模仿能力，團(tuán)隊使用注視檢測模型對數(shù)據(jù)進(jìn)行處理，獲取大約 5% 的高質(zhì)量數(shù)據(jù)進(jìn)行 Finetune 訓(xùn)練。