【曠視】參與“維科杯·OFweek 2024(第九屆)人工智能行業(yè)年度評選”
維科杯 · OFweek 2024(第九屆)人工智能行業(yè)年度評選(OFweek 9th AI Awards 2024)由中國高科技行業(yè)門戶維科網(wǎng)主辦、維科網(wǎng)人工智能承辦,該評選是人工智能行業(yè)內(nèi)的一大品牌盛會,亦是高科技行業(yè)具有專業(yè)性、影響力的評選之一。
此次活動旨在為人工智能行業(yè)的產(chǎn)品、技術和企業(yè)搭建品牌傳播展示平臺,并借助 OFweek 平臺資源及影響力,向行業(yè)用戶和市場推介創(chuàng)新產(chǎn)品與方案,鼓勵更多企業(yè)投入技術創(chuàng)新;同時為行業(yè)輸送更多創(chuàng)新產(chǎn)品、前沿技術,一同暢想人工智能行業(yè)的未來。
維科杯 · OFweek 2024(第九屆)人工智能行業(yè)年度評選(OFweek 9th AI Awards 2024)于 2024 年 7 月 1 日 - 7 月 19 日進入網(wǎng)絡投票階段,頒獎典禮于 8 月 28 日在深圳舉辦。目前,活動正處于火熱的企業(yè)申報階段,業(yè)內(nèi)企業(yè)積極響應。
參評企業(yè)
曠視是一家聚焦物聯(lián)網(wǎng)場景的人工智能公司,基于業(yè)界領先的AI科研與工程實力,曠視打造出軟硬一體化的AIoT產(chǎn)品體系,面向消費物聯(lián)網(wǎng)、城市物聯(lián)網(wǎng)和供應鏈物聯(lián)網(wǎng)的核心場景提供解決方案持續(xù)為客戶和社會創(chuàng)造價值。
參評信息
申報獎項:維科杯 · OFweek 2024 人工智能行業(yè)優(yōu)秀創(chuàng)新力產(chǎn)品獎
產(chǎn)品名稱: AI人像視頻生成框架 —— MegActor
產(chǎn)品特點:
基于該框架,用戶只需輸入一張靜態(tài)的肖像圖片,以及一段視頻(演講、表情包、rap)文件,即可生成一段表情豐富、動作一致的 AI 人像視頻。MegActor 所生成的視頻長度,取決于給定的驅(qū)動視頻的長度。MegActor 能夠呈現(xiàn)出絲毫畢現(xiàn)的效果,面部細節(jié)更加豐富自然,畫質(zhì)更出色。
參評理由:
MegActor 是曠視研究院的最新研究成果。在目前的人像視頻生成領域,許多工作通常使用高質(zhì)量的閉源自采數(shù)據(jù)進行訓練,以追求更好的效果。而曠視研究院始終堅持全面開源,確保實際效果的可復現(xiàn)性。MegActor 的訓練數(shù)據(jù)全部來自公開可獲取的開源數(shù)據(jù)集,配合開源代碼,使得感興趣的從業(yè)者可以從頭開始完整復現(xiàn)這些令人驚艷的效果。
為了完全復刻原始視頻的表情和動作,MegActor 采用了原始圖像進行驅(qū)動,這與多數(shù)廠商使用 sketch、pose、landmark 的中間表示皆然不同,能夠捕捉到細致的表情和運動信息。
在 AI 視頻生成領域,我們發(fā)現(xiàn)目前主流的骨骼關鍵點控制方式不僅要求用戶提供難以獲取的專業(yè)控制信號,同時生成視頻相較于原肖像的保真程度也不盡如人意。通過一系列研究發(fā)現(xiàn),使用原視頻進行驅(qū)動,不僅將幫助用戶降低控制信號的門檻,更能生成更加保真且動作一致的視頻。
為此,MegActor 開創(chuàng)性地采用了條件擴散模型。首先,它引入了一個合成數(shù)據(jù)生成框架,用于創(chuàng)建具有一致動作和表情但不一致身份 ID 的視頻,以減輕身份泄露的問題。其次,MegActor 分割了參考圖像的前景和背景,并使用 CLIP 對背景細節(jié)進行編碼。這些編碼的信息隨后通過文本嵌入模塊集成到網(wǎng)絡中,從而確保了背景的穩(wěn)定性。
在數(shù)據(jù)訓練方面,曠視研究院團隊僅使用公開的數(shù)據(jù)集進行訓練,處理了 VFHQ 和 CeleV 數(shù)據(jù)集進行訓練,總時長超過 700 小時。同時,為了避免 ID 泄露問題,MegActor 還使用換臉和風格化方法 1:1 生成合成數(shù)據(jù),實現(xiàn)表情和動作一致、但 ID 不一致的數(shù)據(jù)。此外,為了提高對大范圍動作和夸張表情的模仿能力,團隊使用注視檢測模型對數(shù)據(jù)進行處理,獲取大約 5% 的高質(zhì)量數(shù)據(jù)進行 Finetune 訓練。
歡迎投票
本屆 “OFweek 9th AI Awards 2024” 活動于 7 月 1 日已經(jīng)進入投票階段,請關注維科網(wǎng)人工智能相關評選新聞,歡迎踴躍投票。
人工智能年度評選專題鏈接:
http://www.bdbr.com.cn/award/2024/AI/
投票鏈接:
pc:http://www.bdbr.com.cn/award/2024/AI/vote/
wap:http://www.bdbr.com.cn/award/2024/AI/vote/wap/

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
7月22-29日立即報名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7.30-8.1火熱報名中>> 全數(shù)會2025(第六屆)機器人及智能工廠展
-
7月31日免費預約>> OFweek 2025具身智能機器人產(chǎn)業(yè)技術創(chuàng)新應用論壇
-
免費參會立即報名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍皮書》
-
8月5日立即報名>> 【在線會議】CAE優(yōu)化設計:醫(yī)療器械設計的應用案例與方案解析
推薦專題