**劃重點:**
1. ? **Ego-Exo4D:** Meta發布支持視頻學習和多模態感知的數據集,涵蓋運動、音樂、烹饪等複雜人類活動,可用于增強現實、機器學習和社交網絡。
2. ? **Seamless Communication:** 推出四个AI研究模型,旨在跨越语言界限实现更自然、真实的表达和快速翻译,包括保留语音表达和语境的SeamlessExpressive等功能。
3. ? **Audiobox:** Meta的新音频生成模型,通过语音输入和自然语言文本提示生成声音和音效,以创造定制的音频文件,为研究人员和学术机构提供先进的音频生成研究支持。
站長之家(ChinaZ.com)12月1日 消息:爲慶祝Meta基礎人工智能研究(FAIR)團隊成立十周年,公司隆重推出三個創新的人工智能項目,展示了引人注目的演示。
Ego-Exo4D:
官方項目介紹網址:https://ai.meta.com/blog/ego-exo4d-video-learning-perception/
该项目以数据集及基准测试的形式呈现,旨在支持视频学习和多模态感知的人工智能研究。由Meta的FAIR、Project Aria,以及来自全球15所大学的合作伙伴在两年内共同收集,Ego-Exo4D捕捉了佩戴Project Aria头戴设备的参与者的“自我中心”视角和周围摄像机的“外部中心”视角。
這一數據集聚焦于複雜的人類活動,如運動、音樂、烹饪、舞蹈和自行車維修。Meta認爲,該數據集在增強現實系統、機器人學習以及社交網絡等領域具有廣泛應用前景。1,400多小時的視頻數據將于12月以開源形式發布,並計劃于明年進行Ego-Exo4D公開基准競賽。
Seamless Communication:
官方項目介紹網址:https://ai.meta.com/blog/seamless-communication/
该项目旨在通过四个AI研究模型实现更自然、真实的跨语言交流。包括保留语音表达和语境的SeamlessExpressive,以及提供约两秒延迟的语音和文本翻译的SeamlessStreaming。此外,SeamlessM4T v2是一个多语言、多任务的模型,用于轻松实现语音和文本之间的交流。最终,Seamless将集成SeamlessExpressive、SeamlessStreaming和SeamlessM4T v2的功能于一个模型中。
Meta還發布了SeamlessExpressive的演示,用戶可以在其中將其語音翻譯成其他語言,增強了跨語言溝通的交互性。
官方演示網址:https://seamless.metademolab.com/expressive/
Audiobox:
官方項目介紹網址:https://ai.meta.com/blog/audiobox-generating-audio-voice-natural-language-prompts/
這是Meta全新的音頻生成模型,通過結合語音輸入和自然語言文本提示,能夠生成聲音和音效,從而更輕松地創建用于不同用途的定制音頻文件。相比其前身Voicebox,Audiobox通過允許用戶使用自然語言提示來創建所需的聲音或語音類型,提供了更強的可控性。
Meta表示,該模型將首先提供給一組選擇的研究人員和學術機構,以推動音頻生成研究的發展,並確保人工智能的負責任發展。
这三个项目的推出标志着Meta FAIR团队十年来在人工智能领域取得的巨大成就,并为未来的技术发展和创新奠定了坚实基础。
(舉報)