谷歌deepmind于12月5日凌晨发布了大型基础世界模型genie 2,该模型能够根据单张图片或文字描述生成丰富的可交互3d世界。作为genie的升级版,genie 2代J d K l u表着O + y , . Z } lai在虚拟世界生成领域的重大进展。
Genie 2能够从多个视角生成连贯的虚拟世界,持续时间最长可达一分钟,通常在10到20秒之间。技术上,Genie 2采用自回归潜在扩散模型,基于海量视频数据训练。 视频数据经自动编码器处理后,潜在帧被送入大型Transfor$ e 1mer动力学模型。推理过程中,Genie 2^ F p –以自回归方式逐帧采w V E ! 0 s {样,并结合之前9 ) @的潜在帧信息。
得益于视频训练,Genie 2能够精确模拟物体交互、动画、光影、物理现象、反射效果以及NPC行为。许多生成的场景画面质量堪比3A级游戏,在视角一致性和场景记忆方面表现出色。 然而,与其他基础世界模型一样,Genie 2仍面临伪影、一致性和幻觉等挑战。
以上就X u ~是谷歌推出Genie 2模型,可生成达一分钟的3D高画质游戏的详细内容!