“空间智能”和“世界模型”是最近学术界和产业界非常火热的研究方向,走向虚实结合、模拟世界机理的关键一步,就是创造出一个生动的虚拟世界。然而,想要打造丰富多样、充满细节,同时具备高度可编辑性和物理真实性的3D虚拟世界,仍然困难重重。
为了解决这些难题,来自中国科学院自动化研究所和北京科技大学的联合团队,首次提出了一种全新的3D场景生成框架SceneX,只需简单的文字描述,就能快速生成高质量的3D虚拟场景。
不论是辽阔的自然风景,还是充满活力的城市街道,模型都能轻松应对。通俗来说,使用SceneX,用户只需要输入简单的文字描述,就可以快速生成如辽阔自然景观或繁华城市街区的3D场景,这种方式极大地提高了虚拟场景创作的灵活性与便捷性。
(SceneX生成的模型。图源:SceneX)
SceneX开启高效、逼真场景生成新时代
SceneX以创新的方式打破传统局限,全面提升效率与真实感,主要包括两个核心模块:
1.PCGHub:通过集成多种程序化生成模块并封装为标准化API,PCGHub提供了一个灵活的平台,解决单一生成模块因固有算法和规则受限而导致的局限性,大幅扩展了资源生成的多样性和灵活性。
2.PCGPlanner:作为智能规划器,PCGPlanner高效协调PCGHub的资源完成场景生成。其全自动化流程包括场景分解、地形生成、资产生成与检索、资产放置等阶段。通过模块化设计,确保生成结果的连贯性与几何一致性。
相比传统方法需要数周完成的大规模场景建模,SceneX将时间压缩至数小时,同时支持通过简单的文字指令精确控制场景的细节。SceneX的跨模态协同能力,赋予场景生成前所未有的灵活性与可控性。
PCGHub:多样化程序化资产与布局生成平台
场景的多样性离不开资产的多样性。为此,PCGHub提供了一个集成丰富程序化生成模块和3D资产的平台,旨在解决传统方法的局限性并提升内容真实感。
PCGHub提供了172个涵盖自然环境、建筑等多领域的程序化资产,并配备了散射、网格、线性等多种灵活的布局生成器,使开发者能够轻松创建丰富多样的3D场景。
这些资产可通过调整几何和材质参数实现多样化变化。从2362个原始参数中提取了263个核心参数,并封装为标准化API,每个API配有详尽文档,包括功能描述和参数规格,方便用户调用和扩展。此外,PCGHub还包含11284个高质量3D静态资产,极大地丰富了资源库的多样性。PCGHub的推出,为生成多样化且真实感强的场景提供了高效而灵活的解决方案。
通过提示词与场景匹配度评估,SceneX展现了卓越的语义理解和生成能力。无论是静谧的河边风光,还是繁华的城市景象,SceneX都能完美复现用户想象,实现“所见即所得”。这样的精准控制为游戏开发、影视制作等行业带来了更高的灵活性和创造性。
随着3D场景生成技术的不断发展,SceneX不仅提升了生成速度与质量,同时也促进了用户创作的参与感和体验感。展望未来,SceneX将持续进行优化,推动更高效、更便捷的场景生成应用,成为虚拟世界构建、游戏开发和影视制作等领域的重要工具。
SceneX网站:https://zhouzq1.github.io/SceneX/
新闻来源:新智元
暂无评论
