AI推劢“2D到3D”：AI生成2D作画

1. AI生成的2D绘画：

文森特图模型：

是文本到图像的潜在扩散模型 ( )。 使用该模型，可以生成包括人脸在内的任何图像。 由于它提供了开源的预训练模型，用户可以自行进行额外的训练。 目前，它在插件生态方面优于其他 图模型。

文本：文本输入可以自动进行

当前输入的内容与程序代码类似。 需要输入正数（你希望在图像中出现的内容）和负数（你不想在图像中出现的内容），通过调整顺序、“{}”方括号和“：”来调整权重+数字”作业。 可以生成类等大型语言模型，进一步提高生成效率。 学习完语法后，就可以根据用户的描述语言生成相应的模型，从而进一步降低文森图模型的使用门槛和生成效率。

图片：风格多样

提供开源模型，用户可以进一步进行多样化风格的训练。 该模型刚出现时主要用于生成二维绘画和写实人物。 后期将通过用户训练提供更多可选的预训练模型模板，生成的图像风格将更加多样。

插件：可以生成多角度图片

该插件为生成多视图图像提供了可行的解决方案。 通过确定人物在图像中的骨骼位置，生成人物对应的多边形图像，从而实现输出图像的多边形化。

2. AI驱动“2D到3D”：NeRF模型

NeRF：从2D到3D的神经辐射场模型

NeRF，全称是（ Field），是一种利用多视角图像重建三维场景的技术。 它是由 Ben 等人提出的。 加州大学伯克利分校研究院和加州大学圣地亚哥分校于2020年完成的NeRF实现过程： 1.通过分析照相规射线，从一组图片生成一组采样点； 2、将得到的采样点和不对应的2D标距角作为输入，输出一组颜色和体素； 3.利用体素渲染技术以及之前获得的颜色和密度来生成您想要看到的随机角度照片。

Mip-NeRF：基于NeRF提升建模效果

Mip-NeRF优化了场景采样方法。 NeRF 在渲染时使用每像素一条光线对场景进行采样。 当训练和测试图像分辨率不同时游戏项目拆解流程图，可能会产生模糊或混乱的渲染效果。 Mip-NeRF 扩展了 NeRF，以连续值尺度表示场景。 通过有效地渲染抗锯齿锥体而不是射线，Mip-NeRF 减少了锯齿伪影，并被证明可以提高 NeRF 的节点表现力，同时在尺寸减半的情况下比 NeRF 快 7%。 与 NeRF 相比，mip-NeRF 在 NeRF 呈现的数据集上平均错误率降低了 17%。

区块NeRF：扩大NeRF生成场景规模

Block NeRF 扩大了生成场景的规模。 《Block-NeRF：可扩展大场景神经图合成》最新研究成果发布，重点将NeRF的应用场景从微观场景或单个场景对象扩展到城市级别，并实现场景内需要更新时，只需要分块更新场景，而不需要对整个场景进行充分的训练和更新。

：减少NeRF对图像数量的要求

减少所需图像的数量。 来自英属哥伦比亚大学、西蒙弗雷泽大学等的研究人员提出，对于同一类型的物体，在没有对抗性监督的情况下，只需使用单一角度即可训练NeRF模型。 一旦共享生成模型经过训练，该模型就可以提供近似的相机姿势。 数据集中的所有图像均使用预测的 2D 大致与典型姿势对齐，以确定应从哪个比例渲染辐射场以再现原始图像。

NGP：大幅提升NeRF的生成效率

团队开发了一种几乎可以立即完成此任务的方法，这是同类中第一个将超快神经网络训练与快速渲染相结合的模型之一。 将这种方法应用到 NeRF 技术中，创造出在某些情况下速度可以提高 1000 倍以上的 NeRF。 NeRF可以在单GPU（）环境下实现秒级3D场景生成。 在高清分辨率下，合成场景甚至现实场景都可以在几秒钟内完成训练，并以 60 帧/秒的速度进行渲染。

Nerf独角兽—luma：大大降低NeRF的使用门槛

Luma是一款已上架APP Store的手机APP。 支持11及以上机型，iOS16.0及以上版本，应用大小40M。 Luma AI团队基于服务器开发。 大大降低了NeRF的使用门槛。 您只需一部手机通过APP引导拍摄场景，即可随时随地渲染3D场景，轻松使用NeRF。 以往NeRF衍生的算法大多需要本地部署运行环境，对配置要求较高，且消耗大量算力。 Luma AI将训练和渲染步骤移至终端服务器，从而降低了使用门槛。 Luma渲染效果大幅提升，适用场景更加广泛。 其他NeRF衍生算法的适用场景有限，有的适合大场景，有的在小场景中表现较好，无法满足通用化的需求。 Luma AI在算法上进行了优化和改进，适用于各种场景，小到装饰品，大到城市街道等游戏项目拆解流程图，渲染效果更加真实。 Luma支持导出渲染场景网格模型和点云模型，方便进一步扩展应用。

Nerf -luma：近期获得投资

2023年3月24日，Luam获得2000万美元A轮融资，为其投资者之一。 2023年3月，Luma推出视频转3D场景API：Video-to-3D API，进一步开放NeRF能力并探索商业化。

3.从GPT→→Nerf：无中生有的3D

从无到有创建3D：一般有两条路

目前，从文本到3D模型有两条路径。 使用“文森图”模型+NeRF生成3D模型，其中GPT可以发挥重要作用。 例如，使用+pinch生成多角度2D图，然后使用NeRF形成3D模型。 不过，由于目前的 图模型仍然存在一定的阈值，因此可以通过训练 GPT 来轻松通过自然语言生成令人满意的多角度 2D 图。 使用文本生成 3D 模型。 此类模型通常是文本到图像扩散模型和 NeRF 的组合。 原理是首先通过文本到图像的扩散模型生成2D图像，然后通过NeRF从2D图像生成3D模型。

示例 — 文本生成 3D：Dream

研究人员提出了一种新模型，首先使用预训练的二维扩散模型根据文本提示生成二维图像，然后引入基于概率密度蒸馏的损失函数，通过优化随机初始化的神经辐射场 NeRF 模型梯度下降法。 训练好的模型可以在任意角度、任意光照条件、任意三维环境下根据给定的文本提示生成模型。 整个过程不需要3D训练数据，也不需要修改图像扩散模型，完全依赖于预训练。 扩散模型。

示例 – 3D 文本生成： AI

Magic 3D AI 首先将文本扩散到图像上，然后使用 NeRF 形成 3D 模型，从而生成 3D 模型。 Magic 3D AI 生成的模型分辨率提高了 8 倍，速度提高了 2 倍，渲染速度仅需 40 分钟。 但它还不是开源的。

4、游戏制作流程：AI如何促进降本增效

游戏美术的四种制作方法

目前国内常见的游戏美术制作方式有四种，分别是3D渲染2制作、3D现代生成（传统手绘）、3D传统次世代制作和3D次世代制作。

目前的生产流程：步骤较多，耗时较长

通常3D游戏角色的制作周期约为30至45天。 传统的美术制作流程分为角色制作流程和场景制作流程，两者都包括概念设计、3D建模（中模型-高模型-低模型）、UV分割、烘焙、贴图和导入引擎。 不同的是，角色制作过程还需要骨骼和皮肤的构建，以及动画的制作和优化。 场景制作流程还包括2UV的分展开、LOD和碰撞体的制作。

NeRF促进美术降本增效：节省时间和人力

从时间上来说，AI生成图片的速度相比手绘有很大的提升； 而NeRF建模还可以一次性完成上述多个步骤，在时间上大大提高。 人力方面，《文圣图》和NeRF可以完成多个角色的工作，同时速度更快。

五、游戏美术帖的拆除：责任&费用

职责分工：美术团队有很多角色，所以需要更多的人。

游戏美术团队由项目组主要美术人员带领，掌控全局和美术方向； 它分为2D艺术、技术艺术和3D艺术。 2D艺术包括UI设计师和原创画家。 原画师具体分为人物原画师和场景原画师。 3D艺术包括3D角色、3D场景、绑定艺术家、动画艺术家和特效艺术家。 其中，动画艺术家分为2D动画和3D动画，特效艺术家分为2D特效和3D特效。

薪资：一般20-30K/月，有的30-50K/月

从薪资来看，游戏美术岗位的薪资幅度较大，但大多数人的薪资都比较可观。 项目组大部分主要美术师、3D角色设计师、3D场景设计师薪资可达30K-50K元/月，而UI设计师、原画师、特效师等薪资可达20K-30K元/月； 这与游戏行业人才需求增加、薪资上涨密切相关。 从需求角度来看，在游戏开发团队中，2D职位的需求约占设计师总数的15-20%，3D职位的需求约占设计师总数的70-80%。 一般来说，3D职位的需求大于2D职位，并且3D职位比2D职位更容易获得。

报告摘录：

（本文仅供参考，不代表我们任何投资建议，如需使用相关信息，请以报告原文为准。）

获取高质量报告，请登录【未来智库官网】。

立即登录，请点击下方“阅读原文”或点击下图进入“未来智库小程序”。