ComfyUI 3D Pack下载 - ComfyUI 3D Pack源码下载

ComfyUI 3D Pack

其他源码

下载

ComfyUI-3D-包

使 ComfyUI 中的 3D 资产生成变得良好且方便，因为它生成图像/视频！
这是一个广泛的节点套件，使 ComfyUI 能够使用尖端算法（3DGS、NeRF 等）和模型（InstantMesh、CRM、TripoSR 等）处理 3D 输入（网格和 UV 纹理等）。

功能——安装——路线图——开发——提示——支持者

安装：

可以直接从 ComfyUI-Manager 安装吗？

预构建可用于：
- Windows 10/11、Ubuntu 22.04
- Python 3.10/3.11/3.12
- CUDA 12.1/11.8
- 火炬 2.3.0+cu121/cu118、火炬视觉 0.18.0+cu121/cu118
install.py会根据你的运行环境自动下载并安装Pre-builds，如果找不到相应的Pre-builds，那么构建脚本将自动启动，如果自动构建不适合你，那么请查看Semi -自动构建指南
如果您在任何打开的 Comfy3D 工作流程中缺少任何节点，请尝试在 ComfyUI-Manager 中单击安装缺少的自定义节点
如果由于某种原因您的 comfy3d 无法自动下载预训练模型，您可以随时手动下载它们并将它们放入 Checkpoints 目录下的正确文件夹中，但请不要覆盖任何现有的 .json 文件
Docker安装请检查DOCKER_INSTRUCTIONS.md
注意：此时，您仍然需要安装适用于 Windows 的 Visual Studio 构建工具并安装适用于 Linux 的gcc g++以便InstantNGP & Convert 3DGS to Mesh with NeRF and Marching_Cubes才能工作，因为这两个节点使用了 JIT torch cpp在运行时构建的扩展，但我计划很快替换这些节点

特征：

有关用例，请查看示例工作流程。 [最后更新：2024 年 8 月 1 日]
- 注意：您需要将示例输入文件和文件夹放在 ComfyUI Root DirectoryComfyUIinput 文件夹下，然后才能运行示例工作流程
- @Consumation 的 tripoSR 分层扩散工作流程
StableFast3D ：稳定-AI/稳定-快速-3d
- 将单张图像转换为具有 RGB 纹理的 3D 网格
- 注意：您需要同意 Stability-AI 的使用条款才能下载模型权重，如果您手动下载模型权重，则需要将其放在 Checkpoints/StableFast3D 下，否则您可以在 Configs/ 中添加您的 Huggingface 令牌系统配置文件
- 模型权重：https://huggingface.co/stabilityai/stable-fast-3d/tree/main
2024-08-01.19-21-58.mp4
角色生成器：zjp-shadow/CharacterGen
- 具有任意姿势的角色的单前视图
- 可以与 Unique3D 工作流程结合以获得更好的结果
- 模型权重：https://huggingface.co/zjpshadow/CharacterGen/tree/main
zQ4Kb8kXr7QBxkY5.mp4
Unique3D ：AiuniAI/Unique3D
- 四阶段管道：
  1. 单幅图像到4幅多视图图像，分辨率：256X256
  2. 一致的多视图图像升级至 512X512，超分辨率至 2048X2048
  3. 多视图图像转法线贴图，分辨率：512X512，超分辨率至2048X2048
  4. 多视图图像和法线贴图到带纹理的 3D 网格
- 要使用 All stage Unique3D 工作流程，请下载模型：
  - sdv1.5-pruned-emaonly 并将其放入Your ComfyUI root directory/ComfyUI/models/checkpoints
  - 微调controlnet-tile并将其放入Your ComfyUI root directory/ComfyUI/models/controlnet
  - ip-adapter_sd15 并将其放入Your ComfyUI root directory/ComfyUI/models/ipadapter
  - OpenCLIP-ViT-H-14，将其重命名为OpenCLIP-ViT-H-14.safetensors并将其放入Your ComfyUI root directory/ComfyUI/models/clip_vision
  - RealESRGAN_x4plus 并将其放入Your ComfyUI root directory/ComfyUI/models/upscale_models
- 模型权重：https://huggingface.co/spaces/Wuvin/Unique3D/tree/main/ckpt
2024-06-0711-51-27-ezgif.com-调整大小-video.mp4
Era3D MVDiffusion 模型：pengHTYX/Era3D
- 单图像到 6 个多视图图像和法线贴图，分辨率：512X512
- 注意：您至少需要 16GB vram 才能运行此模型
- 模型权重：https://huggingface.co/pengHTYX/MacLab-Era3D-512-6view/tree/main
2024-06-0711-56-48-ezgif.com-调整大小-video.mp4
InstantMesh重构模型：TencentARC/InstantMesh
- 将白色背景的稀疏多视图图像转换为具有 RGB 纹理的 3D 网格
- 适用于任意 MVDiffusion 模型（可能最适合 Zero123++，但也适用于 CRM MVDiffusion 模型）
- 模型权重：https://huggingface.co/TencentARC/InstantMesh/tree/main
2024-05-23.17-35-22.mp4
2024-05-23.17-32-31.mp4
Zero123++ ：SUDO-AI-3D/zero123plus
- 单幅图像至 6 幅图像，分辨率：320X320
卷积重建模型：thu-ml/CRM
- 三阶段管道：
  1. 单幅图像至 6 个视图图像（前、后、左、右、上、下）
  2. 单图像和 6 个视图图像到 6 个相同视图 CCM（规范坐标图）
  3. 6 视图图像和 CCM 到 3D 网格
- 注意：对于低显存电脑，如果您无法将每个阶段的所有三个模型都放入您的 GPU 内存中，那么您可以将这三个阶段划分为不同的舒适工作流程并单独运行它们
- 模型权重：https://huggingface.co/sudo-ai/zero123plus-v1.2
2024-03-12.22-05-10.mp4
TripoSR ：VAST-AI-Research/TripoSR | ComfyUI-Flowty-TripoSR
- 生成 NeRF 表示并使用行进立方体将其转换为 3D 网格
- 模型权重：https://huggingface.co/stabilityai/TripoSR/tree/main
2024-03-05.22-38-36.mp4
Wonder3D ：xxlong0/Wonder3D
- 从单个图像生成空间一致的 6 视图图像和法线贴图
- 模型权重：https://huggingface.co/flamehaze1115/wonder3d-v1.0/tree/main
大型多视图高斯模型：3DTopia/LGM
- 在 RTX3080 GPU 上，在不到 30 秒的时间内将单张图像转换为 3D 高斯，稍后您还可以将 3D 高斯转换为网格
- 模型权重：https://huggingface.co/ashawkey/LGM/tree/main
2024-02-08.23-36-31.mp4
三平面高斯变换器：VAST-AI-Research/TriplaneGaussian
- 在 RTX3080 GPU 上，在不到 10 秒的时间内将单个图像启用为 3D 高斯，稍后您还可以将 3D 高斯转换为网格
- 模型权重：https://huggingface.co/VAST-AI/TriplaneGaussian/tree/main
2024-02-08.23-57-37.mp4
预览 3DGS 和 3D Mesh ：ComfyUI 内的 3D 可视化：
- 分别使用 gsplat.js 和 Three.js 进行 3DGS 和 3D Mesh 可视化
- 基于JS库的可定制背景：mdbassit/Coloris
2024-02-04.19-20-17.mp4
堆栈轨道相机姿势：自动生成所有范围的相机姿势组合
- 您可以使用它来调节 StableZero123（您需要先下载检查点），一次即可获得全方位的相机姿势
- 您可以使用它生成轨道相机姿势并直接输入到其他3D流程节点（例如GaussianSplatting和BakeTextureToMesh）
- 用法示例：
- 坐标系：
  - 方位角：在俯视图中，从角度 0 开始旋转 360 度，步长为 -90，得到 (0, -90, -180/180, 90, 0)，在这种情况下相机顺时针旋转，反之亦然。
  - 仰角：0时相机水平向前指向，向下指向地面为负角度，反之亦然。
FlexiCubes ：nv-tlabs/FlexiCubes
- 多视图深度和掩模（可选法线贴图）作为输入
- 导出到 3D 网格
- 使用指南：
  - voxel_grids_resolution ：确定网格分辨率/质量
  - 深度_最小距离深度_最大距离：物体到相机的距离，渲染中比深度_最小距离（深度_最大距离）更接近相机的物体部分将以纯白色（黑色）RGB值1,1,1（0,0,0）渲染
  - mask_loss_weight ：控制重建 3D 网格的轮廓
  - height_loss_weight ：控制重建 3D 网格的形状，此损失也会影响表面上的网格变形细节，因此结果取决于深度图的质量
  - Normal_loss_weight ：可选。用于细化表面上的网格变形细节
  - sdf_regularizer_weight ：帮助删除不受应用程序目标监督的形状区域中的漂浮物，例如仅使用图像监督时的内部面
  - remove_floaters_weight ：如果您在平坦区域观察到伪影，则可以增加该权重
  - cube_stabilizer_weight ：这在单个形状的优化过程中不会产生重大影响，但在某些情况下有助于稳定训练
2024-04-12-16-21-24.mp4
即时 NGP : nerfacc
- 多视图图像作为输入
- 使用行进立方体导出到 3D 网格
3D 高斯泼溅
- 改进的差分高斯光栅化
- Gsgen 更好的基于紧凑性的致密化方法，
- 支持从给定的 3D 网格初始化高斯（可选）
- 支持小批量优化
- 多视图图像作为输入
- 支持导出为标准 3DGS .ply 格式
高斯溅射轨道渲染器
- 给定 3DGS 文件和Stack Orbit Camera Poses节点生成的相机姿势，将 3DGS 渲染为图像序列或视频
网格轨道渲染器
- 给定网格文件和Stack Orbit Camera Poses节点生成的相机姿势，将 3D 网格渲染为图像序列或视频
Fitting_Mesh_With_Multiview_Images
- 使用 Nvdiffrast 将多视图图像烘焙到给定 3D 网格的 UVTexture 中，支持：
- 导出为 .obj、.ply、.glb
保存并加载 3D 文件
- 用于 3D 网格的 .obj、.ply、.glb
- .ply 用于 3DGS
3DGS 和 3D 网格的切换轴
- 由于不同的算法可能使用不同的坐标系，因此重新映射坐标轴的能力对于在不同节点之间传递生成的结果至关重要。
可定制的系统配置文件
- 自定义客户端IP地址
- 添加您的 Huggingface 用户令牌

路线图：

集成CharacterGen
改进 3DGS/Nerf 到 Mesh 转换算法：
- 找到更好的方法将 3DGS 或点云转换为网格（可能是法线贴图重建？）
添加和改进一些最好的MVS算法（例如2DGS等）
从原始多视图图像添加相机姿态估计

发展

如何贡献

分叉项目
进行改进/添加新功能
创建到 dev 分支的 Pull 请求

项目结构

节点.py ：
包含所有 Comfy3D 节点的接口代码（即您在 ComfyUI 中实际看到和使用的节点），您可以在此处添加新节点
Gen_3D_模块：
包含所有生成模型/系统（例如多视图扩散模型、3D 重建模型）的代码的文件夹。应在此处添加新的 3D 生成模块
MVs_算法：
包含所有多视图立体算法的代码的文件夹，即获取多视图图像并将其转换为 3D 表示（例如高斯、MLP 或网格）的算法（例如 Gaussian Splatting、NeRF 和 FlexiCubes）。应在此处添加新的 MVS 算法
网址：
包含所有浏览器 UI 相关内容的文件和代码（html、js、css）的文件夹（例如 html 布局、样式以及预览 3D 网格和高斯的核心逻辑）。应在此处添加新的 Web UI
网络服务器：
包含与浏览器通信的代码的文件夹，即处理 Web 客户端请求（例如，当使用某些 url 路由请求时，将 3D 网格发送到客户端）。应在此处添加新的 Web 服务器相关功能
配置：
包含不同模块的不同配置文件的文件夹，应在此处添加新配置，如果单个模块有多个配置（例如 Unique3D、CRM），请使用子文件夹
检查点：
包含所有预训练模型和扩散器所需的一些模型架构配置文件的文件夹，如果新的检查点可以通过Load_Diffusers Pipeline节点自动下载，则应将其添加到此处
安装.py ：
主安装脚本，将根据您的运行环境自动下载并安装预构建，如果找不到相应的预构建，则构建脚本将自动启动，由 ComfyUI-Manager 在安装需求中列出的依赖项后立即调用使用 pip 的 .txt
如果您尝试添加的新模块需要一些额外的包，而这些包无法简单地添加到requirements.txt和build_config.remote_packages中，那么您可以尝试通过修改此脚本来添加它
_预_构建：
包含构建所有必需依赖项的文件和代码的文件夹，如果您想预构建一些额外的依赖项，请检查 _Pre_Builds/README.md 以获取更多信息

尖端

OpenGL（Three.js、Blender）世界和相机坐标系：

    World            Camera        
  
    +y              up  target                                              
    |                |  /                                           
    |                | /                                           
    |______+x        |/______right                                      
    /                /         
   /                /          
  /                /           
+z               forward           

z-axis is pointing towards you and is coming out of the screen
elevation: in (-90, 90), from +y to +x is (-90, 0)
azimuth: in (-180, 180), from +z to +x is (0, 90)

如果遇到OpenGL错误（例如， [F glutil.cpp:338] eglInitialize() failed ），则在相应节点上将force_cuda_rasterize设置为true
如果安装后，您的 ComfyUI 在启动或运行时卡住，您可以按照以下链接中的说明来解决问题：在 GPU 上评估神经元模型时代码无限期挂起