腾讯混元文生图大模型(混元 DiT 模型)正式开源!此次开源包含了完整的训练代码,以及LoRA和ControlNet插件,方便开发者们进行二次开发和应用。LoRA插件允许在不增加模型大小的情况下微调模型,而ControlNet插件则能够通过添加额外条件,例如图像边缘、深度和人体姿态等,更好地控制图像生成过程。腾讯还为混元DiT提供了专属加速库,提升推理效率,并简化使用流程。该模型已广泛应用于素材创作、商品合成、游戏出图等领域,并被腾讯广告妙思平台和多家媒体采用。
站长之家(ChinaZ.com)6月21日 消息:腾讯混元文生图大模型(混元 DiT 模型)宣布全面开源训练代码,包括 LoRA 插件和 ControlNet 插件。
LoRA 是一种用于微调大型语言模型的技术,可以在不修改原有模型或增加模型大小的情况下,利用少量数据训练出具有特定特征的模型。

ControlNet 是一种可控化生成算法,允许用户通过添加额外条件来更好地控制图像生成。腾讯混元提供了三个首发 ControlNet 模型,可以提取与应用图像的边缘、深度和人体姿势等条件。
此外,混元 DiT 发布了专属加速库,提升推理效率并简化使用方式。混元 DiT 已被广泛用于素材创作、商品合成、游戏出图等多个领域,包括腾讯广告妙思平台和多家媒体使用混元 DiT 模型进行内容生成。
官网:
https://dit.hunyuan.tencent.com/
代码:
https://github.com/Tencent/HunyuanDiT
模型:
https://huggingface.co/Tencent-Hunyuan/HunyuanDiT
论文:
https://tencent.github.io/HunyuanDiT/asset/Hunyuan_DiT_Tech_Report_05140553.pdf
数据制作流程:
https://github.com/Tencent/HunyuanDiT/blob/main/IndexKits/docs/MakeDataset.md
腾讯混元DiT模型的开源,为开发者们提供了强大的工具和资源,相信将会推动文生图领域的进一步发展,也期待看到基于该模型的更多创新应用。