香港大学和字节跳动联合发布了LlamaGen，这项创新技术将大型语言模型的预测范式应用于图像生成领域，取得了显著成果。 LlamaGen通过重新设计图像分词器，并对模型进行大规模训练，在无需视觉信号归纳偏差的情况下，实现了领先的图像生成性能，为图像生成领域带来了新的突破。该技术不仅在ImageNet基准测试中表现出色，而且在图像质量和文本对齐方面也展现出优异的能力，并通过vllm服务框架实现了显着的加速效果。其提供的多种模型和工具，为开发者和研究者提供了宝贵的资源。
产品入口:https://top.aibase.com/tool/llamagen
LlamaGen 是对传统图像生成模型的一次颠覆性创新，它证明了即使在没有视觉信号归纳偏差的情况下，普通的自回归模型也能够实现领先的图像生成性能，只要合理地进行规模化处理。 LlamaGen自回归即Transformer的输出下一个token作为预测再下一个token的输入，使用的是LLaMA架构，没有使用Diffusion模型。这一发现给图像生成领域带来了新的可能性和启发，为未来的图像生成研究提供了新的思路和方向。
LlamaGen特点包括:
图像分词器:推出了具有16倍降采样比、0.94的重建质量和97% 码书利用率的图像分词器，在ImageNet 基准测试上表现优异。
类别条件图像生成模型:推出了从111M 到3.1B 参数范围内的一系列类别条件图像生成模型，在ImageNet256×256基准测试上取得了2.18的FID，超越了流行的扩散模型。
文本条件图像生成模型:推出了具有775M 参数的文本条件图像生成模型，经过LAION-COCO 的两阶段训练，能够生成高质量的美学图像，并展现出优秀的视觉质量和文本对齐性能。
服务框架vllm:验证了LLM 服务框架在优化图像生成模型推断速度方面的有效性，实现了326% 至414% 的加速。
在该项目中，研究团队发布了两种图像分割器、七种类条件生成模型和两种文本条件生成模型，同时提供了在线演示和高吞吐量的服务框架。这些模型和工具的发布，为开发者和研究人员提供了丰富的资源和工具，使他们能够更好地理解和应用LlamaGen 技术。
LlamaGen的出现，不仅推动了图像生成技术的进步，也为未来人工智能领域的研究提供了新的方向和思路，值得期待其在更多领域的应用和发展。