在计算机科学领域，处理复杂文档并将其转换为结构化数据一直是一个具有挑战性的问题。传统方法通常依赖于复杂的模型组合或庞大的多模态模型，这些方法虽然功能强大，但往往存在幻觉问题且计算成本高昂。
最近，IBM和Hugging Face合作推出了SmolDocling，这是一个仅有256M参数的开源视觉-语言模型（VLM），旨在端到端地解决多模态文档转换任务。 SmolDocling的独特之处在于其小巧的体积和强大的功能，显着降低了计算复杂性和资源需求。
SmolDocling的架构基于Hugging Face的SmolVLM-256M，通过优化的tokenization和激进的视觉特征压缩方法，实现了计算复杂性的显着降低。其核心优势在于创新的DocTags格式，能够清晰地分离文档布局、文本内容以及表格、公式、代码片段和图表等视觉信息。
为了更高效地训练，SmolDocling采用了课程学习的方法，先“冻结”视觉编码器，然后逐步使用更丰富的数据集进行微调，以增强不同文档元素之间的视觉语义对齐。得益于其高效性，SmolDocling处理整个文档页面的速度非常快，在消费级GPU上平均每页仅需0.35秒，且仅消耗不到500MB的显存。
在性能测试中，SmolDocling表现出色，显着优于许多体量更大的竞争模型。例如，在全页文档OCR任务中，与拥有70亿参数的Qwen2.5VL和3.5亿参数的Nougat相比，SmolDocling取得了明显更高的准确率，其编辑距离（0.48）更低，F1分数(0.80)更高。
在公式转录方面，SmolDocling也达到了0.95的F1分数，与最先进的模型如GOT不相上下。更令人称赞的是，SmolDocling还在代码片段识别方面树立了新的标杆，精确率和召回率分别高达0.94和0.91。
SmolDocling与其他文档OCR解决方案的不同之处在于，它能够处理文档中的各种复杂元素，包括代码、图表、公式和各种不同的布局。它的能力不仅限于常见的科学论文，还能可靠地处理专利、表格和商业文档。
通过DocTags提供全面的结构化元数据，SmolDocling消除了HTML或Markdown等格式固有的歧义，从而提高了文档转换的下游可用性。其紧凑的体积还使其能够以极低的资源需求进行大规模的批量处理，为大规模部署提供了经济高效的解决方案。
总而言之，SmolDocling的发布代表了文档转换技术的重大突破。它有力地证明了，紧凑型模型不仅能够与大型基础模型竞争，而且在关键任务中还能显着超越它们。研究人员成功地展示了，通过有针对性的训练、创新的数据增强和像DocTags这样的新型标记格式，可以克服传统上与模型大小和复杂性相关的局限性。 SmolDocling的开源不仅为OCR技术树立了新的效率和多功能性标准，还通过开放的数据集和高效紧凑的模型架构，为社区提供了一份宝贵的资源。