在數據可視化領域，生成準確反映複雜數據的圖表一直是一個具有挑戰性的任務。圖表不僅需要精確捕捉佈局、色彩和文本位置等視覺元素，還需要將這些細節轉化為代碼，以實現預期的設計效果。然而，傳統方法通常依賴於直接提示視覺- 語言模型（VLM），如GPT-4V，這種方法在將復雜視覺元素轉化為語法正確的Python 代碼時，常常遇到困難。即使是微小的差錯也可能導致圖表未能達到設計目標，這在金融分析、學術研究和教育報告等領域尤為重要。
為了解決這一問題，來自UCLA（加利福尼亞大學洛杉磯分校）、UC Merced 和Adobe 的研究團隊提出了一個名為METAL 的新框架。該系統將圖表生成任務分解為一系列由專門代理管理的集中步驟，從而提高了生成圖表的準確性和一致性。
METAL 框架包括四個關鍵代理：生成代理、視覺評估代理、代碼評估代理和修訂代理。生成代理負責初步生成Python 代碼，視覺評估代理評估生成的圖表與參考圖的相符程度，代碼評估代理審查生成的代碼以捕捉任何語法或邏輯錯誤，最後修訂代理根據評估反饋調整代碼。這種模塊化設計使每個代理可以專注於其特定功能，從而確保圖表的視覺和技術元素都得到充分考慮和調整。
在實驗中，METAL 在ChartMIMIC 數據集上進行了性能評估，結果顯示其在文本清晰度、圖表類型準確性、色彩一致性和佈局精度等方面優於傳統方法。與開源模型LLAMA3.2-11B 和閉源模型GPT-4O 的比較顯示，METAL 生成的圖表更接近參考圖的準確性。此外，研究還通過消融實驗強調了視覺和代碼評估機制分開的重要性。當這兩個組件合併為一個評估代理時，性能往往下降，這表明專門化的評估方法對高質量圖表生成至關重要。
METAL 通過將任務分解為專門的、迭代的步驟，提供了一種平衡的多代理方法。這種方法不僅促進了視覺設計向Python 代碼的精確轉換，還為錯誤檢測和修正提供了系統化的流程。隨著計算資源的增加，METAL 的性能表現也呈現出接近線性的提升，這為其在精確要求較高的應用場景中提供了實用潛力。
項目:https://metal-chart-generation.github.io/
劃重點:
METAL 框架由UCLA、UC Merced 與Adobe 聯合提出，旨在優化圖表生成過程。
框架包含四個專門的代理，分別負責生成、評估和修訂圖表，確保視覺和技術元素得到妥善處理。
實驗結果表明，METAL 在圖表生成的準確性和一致性方面優於傳統方法，展現出良好的實用潛力。