lida

LIDA：使用大語言模型自動生成可視化和信息圖表

LIDA是生成數據可視化和數據信仰信息圖表的庫。 LIDA是語法不可知論（將使用任何編程語言和可視化庫，例如Matplotlib，Seaborn，Altair，D3等），並與多個大型語言模型提供商（OpenAI，Azure Openai，Palm，Palm，Cohere，Cohere，HuggingFace）一起工作。有關LIDA組件的詳細信息在此處和本教程筆記本中進行了描述。請參閱此處的項目頁面以獲取更新！

請注意代碼執行：為了創建可視化，LIDA生成並執行代碼。確保您在安全的環境中運行LIDA。

特徵

LIDA將可視化視為代碼，並提供了用於生成，執行，編輯，解釋，評估和修復可視化代碼的干淨API。

• 數據摘要
• 目標產生
• 可視化生成
• 可視化編輯
• 可視化解釋
• 可視化評估和維修
• 可視化建議
• 信息圖表生成（Beta）＃PIP安裝LIDA [信息圖]

 from lida import Manager , llm

lida = Manager ( text_gen = llm ( "openai" )) # palm, cohere ..
summary = lida . summarize ( "data/cars.csv" )
goals = lida . goals ( summary , n = 2 ) # exploratory data analysis
charts = lida . visualize ( summary = summary , goal = goals [ 0 ]) # exploratory data analysis 

入門

設置並驗證您的Python環境是python 3.10或更高（最好是使用Conda）。通過PIP安裝庫。

pip install -U lida 

LIDA取決於llmx和openai 。如果您先前安裝了這些庫，請考慮更新它們。

pip install -U llmx openai

滿足要求後，設置您的API密鑰。在此處了解有關為其他LLM提供商設置密鑰的更多信息。

 export OPENAI_API_KEY= < your key >

另外，您可以通過克隆此存儲庫並運行pip install -e .在存儲庫根中。

Web API和UI

LIDA帶有可選的捆綁UI和Web API，您可以通過運行以下命令來探索：

lida ui  --port=8080 --docs

然後導航到http：// localhost：8080/在瀏覽器中。要查看Web API規範，請在CLI命令中添加--docs選項，然後導航到瀏覽器中的http://localhost:8080/api/docs 。

安裝後最快，最建議的開始方法是嘗試上面的Web UI或運行教程筆記本。

使用Docker構建Web API和UI

可以使用Docker和下面的命令來設置LIDA Web API和UI（確保已安裝了Docker，並且已設置OPENAI_API_KEY環境變量）。

docker compose up

數據摘要

給定數據集，生成數據的緊湊摘要。

 from lida import Manager

lida = Manager ()
summary = lida . summarize ( "data/cars.json" ) # generate data summary

目標產生

給定數據摘要生成一組可視化目標。

 goals = lida . goals ( summary , n = 5 , persona = "ceo with aerodynamics background" ) # generate goals

添加persona參數以基於該角色生成目標。

可視化生成

給定數據摘要和可視化目標，生成，完善，執行和過濾可視化代碼。請注意，LIDA表示可視化為代碼。

 # generate charts (generate and execute visualization code)
charts = lida . visualize ( summary = summary , goal = goals [ 0 ], library = "matplotlib" ) # seaborn, ggplot ..

可視化編輯

鑑於可視化，請使用自然語言編輯可視化。

 # modify chart using natural language
instructions = [ "convert this to a bar chart" , "change the color to red" , "change y axes label to Fuel Efficiency" , "translate the title to french" ]
edited_charts = lida . edit ( code = code ,  summary = summary , instructions = instructions , library = library , textgen_config = textgen_config )

可視化解釋

給定可視化，生成自然語言的可視化代碼（可訪問性，應用數據轉換，可視化代碼）的解釋）

 # generate explanation for chart
explanation = lida . explain ( code = charts [ 0 ]. code , summary = summary )

可視化評估和維修

鑑於可視化，評估以查找修復說明（可以是人類的或生成的），修復可視化。

 evaluations = lida . evaluate ( code = code ,  goal = goals [ i ], library = library )

可視化建議

給定數據集，生成一組推薦的可視化。

 recommendations = lida . recommend ( code = code , summary = summary , n = 2 ,  textgen_config = textgen_config )

圖表產生[WIP]

給定可視化，生成數據信仰的信息圖。該方法應視為實驗，並使用孔雀庫中穩定的擴散模型。您將需要運行pip install lida[infographics]來安裝所需的依賴項。

 infographics = lida . infographics ( visualization = charts [ 0 ]. raster , n = 3 , style_prompt = "line art" )

將LIDA與本地託管的LLM（擁抱面）一起使用

LIDA使用LLMX庫作為文本生成的接口。 LLMX支持多個本地模型，包括擁抱面模型。您可以直接使用擁抱面模型（假設您擁有GPU），也可以使用出色的VLLM庫連接到OpenAI兼容本地模型端點。

直接使用擁抱面模型

!p ip3 install - - upgrade llmx == 0.0 . 17 a0

# Restart the colab session

from lida import Manager
from llmx import  llm
text_gen = llm ( provider = "hf" , model = "uukuguy/speechless-llama2-hermes-orca-platypus-13b" , device_map = "auto" )
lida = Manager ( text_gen = text_gen )
# now you can call lida methods as above e.g.
sumamry = lida . summarize ( "data/cars.csv" ) # .... 

使用OpenAI兼容端點，例如VLLM服務器

 from lida import Manager , TextGenerationConfig , llm

model_name = "uukuguy/speechless-llama2-hermes-orca-platypus-13b"
model_details = [{ 'name' : model_name , 'max_tokens' : 2596 , 'model' : { 'provider' : 'openai' , 'parameters' : { 'model' : model_name }}}]

# assuming your vllm endpoint is running on localhost:8000
text_gen = llm ( provider = "openai" ,  api_base = "http://localhost:8000/v1" , api_key = "EMPTY" , models = model_details )
lida = Manager ( text_gen = text_gen )

重要筆記 /警告 /常見問題解答

• LIDA根據提供的輸入生成並執行代碼。確保您在安全的環境中運行LIDA，並具有適當的權限。
• LIDA當前在具有少量列的數據集（<= 10）方面最有效。這主要是由於大多數模型的上下文大小有限。對於較大的數據集，請考慮對數據集進行預處理以使用列的子集。
• LIDA假設數據集存在，並且以可以加載到PANDAS DataFrame中的格式。例如，CSV文件或帶有對象列表的JSON文件。在實踐中，可能需要對正確的數據集進行策劃和預處理，以確保其適合手頭的任務。
• 較小的LLM（例如，HuggingFace上的OSS LLMS）在功能之後的指導有限，並且與LIDA可能無法正常工作。 LIDA最適合較大的LLM（例如OpenAI GPT 3.5，GPT 4）。
• LIDA方法的可靠性如何？ LIDA論文描述了使用可視化錯誤率指標評估LIDA的可靠性的實驗。通過當前版本的提示，數據摘要技術，預處理/後處理邏輯和LLMS，LIDA的錯誤率在2200多個可視化量（與10％以上的錯誤率相比）中的錯誤率為<3.5％。該領域正在進行中。
• 我可以與LIDA構建自己的應用程序嗎？是的！您可以直接在應用程序中使用Python API，也可以設置Web API端點，並在應用程序中使用Web API。有關更多詳細信息，請參見Web API部分。
• LIDA如何與OpenAI Code解釋器相關：LIDA與代碼解釋器共享幾個相似之處，即涉及編寫和執行代碼以解決用戶意圖。 LIDA的重點是可視化，為開發人員的重複使用提供了模塊化API，並提供了有關可視化用例的評估指標。

自然，以上一些局限性可以由受到倍受歡迎的公關解決。

與利達建造的社區例子

• LIDA +精簡：LIDA-STREAMLIT，

文檔和引用

這裡有一篇描述LIDA的簡短論文（在ACL 2023會議上接受）。

 @inproceedings { dibia2023lida ,
    title = " {LIDA}: A Tool for Automatic Generation of Grammar-Agnostic Visualizations and Infographics using Large Language Models " ,
    author = " Dibia, Victor " ,
    booktitle = " Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 3: System Demonstrations) " ,
    month = jul,
    year = " 2023 " ,
    address = " Toronto, Canada " ,
    publisher = " Association for Computational Linguistics " ,
    url = " https://aclanthology.org/2023.acl-demo.11 " ,
    doi = " 10.18653/v1/2023.acl-demo.11 " ,
    pages = " 113--126 " ,
}

LIDA建立在自動生成可視化的見解基礎上，從較早的論文-Data2vis：使用序列自動生成數據可視化，以序列復發性神經網絡。