gobbli

這是一個庫，旨在通過編程創建的Docker容器為文本的各種深度學習模型提供統一的界面。

用法

有關先決條件，快速入門和API參考，請參見文檔。簡而言之，您需要安裝Docker，並為您的用戶帳戶提供適當的權限來運行Docker命令和Python 3.7。然後運行以下內容：

 pip install gobbli

您可能還想檢查基準測試，以查看Gobbli在不同情況下實現各種模型的一些比較。

交互的

Gobbli提供了簡化的應用程序，可以在Web瀏覽器中執行一些交互式任務，例如數據探索和模型評估。安裝庫後，您可以使用gobbli命令行應用程序運行捆綁的應用程序。檢查文檔以獲取更多信息。

發展

假設您有上述所有先決條件，則需要在開發模式下安裝包裹和所有必需的 +可選依賴項：

 pip install -e ".[augment,tokenize,interactive]"

安裝其他DEV依賴項：

 pip install -r requirements.txt

運行覆蓋，自動化和測試：

 ./run_ci.sh

為避免手動解決其中一些錯誤，請考慮在您喜歡的編輯器中啟用ISORT和黑色支持。

如果您在不到12GB內存的環境中運行測試，則在運行測試時要通過--low-resource參數以避免內存錯誤。

注意：如果在Mac上運行，即使有足夠的內存，運行測試時也可能會遇到內存錯誤（退出狀態137）。這是由於沒有足夠的內存分配給您的Docker守護程序。嘗試轉到Mac->首選項 - >高級，並將“內存”提高到12GIB或更多。

如果要運行啟用gpu（s）的測試，請參見py.test --help下的--use-gpu和--nvidia-visible-devices參數。如果您的本地計算機沒有NVIDIA GPU，但是您可以訪問通過SSH進行的機器，則可以使用test_remote_gpu.sh腳本使用SSH啟用GPU來運行測試。

文件

要生成文檔，請安裝文檔要求：

 pip install -r docs/requirements.txt

由於DOC結構是從庫中自動生成的，因此您也必須安裝庫（及其所有依賴項）。

然後，從存儲庫根運行以下內容：

 ./generate_docs.sh

然後在docs/_build/html中瀏覽生成的文檔。

歸因

沒有公開發布幾種最先進的模型，Gobbli就不會存在。圖書館合併：

• 伯特，由Google發行
• MT-DNN，由Microsoft發布
• 通用句子編碼器，由Google發布
• FastText，Facebook發布
• 通過擁抱臉發行的變壓器
• Spacy，爆炸
• Scikit-Learn

圖書館的原始工作由RTI International資助。

Marcia Underwood的徽標設計。