gobbli

Dies ist eine Bibliothek, die über programmatisch erstellte Docker -Container eine einheitliche Schnittstelle zu verschiedenen Deep -Learning -Modellen für Text bereitstellt.

Verwendung

Sehen Sie sich die Dokumente für Voraussetzungen, einen QuickStart und die API -Referenz an. Kurz gesagt, Sie benötigen Docker mit entsprechenden Berechtigungen für Ihr Benutzerkonto, um Docker -Befehle und Python 3.7 auszuführen. Dann führen Sie Folgendes aus:

 pip install gobbli

Möglicherweise möchten Sie auch die Benchmarks überprüfen, um einige Vergleiche der Implementierung verschiedener Modelle durch Gobbli in verschiedenen Situationen zu sehen.

Interaktiv

GOBBLI bietet Streamlit -Apps, um einige interaktive Aufgaben in einem Webbrowser auszuführen, z. B. Datenforschung und Modellbewertung. Sobald Sie die Bibliothek installiert haben, können Sie die gebündelten Apps über die Befehlszeilenanwendung gobbli ausführen. Weitere Informationen finden Sie in den Dokumenten.

Entwicklung

Angenommen, Sie haben oben alle Voraussetzungen angegeben, müssen Sie das Paket und alle erforderlichen + optionalen Abhängigkeiten im Entwicklungsmodus installieren:

 pip install -e ".[augment,tokenize,interactive]"

Installieren Sie zusätzliche Dev -Abhängigkeiten:

 pip install -r requirements.txt

Führen Sie Linie, Autoformatierung und Tests aus:

 ./run_ci.sh

Um einige dieser Fehler manuell zu beheben, sollten Sie ISORT und Black Support in Ihrem Lieblingsredakteur ermöglichen.

Wenn Sie Tests in einer Umgebung mit weniger als 12 GB Speicher ausführen, sollten Sie das Argument für --low-resource übergeben, wenn Sie Tests ausführen, um aus Speicherfehlern zu vermeiden.

HINWEIS: Wenn Sie auf einem Mac ausgeführt werden, können Sie beim Ausführen der Tests auch bei ausreichendem Speicher auf Speicherfehler (Exit -Status 137) stoßen. Dies liegt daran, dass Ihr Docker -Daemon nicht genügend Speicher wird. Versuchen Sie, für Mac zu Docker zu gehen -> Einstellungen -> Fortgeschritten und "Speicher" auf 12Gib oder mehr erhöhen.

Wenn Sie die aktivierten Tests ausführen möchten, siehe Argumente --use-gpu und --nvidia-visible-devices unter py.test --help . Wenn Ihre lokale Maschine keine NVIDIA -GPU hat, aber Sie Zugriff auf eine, die über SSH ausfällt, können Sie das Skript test_remote_gpu.sh verwenden, um die Tests mit GPU über SSH auszuführen.

Dokumente

So installieren Sie die DOCS -Anforderungen, um die Dokumente zu generieren, die Anforderungen an DOCs:

 pip install -r docs/requirements.txt

Da die DOC-Struktur aus der Bibliothek automatisch generiert ist, müssen Sie auch die Bibliothek (und alle ihre Abhängigkeiten) installieren lassen.

Führen Sie dann Folgendes aus dem Repository -Stamm aus:

 ./generate_docs.sh

Suchen Sie dann die generierte Dokumentation in docs/_build/html .

Zuschreibung

Ohne die Veröffentlichung mehrerer hochmoderner Modelle würde Gobbli nicht existieren. Die Bibliothek enthält:

• Bert, veröffentlicht von Google
• MT-DNN, veröffentlicht von Microsoft
• Universeller Satz Encoder, veröffentlicht von Google
• FastText, veröffentlicht von Facebook
• Transformers, freigelassen von umarmten Gesicht
• Spacy, durch Explosion
• Scikit-Learn

Die ursprüngliche Arbeit in der Bibliothek wurde von RTI International finanziert.

Logo -Design von Marcia Underwood.