gobbli

이것은 프로그래밍 방식으로 생성 된 Docker 컨테이너를 통해 텍스트를위한 다양한 딥 러닝 모델에 대한 균일 한 인터페이스를 제공하도록 설계된 라이브러리입니다.

용법

전제 조건, 빠른 스타트 및 API 참조에 대한 문서를 참조하십시오. 간단히 말해서, Docker 명령 및 Python 3.7을 실행하려면 사용자 계정에 적절한 권한이있는 Docker가 설치해야합니다. 그런 다음 다음을 실행하십시오.

 pip install gobbli

다른 상황에서 Gobbli의 다양한 모델 구현을 비교하기 위해 벤치 마크를 확인할 수도 있습니다.

대화식

Gobbli는 데이터 탐색 및 모델 평가와 같은 웹 브라우저에서 대화식 작업을 수행 할 수있는 간단한 앱을 제공합니다. 라이브러리를 설치 한 후에는 gobbli Command Line 응용 프로그램을 사용하여 번들 앱을 실행할 수 있습니다. 자세한 내용은 문서를 확인하십시오.

개발

위에서 언급 한 모든 전제 조건이 있다고 가정하면 개발 모드에 패키지 및 필요한 모든 + 선택적 종속성을 설치해야합니다.

 pip install -e ".[augment,tokenize,interactive]"

추가 DEV 종속성 설치 :

 pip install -r requirements.txt

라인, 자동 지정 및 테스트 실행 :

 ./run_ci.sh

이러한 오류 중 일부를 수동으로 수정하지 않으려면 좋아하는 편집기에서 Isort 및 Black Support를 활성화하는 것을 고려하십시오.

12GB 미만의 메모리가있는 환경에서 테스트를 실행하는 경우 메모리 오류를 피하기 위해 테스트를 실행할 때 --low-resource 인수를 통과해야합니다.

참고 : MAC에서 실행중인 경우 적절한 메모리를 사용할 수 있더라도 테스트를 실행할 때 메모리 오류 (종료 상태 137)가 발생할 수 있습니다. 이것은 메모리가 Docker 데몬에 할당되지 않기 때문입니다. Mac-> 환경 설정 -> 고급 및 "메모리"를 12gib 이상으로 올리십시오.

GPU가 활성화 된 테스트를 실행하려면 py.test --help 의 --use-gpu 및 --nvidia-visible-devices 인수를 참조하십시오. 로컬 컴퓨터에 NVIDIA GPU가 없지만 SSH를 통해 수행하는 제품에 액세스 할 수있는 경우 test_remote_gpu.sh 스크립트를 사용하여 SSH를 통해 GPU를 사용하여 테스트를 실행할 수 있습니다.

문서

문서를 생성하려면 문서 요구 사항을 설치하십시오.

 pip install -r docs/requirements.txt

DOC 구조는 라이브러리에서 자동으로 생성되므로 라이브러리 (및 모든 종속성)도 설치해야합니다.

그런 다음 저장소 루트에서 다음을 실행하십시오.

 ./generate_docs.sh

그런 다음 docs/_build/html 에서 생성 된 문서를 찾아보십시오.

속성

Gobbli는 여러 최첨단 모델의 공개 릴리스 없이는 존재하지 않을 것입니다. 도서관은 다음과 같습니다.

• Bert, Google이 출시했습니다
• Microsoft가 출시 한 MT-DNN
• Google에서 발표 한 Universal Sentence Encoder
• FastText, Facebook에서 출시되었습니다
• 포옹 페이스가 방출되는 트랜스포머
• 스파이, 폭발로
• Scikit-Learn

도서관의 원래 작업은 RTI International에 의해 자금을 지원했습니다.

Marcia Underwood의 로고 디자인.