nlp architect

켈 프로젝트 중단 - 이 프로젝트는 더 이상 인텔에 의해 유지되지 않습니다. 이 프로젝트는 보안 탈출을 알고있는 것으로 확인되었습니다. 인텔은이 프로젝트에 대한 유지 보수, 버그 수정, 새로운 릴리스 또는 업데이트를 포함하여 개발 및 기여를 중단했습니다. 인텔은 더 이상이 프로젝트에 패치를 받아들이지 않습니다.

Intel® AI Lab의 딥 러닝 NLP/NLU 라이브러리

개요 | 모델 | 설치 | 예 | 문서 | 튜토리얼 | 기여

NLP Architect는 최첨단 딥 러닝 토폴로지와 자연어 처리 및 자연어 이해 신경망 이해를위한 기술을 탐색하기위한 오픈 소스 파이썬 라이브러리입니다.

개요

NLP Architect는 유연하고 확장하기 쉽고 응용 프로그램에서 NLP 모델을 쉽고 빠르게 통합 할 수 있도록 설계된 NLP 라이브러리입니다.

특징:

• 많은 NLP 작업에 사용되며 많은 NLP 응용 프로그램에 유용한 핵심 NLP 모델

• 새로운 NLU 모델은 새로운 토폴로지와 기술을 보여줍니다

• 신경 NLP/NLU 모델에 대한 다양한 최적화 알고리즘을 보여주는 최적화 된 NLP/NLU 모델

• 모델 지향 디자인 :

  • 명령 줄에서 모델을 훈련하고 실행합니다.
  • 파이썬에서 추론을위한 모델을 사용하기위한 API.
  • 교육, 추론 또는 처리와 관련된 모든 것을위한 맞춤형 프로세스를 정의하는 절차.
  • 실행 절차를위한 CLI 하위 시스템

• 최적화 된 딥 러닝 프레임 워크를 기반으로합니다.

  • 텐서 플로
  • Pytorch
  • 다이넷

• NLP 모델과의 작업을위한 필수 유틸리티-텍스트/문자열 사전 프로세싱, IO, 데이터 관리, 메트릭, 임베딩.

NLP 아키텍트 설치

새로운 Python 환경에 NLP 아키텍트를 설치하여 최신 pip , setuptools 및 h5py 와 함께 Python 3.6+를 사용하는 것이 좋습니다.

pip 사용하여 설치하십시오

핵심 라이브러리 만 설치하십시오

pip install nlp-architect

소스 (Github)에서 설치

핵심 라이브러리, 예제, 솔루션 및 튜토리얼이 포함되어 있습니다.

git clone https://github.com/IntelLabs/nlp-architect.git
cd nlp-architect
pip install -e .  # install in developer mode

실행 예제 및 솔루션

제공된 예제 및 솔루션을 실행하려면 필요한 추가 패키지를 설치하는 [all] 플래그로 라이브러리를 설치하십시오. (소스에서 설치해야 함)

pip install .[all]

모델

클래스 성능에서 가장 잘 (또는 가까운) 제공하는 NLP 모델 :

• 단어 청킹
• 지명 된 엔티티 인식
• 의존성 구문 분석
• 의도 추출
• 감정 분류
• 언어 모델
• 변압기 (NLP 작업)

자연 언어 이해 (NLU)는 의미 론적 이해를 다루는 모델 :

• 종횡비 기반 감정 분석 (ABSA)
• 공동 의도 감지 및 슬롯 태깅
• 명사구 임베딩 표현 (NP2VEC)
• 가장 일반적인 단어 감지 감지
• 관계 식별
• 교차 문서 Correference
• 명사 구의 시맨틱 세분화

NLP/NLU 모델 및 기타 최적화. 최적화 기술 :

• 양자화 된 버트 (8 비트)
• 변압기를 사용한 지식 증류
• 희소 및 양자화 된 신경 기계 번역 (GNMT)

하나 이상의 모델을 사용하는 솔루션 (엔드 투 엔드 응용 프로그램) :

• 용어 세트 확장 - 포함 된 Word Chunker를 명사구 추출기로 사용하고 NP2VEC를 사용하여 의미 용어 세트를 만듭니다.
• 주제 및 추세 분석 - Temporal Corpora의 트렌드 문구 분석
• 종횡비 기반 감정 분석 (ABSA)

선적 서류 비치

NLP 모델, 알고리즘, 솔루션 및 각 모델을 실행하는 방법에 대한 지침의 전체 라이브러리 문서는 웹 사이트에서 찾을 수 있습니다.

NLP 아키텍트 도서관 디자인 철학

NLP Architect는 소설과 다른 신경망 최적화를 선보이기 위해 설계된 모델 지향 라이브러리입니다. 라이브러리에는 작업 당 NLP/NLU 관련 모델, 다양한 신경망 토폴로지 (모델에서 사용되는), 라이브러리의 워크 플로우를 단순화하기위한 절차, 사전 정의 된 데이터 프로세서 및 데이터 세트 로더 및 기타 유틸리티가 포함되어 있습니다. 라이브러리는 모델 개발 도구로 설계되었습니다. 데이터 사전 프로세스, 모델 빌드, 트레인, 검증, 추론, 저장 또는로드.

주요 설계 지침은 다음과 같습니다.

• 딥 러닝 프레임 워크 Agnostic
• 작업 당 NLP/NLU 모델
• 모델에 사용 된 다른 토폴로지
• 하나 이상의 NLP 아키텍트 모델 사용 엔드 투 엔드 애플리케이션 (솔루션)을 보여줍니다.
• 일반 데이터 세트 로더, 텍스트 데이터 처리 유틸리티 및 NLP 모델 개발 (로더, 텍스트 프로세서, IO, 메트릭 등)을 지원하는 기타 유틸리티
• 교육, 추론, 최적화 또는 모든 종류의 정교한 스크립트를위한 프로세스 정의 절차.
• 추론 모델을 사용하기위한 Pythonic API
• 광범위한 모델 문서 및 튜토리얼

메모

NLP Architect는 연구 개발의 활발한 공간입니다. 향후 새로운 모델, 솔루션, 토폴로지 및 프레임 워크 추가 및 변경 사항을 발표합니다. 우리는 모든 모델이 Python 3.6+로 실행되도록하는 것을 목표로합니다. 우리는 연구원과 개발자가 자신의 작업을 도서관에 기여하도록 권장합니다.

인용

연구에서 NLP 아키텍트를 사용하는 경우 다음 인용을 사용하십시오.

 @misc{izsak_peter_2018_1477518,
  title        = {NLP Architect by Intel AI Lab},
  month        = nov,
  year         = 2018,
  doi          = {10.5281/zenodo.1477518},
  url          = {https://doi.org/10.5281/zenodo.1477518}
}

부인 성명

NLP 아키텍트는 연구 목적으로 참조 코드로 출시됩니다. 공식 인텔 제품이 아니며 공식 제품에서 예상되는 품질과 지원 수준이 예상되지 않을 수 있습니다. NLP Architect는 로컬로 사용되도록 의도되며 생산 사용 또는 웹 배포를 위해 설계, 개발 또는 평가되지 않았습니다. 추가 알고리즘과 환경이 프레임 워크에 추가 될 계획입니다. 오픈 소스 및 NLP 연구 커뮤니티의 피드백과 기여는 환영합니다.

연락하다

GitHub 문제 또는 이메일을 통해 NLP Architect Development Team에 문의하십시오 : [email protected]