GUNDAM 다운로드 - GUNDAM 소스 코드 다운로드

GUNDAM

AI 소스 코드

1.0.0

다운로드

Golden Plug-In Data Manager (Gundam)

프로젝트 | 종이 | 선적 서류 비치

Gundam은 언어 모델을 사용하여 Pytorch에 구축 된 텍스트 데이터를 효율적으로 처리하는 데이터 관리자입니다. Gundam은 다음과 같습니다.

종합 : Gundam은 제안 된 광부, GPT-2 기반 발전기 및 데모 리트리버를 포함한 데이터 관리자를 제공하며 이러한 모든 구성 요소는 확장 가능합니다.
Flexible : Gundam은 다양한 크기의 GPT-2 언어 모델을 지원합니다.
효율적인 : Gundam은 데이터 품질을 확인하기 위해 효율적인 일대일 광부를 제공합니다.

간단한 소개

Gundam은 언어 모델에 조절 된 데그 인 데모의 충분 성과 필요성을 측정하는 새로운 데이터 관리 프레임 워크입니다. 우리는 제안 된 충분 성과 필요성 메트릭이 데모 인스턴스 (즉, 인스턴스 레벨)와 데모 세트 (즉, 세트 레벨) 모두에서 작동 할 수 있음을 보여줍니다. 따라서 골든 플러그인 세트로 명명 된 충분하고 필요한 플러그인 데이터 세트는 유익한 샘플을 포함한 핵심 세트로 간주 될 수 있습니다. 가능한 모든 서브 세트를 열거하고 측정하는 것은 불가능하기 때문에 Golden 플러그인 세트를 채굴하기 위해 새로운 트리 기반 검색 알고리즘을 설계합니다. Golden Plug-In 세트는 온라인 계산 비용을 절약하기 위해 사전 계산 및 저장 될 수 있습니다. 이와 관련하여, 비모수 적 데모 리트리버는 전체 데이터 코퍼스 대신 저장된 골든 플러그인 세트에서 수행 할 수있어 불충분하거나 불필요한 데모를 검색하지 않도록 할 수 있습니다. 또한, 많은 실제 데이터 코퍼스가 계속 성장할 것이라는 점을 고려할 때, 우리는 변경된 모든 및 변경되지 않은 부품에 대해 Gundam을 다시 컴퓨팅하는 것을 피하기 위해 증분 업데이트 알고리즘을 개발합니다.

사용 사례

Gundam의 중요한 장점은 Gundam의 핵심 아이디어는 주어진 언어 모델과 관련하여 데이터 품질을 보여주기 위해 저장된 데이터에 다른 우선 순위 레벨을 할당하는 것이기 때문에 Gundam을 기존 데이터 관리 플랫폼에 쉽게 배포 할 수 있다는 것입니다.

TODO (2023/07/24의 최신 업데이트)

감독되지 않은 학습 환경 (일명, 소수의 추론) 및 감독 학습 설정 (일명, 워밍업 추론)에서 일대일 광부 및 GPT-2 기반 발전기의 기본 버전을 출시하십시오.
랜덤 기반 데모 리트리버, 관련성 기반 데모 리트리버 및 다양성 기반 데모 리트리버를 지원합니다.
쌍 투 1 광부 및 GPT-3 기반 발전기를 지원합니다.
충분하고 필요한 텍스트 데이터 세트를 릴리스합니다.
자세한 문서 자습서 및 README 지침을 릴리스하십시오.

인용 핵심

 @software { GUNDAM ,
  author = { Jiarui Jin, Yuwei Wu, Mengyue Yang, Xiaoting He, Weinan Zhang, Yiming Yang, Yong Yu, and Jun Wang } ,
  title = { GUNDAM: A Data-Centric Manager for Your Plug-in Data with Language Models } ,
  year = { 2023 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  version = { 0.0 } ,
  howpublished = { url{https://github.com/GUNDAM-Labet/GUNDAM} } ,
}