Wingman

자체 데이터로 기계 학습 모델 (LLM)을 사전에 사전으로 전송하십시오.
자동화 된 임베딩 생성기 및 모델 Q & A 인터페이스와 함께 제공됩니다.
데모보기 ·보고 버그 · 요청 기능

목차

1. 프로젝트에 대해
   • 데모 애니메이션
   • 구축
2. 시작하기
   • 전제 조건
   • 설치
3. 용법
4. 로드맵
5. 기여
6. 특허
7. 연락하다
8. 감사의 말

프로젝트에 대해

머신 러닝 모델 (LLM)을 자동으로 예측하십시오.

• PDF 파일
• Github 리포지토리
• 로컬 폴더에 HTML 파일을 긁어 냈습니다

이 툴링은 Github Repo URL, PDF 파일 또는 로컬 HTML 파일 폴더 형식으로 입력을 허용하고 다음 작업을 수행합니다.

 generate_embedding_github/pdf.py
• Break apart your input data into manageable chunks
• Send chunked data to Ray Serve Cluster
• Use Ray Cluster to create an embedding from our input chunks

serve run serve:deployment
• Use Ray Cluster to download a Foundational Model
• Load Foundation Model with our Embedding on top
• Start a WebServer and make the Model available via api

query.py "what is the api endpoint to get a list of agents"
• Allow you to interface with the model through the API

이 툴링은 모든 무거운 리프팅이 비하인드 스토리로 추상화 된 간단한 방식으로 특정 지식 소스에 대해 LLM을 훈련시키고 싶은 사람을위한 것입니다.

Wingman은 Ray 클러스터 위에 구축되어 확장 가능하고 분산되거나 하나의 기계에서만 실행할 수 있습니다.

---

데모 애니메이션

⬆️

구축

이 프로젝트 (및 많은 다른 프로젝트)는 다음과 같이 불가능할 것입니다.

링크	이름	개발자	설명
링크	Faiss	페이스 북 연구	밀도가 높은 벡터의 효율적인 유사성 검색 및 클러스터링을위한 라이브러리.
링크	랭케인	랭케인	Langchain은 언어 모델로 구동되는 응용 프로그램을 개발하기위한 프레임 워크입니다.
링크	레이	레이 프로젝트	Ray는 AI 및 Python 응용 프로그램을 스케일링하기위한 통합 프레임 워크입니다. Ray는 핵심 분산 런타임과 ML 워크로드를 가속화하기위한 AI 라이브러리 세트로 구성됩니다.
링크	파이썬	파이썬 소프트웨어 재단	Python은 고급 일반 목적 프로그래밍 언어입니다. 그 설계 철학은 상당한 압입을 사용하여 코드 가독성을 강조합니다.
링크	Pytorch	리눅스 재단	강력한 GPU 가속을 가진 파이썬의 텐서 및 동적 신경망.
링크	아름다운 수프	레너드 리차드슨	Beautiful Soup은 HTML 및 XML 파일에서 데이터를 끌어 내기위한 파이썬 라이브러리입니다. 좋아하는 구문 분석기와 함께 관용적 인 방법을 제공하여 구문 분석 트리를 탐색, 검색 및 수정하는 방법을 제공합니다.
링크	typing_inspect	Ivan Levkivskyi	typing_inspect 모듈은 Python 표준 타이핑 모듈에 정의 된 유형의 런타임 검사를위한 실험 API를 정의합니다.

⬆️

시작하기

로컬 사본을 올리거나 실행하려면 다음을 수행하십시오.

전제 조건

• 16+GB의 VRAM (24GB 권장)
• Linux 또는 WSL
• 원하는 파이썬 가상 환경
  (우리는 미니콘다를 좋아합니다)

설치

프로젝트 폴더에 있고 VenV/Conda 환경을로드 한 후에는 다음을 실행하십시오.

1. PIP 설치 -R 요구 사항 .txt
2. Python generate_embedding_pdf.py ./pathto/local.pdf
3. (선택 사항) 유스 케이스에 맞게 Serve.py에서 프롬프트를 수정하십시오.
4. Serv Run Serv : 배포
5. Python query.py "지정된 에이전트의 데이터 수집을 비활성화하기위한 API 엔드 포인트는 무엇입니까"

UI뿐만 아니라 임시 발사기를 추가하는 것은이 오픈 소스 에디션의 현재 로드맵에 있습니다.

⬆️

용법

 python query.py "what is the api endpoint to disable data collection for a specified agent"
/api/sn_agent/agents/{agent_id}/data/off.

python query.py "what is the api endpoint for the ActivitySubscriptions API"
The API endpoint for the ActivitySubscriptions API is /now/actsub/activities.

python query.py "what is the api endpoint to get a list of agents"
The API endpoint to get a list of agents is "/api/sn_agent/agents/list.

python query.py "what is the api endpoint of the Agent Client Collector API"
The API endpoint of the Agent Client Collector API is "https://<sn_agent-host>:<sn_agent-port>/api/agent-client-collector/admin".

⬆️

로드맵

페이지 번호 인용, 추가 프로그래밍 언어 컴퓨팅 성, 멀티 LLM 파이프 라인 (더 나은 컨텍스트 활용을위한 관련 구절을 요약), Mulimodal Model Support (이미지의 데이터를 기반으로 지식 임베딩을 훈련), 3D 벡터 데이터베이스 (Vector Cloud) 지원 (vector cloud) 지원 (Ingested Support), Moregned Support on About on Morer Expend on About on Morerted on Morerted on Morerted Support를 통한 3D 벡터 데이터베이스 (Vector Cloud)를 통한 정확도가 향상됩니다. 엔터프라이즈 소프트웨어 스위트.

• readme를 만듭니다
• 요구 사항을 만듭니다 .txt
• 요구 사항을 개선합니다 .txt
• 기본 런처 스크립트
• 스크린 샷
• 사용자 인터페이스
• 삽입 라이브러리
• 양자 모델 지원
• kwargs를 통한 신뢰_remote_code
• Advanced Device_map 지원
• 다국어 지원
  • 중국인
  • 스페인 사람
  • 러시아인

제안 된 기능 (및 알려진 문제)의 전체 목록은 열린 문제를 참조하십시오.

⬆️

기여

공헌은 오픈 소스 커뮤니티를 배우고, 영감을주고, 창조 할 수있는 놀라운 장소입니다. 당신이하는 모든 기여는 대단히 감사합니다 .

이를 더 좋게 만드는 제안이 있다면, repo를 포크하고 풀 요청을 만듭니다. "Enhancement"태그에 문제를 열면 간단히 문제를 열 ​​수도 있습니다. 프로젝트에 별을주는 것을 잊지 마십시오! 다시 한 번 감사드립니다!

1. 프로젝트를 포크하십시오
2. 기능 지점 만들기 ( git checkout -b feature/AmazingFeature )
3. 변경 사항을 커밋하십시오 ( git commit -m 'Add some AmazingFeature' )
4. 분기로 git push origin feature/AmazingFeature
5. 풀 요청을 엽니 다

⬆️

특허

상업용 사용 금지.

엔터프라이즈 버전의 상업 라이센스는 당사에 문의하십시오.

⬆️

연락하다

Christian Mirra -LinkedIn

프로젝트 링크 : https://github.com/seemirra/wingman/

⬆️

감사의 말

TODO-이 목록은 현재 불완전합니다

⬆️