optimate

광학

[유산]

이 저장소는 현재 레거시 단계에 있으며 더 이상 적극적으로 유지되지 않습니다. 소스 코드는 GIT 기록에서 여전히 사용할 수 있지만 추가 업데이트 나 공식 지원은 없습니다.

[Nebuly에 대해]

우리 팀은 LLM을위한 최고의 사용자 경험 플랫폼을 만들기 위해 최선을 다하고있어 회사가 LLM 기반 제품과 상호 작용할 때 규모로 사용자 행동을 이해할 수 있도록합니다.

• 시작 방법에 대한 자세한 내용은 공식 문서를 방문하십시오.
• 기업 지원이 필요한 경우 여기에 문의하십시오

[Optimate 정보]

우리는 커뮤니티에 몇 가지 내부 프로젝트를 오픈 소싱했지만 현재는 유지하고 있지 않습니다. Optimate는 AI 모델을 최적화 할 수 있도록 설계된 라이브러리 모음입니다. Nebuly AI가 개발 한 오픈 소스 프로젝트이지만 적극적으로 유지되지는 않습니다 .

최적화에 도움이되는 도구는 다음과 같습니다.

Speedster : AI 모델을 기본 하드웨어 (GPU 및 CPU)와 가장 잘 부합하는 SOTA 최적화 기술을 활용하여 추론 비용을 줄입니다.

NOS : Kubernetes GPU 클러스터의 활용을 극대화하기 위해 실시간 동적 파티셔닝 및 탄성 할당량을 활용하여 인프라 비용을 줄입니다.

✅ chatllama : 미세 조정 최적화 기술과 RLHF 정렬을 활용하여 하드웨어 및 데이터 비용을 줄입니다.