llm deploy

LLM 배치

이 튜토리얼은 모델/LLM 추론 및 배치 이론 및 실습에 중점을두고 있으며 LLM 추론 및 배치 기술을 마스터하는 파트너가되는 것을 목표로합니다. 이 분야의 새로 온 사람이든, 전문 기술을 심화시키려는 베테랑이든, 여기에서 큰 언어 모델을 성공적으로 배포하는 핵심 경로를 찾을 수 있습니다.

프로젝트 제안 이유

추론과 배치 부족을 보충하십시오. 이 분야에 관심이있는 더 많은 학생들이나 업계 내외의 실무자에게 좋은 입문 정보를 제공하십시오.

프로젝트 청중

• 알고리즘 엔지니어.
• 추론 배치에 관심이있는 학생들.

프로젝트 하이라이트

1. 관련 이론과 관행은 추론으로 전개됩니다.
2. 모델 및 서비스 최적화 관행.
3. 실질적인 경험을 가진 많은 엔지니어의 포괄적 인 결과.

기여에 참여하십시오

• 프로젝트에 참여하려면 프로젝트의 문제를보고 할당되지 않은 작업을 볼 수 있습니다.
• 몇 가지 문제를 발견하면 자유롭게 피드백을 제공하십시오.
• 이 프로젝트에 관심이 있고 참여하고 싶다면 토론을 통해 의사 소통 할 수 있습니다.

Datawhale에 관심이 있고 새로운 프로젝트를 시작하려면 Datawhale 기부 안내서를 확인하십시오.

기고자 목록

이름	책임	소개	동영상
Changqin, Yuli	프로젝트 리더
마올린	1 장 담당자	부량	링크
유페이	2 장 담당자	증류
율리	3 장 : 담당자	전정	링크
Wangyin	4 장 : 담당자	낮은 순위 분해
슈 팬	5 장 : 담당자	표현하다	링크
봄 태양	6 장 : 담당자	달리다
양 쿠오	7 장 : 담당자	액자
Xue Boyang	8 장 담당자	평행한	링크
저지 장	제 9 장 : 담당자	경쟁 상대	링크
Li Taiying	10 장 담당자	메모리

참고 : 헤더를 사용자 정의 할 수 있지만 프로젝트 관리자는 목록에 표시되어야합니다.

우리를 따르십시오

공식 계정을 따르려면 아래 QR 코드를 스캔하십시오 : Datawhale

특허

이 작업은 Creative Commons Attribution-Non-Commercial-Share 4.0 International License에 따라 라이센스가 부여됩니다.

참고 : CC 4.0 프로토콜은 기본적으로 사용되며 다른 프로토콜은 자체 프로젝트 상황에 따라 선택할 수도 있습니다.