chatty

수다스러운

Chatty 는 WebGPU를 활용하여 브라우저에서 기본적이고 개인적으로 실행하는 개인 AI입니다.

특징

• 브라우저 내 프라이버시 : 모든 AI 모델은 하드웨어에서 로컬 (클라이언트 측)을 실행하여 데이터가 PC에서만 처리되도록합니다. 서버 측 처리가 없습니다!
• 오프라인 : 모델의 초기 다운로드가 처리되면 활성 인터넷 연결없이 사용할 수 있습니다.
• 채팅 기록 : 대화 기록에 액세스하고 관리합니다.
• 새로운 오픈 소스 모델을 지원합니다 : Gemma, LLAMA2 & 3 및 Mistral과 같은 인기있는 오픈 소스 모델과 채팅하십시오!
• 반응 형 디자인 : 휴대 전화가 WebGL을 지원하는 경우 데스크탑에서와 마찬가지로 Chatty를 사용할 수 있습니다.
• 직관적 인 UI : Gemini 및 Chatgpt와 같은 인기있는 AI 인터페이스에서 영감을 얻어 사용자 경험의 유사성을 향상시킵니다.
• Markdown & Code Highlight : Markdown으로 반환 된 메시지는 이러한 코드가 포함 된 메시지가 표시되며 쉽게 액세스 할 수 있도록 강조 표시됩니다.
• 파일과 채팅 : 파일로드 (PDF 및 모든 이진이 아닌 파일 - 코드 파일까지) 및 모델에 대한 질문에 대해 완전히 로컬! Xenovatransformerembeddings & MemoryVectorStore 덕분에 문서가 지역 환경 밖에서 처리되지 않습니다.
• 사용자 정의 메모리 지원 : AI가 더 좋고 개인화 된 응답을 제공 할 수 있도록 사용자 정의 지침/메모리를 추가하십시오.
• 채팅 메시지 내보내기 : 채팅 메시지를 JSON 또는 Markdown 형식으로 원활하게 생성하고 저장합니다.
• 음성 입력 지원 : 음성 상호 작용을 사용하여 모델과 상호 작용합니다.
• 응답 재생 : 당신이 바라는 응답이 아니십니까? 프롬프트를 다시 쓰지 않고도 빨리 재생하십시오.
• Light & Dark Mode : Light & Dark Mode 사이를 전환합니다.

시사

chatty-vid-preview.mp4

왜?

이 프로젝트는 Chatgpt 및 Gemini와 같은 인기있는 AI 인터페이스에서 브라우저 내 경험으로 유명한 AI 인터페이스를 가져 오는 가장 가까운 시도입니다.

브라우저 지원

기본적으로 WebGPU는 크롬과 에지 모두에서 활성화되고 지원됩니다. 그러나 Firefox와 Firefox에서 밤에 활성화 할 수 있습니다. 자세한 내용은 브라우저 호환성을 확인하십시오.

설치 방법

앱을 사용해 보려면이 웹 사이트에서 실시간입니다.

다음은 다음.js 응용 프로그램이며 Node.js (18+) 및 NPM이 설치되어 프로젝트를 로컬로 실행해야합니다.

소스에서 설치하십시오

로컬로 프로젝트를 설정하고 실행하려면 아래 단계를 따르십시오.

1. 명령 프롬프트를 통해 PC의 디렉토리로 저장소를 복제하십시오.

 git clone https://github.com/addyosmani/chatty

2. 폴더 열기 :

 cd chatty

3. 종속성 설치 :

 npm install

4. 개발 서버 시작 :

 npm run dev

5. LocalHost : 3000으로 가서 채팅을 시작하십시오!

도커

메모

Dockerfile은 아직 생산 환경에 최적화되지 않았습니다. 직접하고 싶다면 Nextjs 예제를 확인하십시오.

 docker build -t chattyui .
docker run -d -p 3000:3000 chattyui

또는 docker-compose 사용하십시오.

 docker compose up

변경하고 재건축을 원한다면 docker-compose up --build

로드맵

• 다중 파일 임베딩 : 각 세션마다 한 번에 하나씩 여러 파일을 포함시키는 기능.
• 프롬프트 관리 시스템 : 세션에서 빠르게 사용할 수 있도록 다른 시스템 프롬프트를 선택하고 추가합니다.

기여

기부금은 환영받는 것 이상입니다! 그러나 기고 가이드 라인을 먼저 읽으십시오 :)

하드웨어 요구 사항

메모

모델을 효율적으로 실행하려면 충분한 메모리가있는 GPU가 필요합니다. 7B 모델에는 약 6GB 메모리가있는 GPU가 필요하지만 3B 모델은 약 3GB가 필요합니다.

소규모 모델은 파일 임베딩을 더 큰 모델만큼 효율적으로 처리하지 못할 수 있습니다.

승인 및 크레딧

Chatty는 Huggingf 우리는 그들의 위대한 일을 인정하고 오픈 소스 커뮤니티에 감사하고 싶습니다.

저자

Chatty는 Addy Osmani & Jakob Hoeg Mørk에 의해 만들어지고 유지됩니다.