chatty

Falado

Chatty é a sua IA privada que utiliza o WebGPU para executar grandes modelos de idiomas (LLMS) nativamente e privadamente no seu navegador, trazendo a você a experiência mais rica de AI no navegador.

Características

• Privacidade no navegador: Todos os modelos de IA são executados localmente (lado do cliente) no seu hardware, garantindo que seus dados sejam processados ​​apenas no seu PC. Sem processamento do lado do servidor!
• Offline: Uma vez processado o download inicial de um modelo, você poderá usá -lo sem uma conexão ativa na Internet.
• Histórico de bate -papo: acesse e gerencie seu histórico de conversas.
• Suporta novos modelos de código aberto: converse com modelos populares de código aberto, como Gemma, Llama2 e 3 e Mistral!
• Design responsivo: se o seu telefone suportar WebGL, você poderá usar conversas como faria no desktop.
• UI intuitiva: inspirado em interfaces populares de IA, como Gemini e ChatGPT, para aumentar a similaridade na experiência do usuário.
• Destaque de Markdown e Código: As mensagens retornadas como Markdown serão exibidas como tal e mensagens que incluem código, serão destacadas para facilitar o acesso.
• Converse com os arquivos: Carregar arquivos (PDF e todos os arquivos não binários suportados - até arquivos de código) e faça as perguntas dos modelos sobre eles - totalmente local! Seus documentos nunca são processados ​​fora do seu ambiente local, graças a XenovatransformeMebbeddings & MemoryVectorStore
• Suporte de memória personalizada: Adicione instruções/memória personalizadas para permitir que a IA forneça respostas melhores e mais personalizadas.
• Exportar mensagens de bate -papo: gerar e salvar perfeitamente suas mensagens de bate -papo no formato JSON ou Markdown.
• Suporte de entrada de voz: use interações de voz para interagir com os modelos.
• Regenerar respostas: não é exatamente a resposta que você esperava? Regenere -o rapidamente sem ter que escrever seu prompt novamente.
• Modo claro e escuro: alterne entre o modo claro e escuro.

Visualização

Chatty-vid-preview.mp4

Por que?

Este projeto deve ser a tentativa mais próxima de trazer a família e a funcionalidade de interfaces populares de IA, como ChatGPT e Gemini, para uma experiência no navegador.

Suporte do navegador

Por padrão, o WebGPU é ativado e suportado no Chrome e no Edge. No entanto, é possível habilitá -lo no Firefox e no Firefox todas as noites. Verifique a compatibilidade do navegador para obter mais informações.

Como instalar

Se você deseja apenas experimentar o aplicativo, ele está ao vivo neste site.

Este é um aplicativo Next.js e requer Node.js (18+) e NPM instalados para executar o projeto localmente.

Instale da fonte

Se você deseja configurar e executar o projeto localmente, siga as etapas abaixo:

1. Clone o repositório para um diretório no seu PC via prompt de comando:

 git clone https://github.com/addyosmani/chatty

2. Abra a pasta:

 cd chatty

3. Instale dependências:

 npm install

4. Inicie o servidor de desenvolvimento:

 npm run dev

5. Vá para localhost: 3000 e comece a conversar!

Docker

Observação

O Dockerfile ainda não foi otimizado para um ambiente de produção. Se você deseja fazer isso a si mesmo, consulte o exemplo do próximojs

 docker build -t chattyui .
docker run -d -p 3000:3000 chattyui

Ou use docker-compose :

 docker compose up

Se você fez alterações e deseja se reconstruir, você pode simplesmente executar docker-compose up --build

Roteiro

• Múltiplas incorporações de arquivos: a capacidade de incorporar vários arquivos em vez de um de cada vez para cada sessão.
• Sistema de gerenciamento rápido: selecione e adicione diferentes prompts do sistema para usar rapidamente em uma sessão.

Contribuindo

As contribuições são mais do que bem -vindas! No entanto, certifique -se de ler as diretrizes contribuintes primeiro :)

Requisitos de hardware

Observação

Para executar os modelos com eficiência, você precisará de uma GPU com memória suficiente. Os modelos 7b requerem uma GPU com memória de cerca de 6 GB, enquanto os modelos 3b requerem cerca de 3 GB.

Modelos menores podem não ser capazes de processar incorporações de arquivos tão eficientes quanto os maiores.

Agradecimentos e créditos

Chatty é construído usando o projeto Webllm, utilizando o HuggingFace, o Open Source LLMS e o Langchain. Queremos reconhecer seu excelente trabalho e agradecer à comunidade de código aberto.

Autores

A conversação é criada e mantida por Addy Osmani e Jakob Hoeg Mørk.