web llm chat

Bate -papo webllm

Conversas privadas de IA, totalmente no navegador.

Converse agora

webllmchat.webm

Visão geral

O Webllm Chat é uma interface de bate-papo privada de IA que combina WebLlm com um design amigável, aproveitando o WebGPU para executar grandes modelos de idiomas (LLMS) nativamente no seu navegador. Desfrute de uma experiência de conversa sem precedentes, particulares e acessíveis.

Principais recursos

• A IA nativa para navegador : Experiência modelos de idiomas de ponta em execução nativamente dentro do seu navegador da Web com aceleração do WebGPU, eliminando a necessidade de processamento do lado do servidor ou dependências em nuvem.
• Privacidade Ganranteed : com o modelo de IA em execução localmente em seu hardware e todo o processamento de dados acontecendo dentro do seu navegador, seus dados e conversas nunca saem do computador, garantindo sua privacidade.
• Acessibilidade offline : Execute totalmente offline após a configuração e download inicial, permitindo que você se envolva com conversas movidas a IA sem uma conexão ativa na Internet.
• Suporte ao modelo de visão : converse com a IA enviando e enviando imagens, facilitando a obtenção de informações e respostas com base no conteúdo visual.
• Interface amigável : aproveite a interface de usuário intuitiva e rica em recursos, completa com suporte de remarca, modo escuro e um design responsivo otimizado para vários tamanhos de tela.
• Modelos personalizados : conecte-se a qualquer modelo de idioma personalizado em seu ambiente local através do MLC-LLM. Para obter detalhes, verifique a seção Usar modelos personalizados.
• Código aberto e personalizável : Crie e personalize seus próprios aplicativos movidos a IA com nossa estrutura de código aberto.

O WebllM Chat é uma iniciativa pioneira que combina os recursos robustos de back-end do WebLlm com a interface amigável do NextChat. Como parte da família MLC.ai mais ampla, este projeto contribui para nossa missão de democratizar a tecnologia de IA, tornando as ferramentas poderosas acessíveis diretamente aos usuários finais. Ao integrar-se ao NextChat, o Webllm Chat não apenas aprimora a experiência de bate-papo, mas também amplia o escopo da implantação de modelos de linguagem auto-hospedados e personalizáveis.

Modelos internos

O WebllM Chat suporta modelos de construção do WebLLM. Você pode encontrar a lista completa aqui.

Use modelos personalizados

O WebLLM Chat suporta modelos de linguagem personalizados através do MLC-LLM. Siga as etapas a seguir para usar modelos personalizados em seu ambiente local:

1. (Opcional) Compilar o modelo no formato MLC seguindo as instruções.

2. API REST do host através do MLC-LLM seguindo as instruções.

3. Vá para o bate-papo do Webllm, selecione "Configurações" na barra lateral e selecione "MLC-LLM REST API (Avançado)" como "Tipo de modelo" e digite o URL do ponto de extremidade da API REST da Etapa 2.

Desenvolvimento

 # 1. install nodejs and yarn first
# 2. config local env vars in `.env.local`
# 3. run
yarn install
yarn dev

Implantação

Construir

Você pode construir o aplicativo como uma construção próxima.js usando yarn build ou como um site estático usando yarn export . Para mais informações, verifique a documentação Next.js;

Docker

docker build -t webllm_chat .
docker run -d -p 3000:3000 webllm_chat

Você pode começar o serviço atrás de um proxy:

docker build -t webllm_chat .
docker run -d -p 3000:3000 
   -e PROXY_URL=http://localhost:7890 
   webllm_chat

Se o seu proxy precisar de senha, use:

-e PROXY_URL= " http://127.0.0.1:7890 user pass " 

Comunidade e contribuições

O bate -papo do Webllm prospera no envolvimento da comunidade. Estamos comprometidos em promover uma comunidade inclusiva e inovadora, onde desenvolvedores e entusiastas da IA ​​podem colaborar, contribuir e ultrapassar os limites do que é possível na tecnologia de IA. Junte -se a nós na Discord para se conectar com colegas desenvolvedores e contribuir para o projeto.

Agradecimentos

O WebllM Chat é um projeto complementar do Webllm e é construído sobre o notável trabalho do NextChat. Estendemos nossa sincera gratidão aos desenvolvedores e colaboradores desses projetos por seus inestimáveis ​​esforços no avanço do campo da IA ​​baseada em navegador e na criação de interfaces de bate-papo amigáveis ​​ao navegador.

Além disso, este projeto só é possível graças aos ombros de ecossistemas de código aberto em que estamos. Queremos agradecer à comunidade Apache TVM e aos desenvolvedores do esforço da TVM Unity. Os membros da comunidade ML de código aberto disponibilizaram esses modelos publicamente. As comunidades de pytorch e abraços de rosto tornam esses modelos acessíveis. Gostaríamos de agradecer às equipes por trás de Vicuna, Frendencepiece, Llama, Alpaca. Também gostaríamos de agradecer às comunidades WebAssembly, EMScriptten e WebGPU. Finalmente, graças aos desenvolvedores de Dawn e WebGPU.