chatty

Hablador

Chatty es su IA privada que aprovecha WebGPU para ejecutar grandes modelos de idiomas (LLM) de forma nativa y privada en su navegador, lo que le brinda la experiencia de IA de IA más rica en el navegador.

Características

• Privacidad en el navegador: todos los modelos de IA se ejecutan localmente (lado del cliente) en su hardware, asegurando que sus datos se procesen solo en su PC. ¡No hay procesamiento del lado del servidor!
• Fuera de línea: una vez que se procese la descarga inicial de un modelo, podrá usarla sin una conexión a Internet activa.
• Historial de chat: acceda y administre el historial de su conversación.
• Admite nuevos modelos de código abierto: ¡ Chat con modelos populares de código abierto como Gemma, Llama2 y 3 y Mistral!
• Diseño receptivo: si su teléfono admite WebGL, podrá usar Chatty como lo haría en el escritorio.
• UI intuitiva: inspirada en interfaces de IA populares como Gemini y ChatGPT para mejorar la similitud en la experiencia del usuario.
• Markdown & Code destacado: los mensajes devueltos como Markdown se mostrarán como tales y los mensajes que incluyen el código, se resaltarán para facilitar el acceso.
• Chat con archivos: Cargue archivos (PDF y todos los archivos no binarios compatibles, incluso archivos de código) y haga las preguntas de los modelos sobre ellos, ¡totalmente locales! Sus documentos nunca se procesan fuera de su entorno local, gracias a XenovatransformerEmbeddings y MemoryVectorStore
• Soporte de memoria personalizada: agregue instrucciones/memoria personalizadas para permitir que la IA proporcione respuestas mejores y más personalizadas.
• Exportar mensajes de chat: genere y guarde sin problemas sus mensajes de chat en formato JSON o Markdown.
• Soporte de entrada de voz: use interacciones de voz para interactuar con los modelos.
• Regenerar respuestas: ¿No es la respuesta que esperaba? Regenerarlo rápidamente sin tener que volver a escribir su mensaje nuevamente.
• Modo Light & Dark: Cambie entre el modo Light y Dark.

Avance

chatty-vid-preview.mp4

¿Por qué?

Este proyecto está destinado a ser el intento más cercano de llevar la Familidad y la Funcionalidad de las interfaces de IA populares como ChatGPT y Gemini a una experiencia en el navegador.

Soporte del navegador

Por defecto, WebGPU está habilitado y admitido tanto en Chrome como en Edge. Sin embargo, es posible habilitarlo en Firefox y Firefox todas las noches. Consulte la compatibilidad del navegador para obtener más información.

Cómo instalar

Si solo desea probar la aplicación, está en vivo en este sitio web.

Esta es una aplicación Next.js y requiere Node.js (18+) y NPM instalados para ejecutar el proyecto localmente.

Instalar desde la fuente

Si desea configurar y ejecutar el proyecto localmente, siga los pasos a continuación:

1. Clone el repositorio a un directorio en su PC a través del símbolo del sistema:

 git clone https://github.com/addyosmani/chatty

2. Abra la carpeta:

 cd chatty

3. Instalar dependencias:

 npm install

4. Inicie el servidor de desarrollo:

 npm run dev

5. Vaya a Localhost: 3000 y comience a chatear!

Estibador

Nota

El Dockerfile aún no se ha optimizado para un entorno de producción. Si desea hacerlo usted mismo, consulte el ejemplo de NextJS

 docker build -t chattyui .
docker run -d -p 3000:3000 chattyui

O use docker-compose :

 docker compose up

Si ha realizado cambios y desea reconstruir, simplemente puede ejecutar docker-compose up --build

Hoja de ruta

• Múltiples incrustaciones de archivos: la capacidad de incrustar múltiples archivos en lugar de uno a la vez para cada sesión.
• Sistema de administración de solicitud: Seleccione y agregue diferentes indicaciones del sistema para usar rápidamente en una sesión.

Que contribuye

¡Las contribuciones son más que bienvenidas! Sin embargo, asegúrese de leer las pautas contribuyentes primero :)

Requisitos de hardware

Nota

Para ejecutar los modelos de manera eficiente, necesitará una GPU con suficiente memoria. Los modelos 7B requieren una GPU con una memoria de aproximadamente 6 GB, mientras que los modelos 3B requieren alrededor de 3 GB.

Es posible que los modelos más pequeños no puedan procesar las integridades de archivos tan eficientes como los más grandes.

Agradecimientos y créditos

Chatty está construido utilizando el proyecto WEBLLM, utilizando Huggingface, Open Source LLMS y Langchain. Queremos reconocer su gran trabajo y agradecer a la comunidad de código abierto.

Autores

Chatty es creado y mantenido por Addy Osmani y Jakob Hoeg Mørk.