local.ai

? local.ai

Una aplicación de escritorio para la experimentación de IA local, privada y asegurada. Incluido fuera de la caja son:

• Una API modelo conocida y un descargador de modelos, con descripciones como especificaciones de hardware recomendadas, licencia de modelo, hashes Blake3/Sha256, etc.
• Una aplicación de toma de notas simple, con configuración de inferencia por nota. La nota y su configuración se emiten en formato de texto plano .mdx
• Un servidor de transmisión de inferencia de modelo (/punto final de finalización, similar a OpenAI)

Está hecho para usarse junto con https://github.com/alexanderatallah/window.ai/ como una forma simple de tener un servidor de inferencia local en funcionamiento en poco tiempo. Window.ai + local.ai Habilite cada aplicación web para utilizar AI sin incurrir en ningún costo del desarrollador o del usuario.

En este momento, Local.ai usa https://github.com/rustformers/llm Rust Crate en su núcleo. ¡Míralos, son súper geniales!

Instalar

Vaya al sitio en https://www.localai.app/ y haga clic en el botón para la arquitectura de su máquina. También puede encontrar la compilación manualmente en la página de lanzamiento de GitHub.

Los binarios de Windows y MacOS están firmados bajo Plasmo Corp., una empresa propiedad del autor de este proyecto (@louisgv).

¡También puede construir desde la fuente!

Manifestación

local.ai.demo.v0.2.x.mp4

? Desarrollo

Aquí le mostramos cómo ejecutar el proyecto localmente:

Requisitos previos

1. nodo> = 18
2. óxido> = 1.69
3. PNPM> = 8

Flujo de trabajo

 git submodule update --init --recursive
pnpm i
pnpm dev

? Licencia

• Aplicación de escritorio/web: GNU GPLV3
• SDK del cliente: MIT

? Trivialidades

¿Por qué la mochila?

Se relaciona con el concepto de traer su propio modelo - Alex desde Window.ai

¿Por qué GPLV3?

Cualquier cosa relacionada con la IA, incluida sus derivadas, debe ser de código abierto para que todos inspeccionen. GPLV3 hace cumplir esta cadena de código abierto.

¿Hay una comunidad?

• Discusión de Github
• Vea esta encuesta

¿Dónde debo hacer la pregunta?

• Aquí

Hice algo con local.ai , ¿dónde debo publicarlo?

• Aquí

Tengo algunas cosas bonitas que decir sobre local.ai , ¿dónde debo publicarlo?

• Aquí
• Además, considere darle al repositorio una estrella ️

¿El nombramiento parece cercano a Localai?

• Cuando comencé el proyecto por primera vez y obtuve el dominio locali.app, no tenía idea de que Localai era una cosa. Un amigo mío me envió un enlace a ese proyecto a mediados de mayo, y yo era como Dang It, solo agregamos un punto y llamamos un día (por ahora ...) - Local "Dot" ai vs Localai Lol
• Podríamos cambiar el nombre del proyecto.

¿Aceptas la contribución/PR?

Absolutamente, tenga en cuenta que cualquier contribución a este repositorio se relacionará bajo GPLV3. Hay muchas formas de contribuir, como:

• Documentación a través de Wiki Editar envío y documentación del modelo conocida
• Problema de errores de prueba y presentación
• Para principiante, mira buenos primeros problemas
• Para los desarrolladores experimentados, echa un vistazo a los problemas de ayuda de ayuda no asignada