local.ai

? local.ai

Une application de bureau pour l'expérimentation de l'IA locale, privée et sécurisée. Inclus hors de la boîte sont:

• Une API de modèle connu et un téléchargeur de modèles, avec des descriptions telles que les spécifications matérielles recommandées, la licence de modèle, les hachages Blake3 / Sha256, etc.
• Une application simple de prise de notes, avec configuration d'inférence par note. La note et sa configuration sont sorties au format de texte brut .mdx
• Un modèle de streaming d'inférence du modèle (/ point de terminaison d'achèvement, similaire à OpenAI)

Il est fait pour être utilisé aux côtés de https://github.com/alexanderatallah/window.ai/ comme moyen simple d'avoir un serveur d'inférence local opérationnel en un rien de temps. window.ai + local.ai activez chaque application Web pour utiliser l'IA sans encourir de coût du développeur ou de l'utilisateur!

À l'heure actuelle, Local.ai utilise la caisse de rouille https://github.com/rustformers/llm. Vérifiez-les, ils sont super cool!

Installer

Accédez au site à https://www.localai.app/ et cliquez sur le bouton de l'architecture de votre machine. Vous pouvez également trouver la construction manuellement dans la page de libération GitHub.

Les binaires Windows et MacOS sont signés sous Plasmo Corp. - une entreprise appartenant à l'auteur de ce projet (@LouisGV).

Vous pouvez également construire à partir de la source!

Démo

local.ai.demo.v0.2.x.mp4

? Développement

Voici comment gérer le projet localement:

Condition préalable

1. nœud> = 18
2. Rust> = 1,69
3. pnpm> = 8

Flux de travail

 git submodule update --init --recursive
pnpm i
pnpm dev

? Licence

• Bureau / application Web: GNU GPLV3
• SDK client: MIT

? Trivia

Pourquoi le sac à dos?

Liens dans le concept Bring Your Own Model - Alex de Window.ai

Pourquoi gplv3?

Tout ce qui est lié à l'IA, y compris leurs dérivés, devrait être open-source pour que tous puissent inspecter. GPLV3 applique cette chaîne d'Open-source.

Y a-t-il une communauté?

• Discussion GitHub
• Découvrez ce sondage

Où dois-je poser des questions?

• Ici

J'ai fait quelque chose avec local.ai , où dois-je le publier?

• Ici

J'ai de belles choses à dire sur local.ai , où dois-je la publier?

• Ici
• Envisagez également de donner au repo une étoile ️

La dénomination semble proche de la local?

• Quand j'ai commencé le projet et j'ai obtenu le domaine localai.app, je ne savais pas que localai était une chose. Un de mes amis m'a transmis un lien vers ce projet à la mi-mai, et j'étais comme Dang it, ajoutons simplement un point et appelons ça un jour (pour l'instant ...) - "Dot" local vs localai lol
• Nous pourrions renommer le projet.

Acceptez-vous la contribution / les PR?

Absolument - veuillez noter que toute contribution à ce dépôt doit être affligé par GPLV3. Il existe de nombreuses façons de contribuer, comme:

• Documentation via Wiki Modifier la soumission et la documentation du modèle connu
• Test et dépôt du problème des bogues
• Pour débutant, consultez les bons premiers problèmes
• Pour les développeurs chevronnés, consultez les problèmes de recherche d'aide non attribuée