local.ai

? lokal.ai

Eine Desktop -App für lokale, private, gesicherte KI -Experimente. Enthält außerhalb der Box sind:

• Eine bekannte Modell-Modell-API und einen Modell-Downloader mit Beschreibungen wie empfohlenen Hardwarespezifikationen, Modelllizenz, Blake3/SHA256 Hashes usw.
• Eine einfache App-A-App mit Inferenzkonfiguration pro Notiz. Der Hinweis und seine Konfiguration werden in ein einfaches Text .mdx -Format ausgegeben
• Ein Modell -Inferenz -Streaming -Server (/Completion -Endpunkt, ähnlich wie OpenAI)

Es ist so hergestellt, dass es neben https://github.com/alexanderatallah/window.ai/ verwendet werden kann, um in kürzester Zeit einen lokalen Inferenzserver in Betrieb zu nehmen. window.ai + local.ai ermöglichen es, jede Web -App KI zu verwenden, ohne Kosten entweder vom Entwickler oder dem Benutzer zu entstehen!

Im Moment verwendet Local.ai die https://github.com/rustformers/llm rost crate im Kern. Probieren Sie sie aus, sie sind super cool!

Installieren

Gehen Sie zur Website unter https://www.localai.app/ und klicken Sie auf die Schaltfläche für die Architektur Ihrer Maschine. Sie können den Build auch manuell auf der GitHub -Release -Seite finden.

Windows und MacOS -Binärdateien sind unter Plasmo Corp. - einem Unternehmen, das dem Autor dieses Projekts gehört (@Louisgv), signiert.

Sie können auch aus der Quelle aufbauen!

Demo

local.ai.demo.v0.2.x.mp4

? Entwicklung

Hier erfahren Sie, wie Sie das Projekt lokal ausführen:

Voraussetzungen

1. Knoten> = 18
2. Rost> = 1,69
3. PNPM> = 8

Workflow

 git submodule update --init --recursive
pnpm i
pnpm dev

? Lizenz

• Desktop/Web -App: GNU GPLV3
• Client SDK: MIT

? Trivia

Warum der Rucksack?

Bindet sich an das eigene Modellkonzept mit, Alex aus Window.ai

Warum GPLV3?

Alles, was KI-bezogene, einschließlich ihrer Derivate, sollte Open-Source für alle inspizieren. GPLV3 erzwingt diese Open-Source-Kette.

Gibt es eine Gemeinschaft?

• Github -Diskussion
• Überprüfen Sie diese Umfrage

Wo soll ich Frage stellen?

• Hier

Ich habe etwas mit local.ai gemacht, wo soll ich es posten?

• Hier

Ich habe ein paar nette Dinge über local.ai zu sagen.ai, wo soll ich es posten?

• Hier
• Erwägen Sie auch, dem Repo einen Stern zu geben.

Die Benennung scheint in der Nähe von Localai zu sein?

• Als ich das Projekt zum ersten Mal startete und die Domain Localai.App bekam, hatte ich keine Ahnung, dass Localai eine Sache war. Ein Freund von mir hat mir Mitte Mai einen Link zu diesem Projekt weitergeleitet, und ich war wie er, lasst uns einfach einen Punkt hinzufügen und es einen Tag (vorerst ...) nennen - lokaler "Punkt" ai gegen localai lol
• Wir könnten das Projekt umbenennen.

Akzeptieren Sie Beitrag/PR?

Absolut - Bitte beachten Sie, dass jeder Beitrag zu diesem Repo unter GPLV3 nachliefen wird. Es gibt viele Möglichkeiten, einen Beitrag zu leisten, z. B.:

• Dokumentation über Wiki -Einreichung und bekannte Modelldokumentation
• Problem mit dem Testen und Einreichen von Fehlerproblemen
• Für Anfänger schauen Sie sich gute erste Ausgaben an
• Für erfahrene Entwickler sehen Sie sich die nicht zugewiesenen Help Want -Themen an