shady.ai

Shadyai

_{Mon point de vue pour obtenir des modèles d'IA en matière de confidentialité et hors ligne accessibles à autant de personnes que possible. Hors ligne d'abord. Confidentialité d'abord. Open source. Gratuit. Que se passe-t-il à Shadyai, reste à Shadyai . Pas d'annonces. Pas de suivi. Aucune collecte de données. Aucune inscription. Pas d'abonnement. Pas d'achats intégrés. Aucune fonctionnalité premium. Nada. Rien. C'est ça. Ai pur, intentions pures - c'est l'essence de cette application.}

Introduction

Avez-vous déjà remarqué comment l'IA a tendance à se cacher dans l'ombre? Avec une mer de startups arborant des noms cryptiques, Shadyai reconnaît avec espièglerie le penchant d'Ai pour Mystique. C'est un peu de plaisanteries légères. Au contraire, derrière cette façade ludique se trouve un véritable engagement envers la transparence et les pratiques éthiques de l'IA. Shadyai est entièrement open source et se consacre à la clarté, à l'ouverture et à un fort accent mis sur la vie privée.

Il existe de nombreux modèles de pointe sur l'IA hors ligne, et je veux les rattraper. Pensez à segmenter n'importe quoi, lama et le chuchotement. Qu'est-ce que je veux dire par là? Eh bien, je veux faciliter que quiconque utilise les progrès de l'IA de pointe comme ceux-ci sans les obstacles techniques qui l'accompagnent.

Sponsors

• Mon portefeuille vide
• Mon temps libre (je suis un père à temps plein, un employé à temps plein et un chercheur à temps partiel pour obtenir le bon équilibre entre vie professionnelle et vie privée)

Progrès

Les éléments sont susceptibles de changer. Cette liste n'est pas exhaustive, je vais la mettre à jour au fur et à mesure.

Celui qui est activement travaillé est marqué d'un? emoji.

• Faites une glissière avec Flutter (bonus: contribuez les modifications personnalisées en arrière)
• Générer des liaisons de fléchettes pour llama.cpp
• Générer .Dylib pour macOS (ARM64) (bonus: avec artefact métal pour l'accélération GPU)
• Chargez avec succès l'instance de lama avec du dylib
• Modèle de chargement de chargement avec succès au format GGUF avec les paramètres de contexte lama par défaut
• Exécuter avec succès l'inférence sur le modèle LLAMA avec des invites personnalisées
• Ajoutez une expérience de démarrage rapide à l'application
• ? Créez un plugin FFI FFI FLUTTROFFLOGGENT pour alimenter vos propres applications de la même manière (sans les innombrables nuits de frustation)
• Étendre les plates-formes prises en charge:
  • macOS (ARM64)
  • macOS (x86_64)
  • Windows (x86_64)
  • Linux (x86_64)
  • Android (ARM64)
  • iOS (ARM64)
  • Web (Shadyai pour le Web devrait avoir une prise en charge de WebGPU)
• Semaine 11 Spike (2 jours): Texte à l'image, segmentation, parole à texte.
• Publier des vidéos, des articles de blog (s), ajouter des visuels (par exemple dans Readme) et rassembler les premiers commentaires.

Caractéristiques

Les éléments sont susceptibles de changer. Cette liste n'est pas exhaustive, je vais la mettre à jour au fur et à mesure.

• Posez une seule question à ai. (Exemple: "Quel est le sens de la vie?")
• Donnez à AI une seule instruction. (Exemple: "Écrivez un widget de flottement avec un bouton qui dit" Hello World "")
• Choisissez parmi les modèles d'invite prédéfinis.
• Commencez rapidement en utilisant le modèle AI minuscule mais mi-temps intégré. (Remarque: c'est le modèle Tinystories de <100 Mo, super pour générer des histoires courtes. Je garde un œil sur plusieurs modèles ~ 1B) cependant)
• Demandez à l'IA générer une image basée sur une brève description. (Exemple: "un chat avec un chapeau")
• Conversation de chat en cours avec l'IA. (Comme parler à un ami, avec une torsion)
• Traduire le texte dans une autre langue.
• Copiez la voix de n'importe qui et dites tout ce que vous voulez.
• Faites de la musique avec AI.
• Faites de courtes vidéos avec AI.

Si vous souhaitez voir une fonctionnalité implémentée, veuillez ouvrir un problème.

Appareils vérifiés

Voici une liste des appareils sur lesquels j'ai testé Shadyai. Ce n'est pas une liste exhaustive, votre appareil devrait également fonctionner. Si ce n'est pas le cas, faites-le moi savoir en ouvrant un problème.

• MacBook Pro (16 pouces, 2021).
  • MacOS Ventura - Version 13.5.1
  • Chip: Apple M1 Pro
  • Mémoire: 16 Go

Expérimental

Shadyai pourrait également fonctionner en visitant simplement Shady.ai. C'est très expérimental, ne soyez pas encore trop excité!

Ce site Web est fraîchement cuit du four tous les soirs à 00:00 UTC, comme on le voit sur cette page de déploiements.

Bricolage

Faites-le vous-même. Vous avez le code source, voici comment vous pouvez le construire

1. Installez Flutter et assurez-vous que vous pouvez exécuter leur exemple d'application (compteur de l'application).
2. Installez FVM (Flutter Version Manager) et assurez-vous que vous pouvez l'exécuter (par exemple fvm --version Sorties 2.4.1 au moment de la rédaction de cet article).
3. Ouvrez votre terminal, accédez à la racine de ce projet (par exemple cd ~/my-favorite-projects/shady.ai )
4. Accédez à la frontend: cd shady_ai_flutter
5. Installer la même version de Flutter: fvm install
6. Enfin, exécutez l'application avec: flutter run (si plusieurs plates-formes sont détectées, par exemple macOS et votre téléphone, vous serez invité à choisir 1 appareil)

Référence

Mon père, le boucher à la retraite au milieu des années 70, va être la référence.

Pour que l'indice de référence passe, cette liste de contrôle doit être terminée.

Liste de contrôle:

• Dites à papa de télécharger l'application.
• Demandez-lui d'avoir une conversation avec l'application. C'est un laissez-passer s'il discute avec l'IA pendant au moins 5 minutes.
• Demandez-lui de générer une image. C'est un laissez-passer s'il est capable de générer une image, il est satisfait du résultat et il est capable de le partager avec n'importe qui.

S'il n'est pas terminé, c'est un échec. S'il est terminé, c'est un laissez-passer.

À propos de mon père.

Il est dans le milieu des années 70. Grande mémoire. Oublie toujours ma date de naissance, mais se souvient d'une manière ou d'une autre sur ses clients d'il y a 30 ans. A un grand sens de l'humour. Oh, attendez une minute, sa mémoire n'est pas si géniale après tout. Pourtant, c'est un grand père.

Dites bonjour à mon père:

Pile technologique

• Flutter - Frontend (en fléchette)
• Lama.cpp - me permet d'exécuter l'un des modèles de Blinkdl sur le CPU, une inférence rapide.
• Système de conception - Système de conception fabriqué par Google. M'aide à obtenir un thème composé de l'application dans moins d'efforts que de tout faire moi-même.
• Et bien d'autres ...
• ServerPod - backend (en fléchette). Shadyai n'utilise actuellement aucun backend. Mais je prévois d'utiliser ServerPod pour faciliter plus tard l'exécution de modèles puissants que vous pouvez déployer sur votre propre serveur. Je parie que les gens de R / auto-hostués adoreraient ça. Je sais que je le ferais. Imaginez simplement une ligne de commande unique pour exécuter une image Docker qui exécute un modèle AI puissant (ou plusieurs modèles) auquel vous pouvez accéder de n'importe où. C'est le rêve. Je n'y suis pas encore, mais je travaille dessus.

FAQ

Q: Qu'est-ce qui est si louche à ce sujet?

R: Ironiquement, rien du tout. Le nom Shadyai est une tournure ludique, faisant allusion à la nature souvent mystérieuse de l'IA. Si l'utiliser vous rend «ombragé», eh bien, ce sera notre petit secret. Conclusion? Ce qui se passe à Shadyai reste à Shadyai.

Q: Quels conseils avez-vous pour quelqu'un qui veut construire quelque chose comme ça?

R: Cela commence par la passion. Sauter dans le train parce que quelque chose "in Vogue" ne vous soutiendra pas à long terme. Les tendances sont éphémères. Plongez profondément dans le sujet - dans ce cas, Ai. Comprenez ses capacités et réfléchissez de manière critique aux problèmes du monde réel que vous avez hâte de vous attaquer. Pour moi, il ne s'agit pas seulement de parler du potentiel d'Ai; Il s'agit de le démontrer, de le rendre tangible et accessible à tous. J'utilise une référence simple: si mes parents commencent à l'utiliser volontairement, je sais que je suis sur quelque chose. C'est un voyage, et même si je n'y suis pas encore, je suis déterminé sur le chemin.

Clause de non-responsabilité

Ce projet n'est pas affilié à Meta, OpenAI ou toute autre entreprise. Ceci est un projet personnel réalisé par moi. Shadyai, moi-même, et toute autre personne impliquée dans ce projet ne sont pas responsables des dommages causés par l'utilisation de cette application. Utiliser à vos risques et périls.

Licence

Voir le fichier de licence.

Contributif

N'hésitez pas à ouvrir un problème ou une demande de traction. Je suis ouvert à toutes les suggestions.

Amis de Shadyai

• LLAMA.DART - RÉCIRMATIONS DART POUR LLAMA.CPP. Fait par moi.
• LLAMA.CPP - C ++ Library pour la construction et l'exécution de modèles AI localement.
• Flutter Perth - Perth's Flutter Meetup Group. Je suis l'organisateur. Rejoignez mes rencontres en ligne régulières pour en savoir plus sur Flutter et l'IA.