shady.ai

Shadyai

_{Mi opinión para obtener modelos AI fuera de línea amigables con la privacidad accesibles para la mayor cantidad de personas posible. Fuera de línea primero. Privacidad primero. Código abierto. Gratis. Lo que sucede en Shadyai, se queda en Shadyai . Sin anuncios. Sin seguimiento. Sin recopilación de datos. Sin registro. Sin suscripción. No hay compras en la aplicación. No hay características premium. Nada. Nada. Eso es todo. AI pura, intenciones puras: esa es la esencia de esta aplicación.}

Introducción

¿Alguna vez notó cómo AI tiende a acechar en las sombras? Con un mar de startups con nombres crípticos, Shadyai reconoce juguetonamente la inclinación de AI por Mystique. Todo es un poco de bromas alegres. Por el contrario, detrás de esta fachada juguetona se encuentra un compromiso genuino con la transparencia y las prácticas éticas de IA. Shadyai es de código abierto y está dedicado a aportar claridad, apertura y fuerte énfasis en la privacidad.

Hay muchos modelos de IA fuera de línea de vanguardia, y quiero atraparlos a todos. Piense en el segmento cualquier cosa, llamas y susurros. ¿Qué quiero decir con eso? Bueno, quiero que sea fácil para cualquiera usar avances de IA de vanguardia como estos sin los obstáculos técnicos que vienen con él.

Patrocinadores

• Mi billetera vacía
• Mi tiempo libre (soy un padre a tiempo completo, un empleado a tiempo completo y un buscador a tiempo parcial para obtener mi equilibrio entre el trabajo y la vida correcta)

Progreso

Los artículos están sujetos a cambios. Esta lista no es exhaustiva, la actualizaré a medida que avance.

¿En el que se trabaja activamente está marcado con un? emoji.

• Haga una plataforma de diapositivas con Flutter (bonificación: contribuya con cambios personalizados)
• Genere enlaces de dardos para llama.cpp
• Genere .dylib para macOS (ARM64) (bonificación: con artefacto de metal para la aceleración de la GPU)
• Cargue con éxito la instancia de Llama con Dylib
• Cargue con éxito el modelo de LLAMA en formato GGUF con parámetros de contexto de LLAMA predeterminados
• Ejecute la inferencia con éxito en el modelo de LLAMA con indicaciones personalizadas
• Agregue una experiencia de inicio rápido a la aplicación
• ? Cree un complemento FFI FFI de Flutter multiplataforma para alimentar sus propias aplicaciones de la misma manera (sin las innumerables noches de frustación)
• Extender las plataformas compatibles:
  • macOS (ARM64)
  • macOS (x86_64)
  • Windows (x86_64)
  • Linux (x86_64)
  • Android (ARM64)
  • iOS (ARM64)
  • Web (Shadyai para Web debe tener soporte de WebGPU)
• Semana 11 Spike (2 días): texto a imagen, segmentación, habla a texto.
• Publicar video (s), publicación (s) de blogs, Agregar imágenes (por ejemplo en ReadMe) y recopilar comentarios tempranos.

Características

Los artículos están sujetos a cambios. Esta lista no es exhaustiva, la actualizaré a medida que avance.

• Hazle una sola pregunta a AI. (Ejemplo: "¿Cuál es el significado de la vida?")
• Dale a Ai una sola instrucción. (Ejemplo: "Escribe un widget de Flutter con un botón que diga 'hola mundo'")
• Elija entre plantillas de solicitud predefinidas.
• Comience rápidamente usando el modelo de IA Tiny-Pighty incorporado incorporado. (Nota: es el modelo Tinystories de <100 Mb, excelente para generar cuentos. Sin embargo, estoy atento a varios modelos ~ 1b)
• Pregunte a AI Generar una imagen basada en una descripción breve. (Ejemplo: "Un gato con un sombrero")
• Conversación continua de chat con AI. (Como hablar con un amigo, con un giro)
• Traducir texto a otro idioma.
• Copie la voz de cualquiera y diga lo que quiera.
• Haz música con AI.
• Haga videos cortos con AI.

Si desea ver una función implementada, abra un problema.

Dispositivos verificados

Aquí hay una lista de dispositivos en los que he probado Shadyai. Esta no es una lista exhaustiva, su dispositivo también debería funcionar. Si ese no es el caso, hágamelo saber abriendo un problema.

• MacBook Pro (16 pulgadas, 2021).
  • MacOS Ventura - Versión 13.5.1
  • Chip: Apple M1 Pro
  • Memoria: 16 GB

Experimental

Shadyai también podría funcionar simplemente visitando Shady.ai. Sin embargo, esto es muy experimental, ¡no te emociones demasiado todavía!

Este sitio web se hornea recién horneado todas las noches a las 00:00 UTC, como se ve en esta página de implementaciones.

Bricolaje

Hazlo tú mismo. Tienes el código fuente, así es como puedes construirlo

1. Instale Flutter y asegúrese de poder ejecutar su aplicación de ejemplo (aplicación de contador).
2. Instale FVM (Flutter Version Manager) y asegúrese de poder ejecutarlo (por ejemplo, fvm --version sale 2.4.1 al momento de este escrito).
3. Abra su terminal, navegue a la raíz de este proyecto (por ejemplo cd ~/my-favorite-projects/shady.ai )
4. Navegue al frontend: cd shady_ai_flutter
5. Instale la misma versión de Flutter: fvm install
6. Finalmente, ejecute la aplicación con: flutter run (si se detectan varias plataformas, por ejemplo, macOS y su teléfono, se le pedirá que elija 1 dispositivo)

Punto de referencia

Mi papá, el carnicero retirado de unos 70 años, será el punto de referencia.

Para que pase el punto de referencia, esta lista de verificación debe completarse.

Lista de verificación:

• Dígale a papá que descargue la aplicación.
• Pídale que tenga una conversación con la aplicación. Es un pase si está charlando con la IA durante al menos 5 minutos.
• Pídale que genere una imagen. Es un pase si es capaz de generar una imagen, está contento con el resultado y puede compartirla con cualquiera.

Si no está completado, es un fracaso. Si está completado, es un pase.

Sobre mi papá.

Él tiene unos 70 años. Gran recuerdo. Siempre olvida mi fecha de nacimiento, pero de alguna manera recuerda los detalles sobre sus clientes de hace 30 años. Tiene un gran sentido del humor. Oh, espera un minuto, su memoria no es tan buena después de todo. Aún así, es un gran padre.

Saluda a mi papá:

Pila de tecnología

• Flutter - Frontend (en dardo)
• llama.cpp: me permite ejecutar uno de los modelos de BlinkDL en la CPU, inferencia rápida.
• Sistema de diseño: sistema de diseño realizado por Google. Me ayuda a obtener un tema consistente en toda la aplicación en menos esfuerzo que hacerlo todo yo mismo.
• Y muchos más ...
• ServerPod - Backend (en Dart). Shadyai actualmente no usa ningún backend. Pero estoy planeando usar ServerPod para facilitar más tarde ejecutar modelos potentes que puede implementar en su propio servidor. Apuesto a que a la gente de R/Selfhosted le encantaría eso. Sé que lo haría. Solo imagine una sola línea de comando para ejecutar una imagen Docker que ejecuta un poderoso modelo de IA (o múltiples modelos) al que puede acceder desde cualquier lugar. Ese es el sueño. Todavía no estoy allí, pero estoy trabajando en ello.

Preguntas frecuentes

P: ¿Qué tiene de sombra?

R: Irónicamente, nada en absoluto. El nombre Shadyai es un giro juguetón, insinuando la naturaleza a menudo misteriosa de la IA. Si usarlo te pone "sombreado", bueno, ese será nuestro pequeño secreto. En pocas palabras? Lo que sucede en Shadyai se queda en Shadyai.

P: ¿Qué consejo tienes para alguien que quiere construir algo como esto?

A: Comienza con pasión. Saltar sobre el carro porque algo está "en Vogue" no te sostendrá a la larga. Las tendencias son fugaces. Sumergirse profundamente en el sujeto: en este caso, ai. Comprenda sus capacidades y piense críticamente sobre los problemas del mundo real que está ansioso por abordar. Para mí, no se trata solo de hablar el potencial de AI; Se trata de demostrarlo, hacerlo tangible y accesible para todos. Uso un simple punto de referencia: si mis padres comienzan a usarlo voluntariamente, sé que estoy en algo. Es un viaje, y aunque todavía no estoy allí, estoy comprometido con el camino.

Descargo de responsabilidad

Este proyecto no está afiliado a Meta, Openai o cualquier otra compañía. Este es un proyecto personal realizado por mí. Shadyai, yo y cualquier otra persona involucrada en este proyecto no son responsables de los daños causados ​​por el uso de esta aplicación. Use bajo su propio riesgo.

Licencia

Ver el archivo de licencia.

Que contribuye

Siéntase libre de abrir un problema o una solicitud de extracción. Estoy abierto a cualquier sugerencia.

Amigos de Shadyai

• Llama.Dart - Dart Bindings para llama.cpp. Hecho por mi.
• Llama.cpp - Biblioteca C ++ para construir y ejecutar modelos AI localmente.
• Flutter Perth - Grupo de reunión de Flutter de Perth. Soy el organizador. Únase a mis reuniones en línea habituales para obtener más información sobre Flutter y AI.