shady.ai

Shadyai

_{Minha opinião para obter modelos de IA offline e amigáveis ​​à privacidade acessíveis ao maior número possível de pessoas. Offline primeiro. Privacidade primeiro. Código aberto. Livre. O que acontece em Shadyai, permanece em Shadyai . Sem anúncios. Sem rastreamento. Sem coleta de dados. Sem registro. Sem assinatura. Sem compras no aplicativo. Sem recursos premium. NADA. Nada. É isso. AI pura, intenções puras - essa é a essência deste aplicativo.}

Introdução

Já percebeu como a IA tende a se esconder nas sombras? Com um mar de startups que ostentam nomes enigmáticos, Shadyai reconhece de brincadeira a propensão da AI para a Mystique. É tudo um pouco de brincadeira alegre. Pelo contrário, por trás dessa fachada lúdica está um compromisso genuíno com a transparência e as práticas éticas de IA. Shadyai é totalmente de código aberto e se dedica a trazer clareza, abertura e forte ênfase na privacidade.

Existem muitos modelos de IA offline de ponta, e eu quero pegar todos eles. Pense em segmentar qualquer coisa, lhama e sussurro. O que quero dizer com isso? Bem, eu quero facilitar para qualquer pessoa usar avanços de IA de ponta como esses sem os obstáculos técnicos que o acompanham.

Patrocinadores

• Minha carteira vazia
• Meu tempo livre (sou pai em tempo integral, funcionário em tempo integral e buscador de meio período de acertar meu equilíbrio entre vida profissional e pessoal)

Progresso

Os itens estão sujeitos a alterações. Esta lista não é exaustiva, vou atualizá -la à medida que for.

O que está sendo trabalhado ativamente é marcado com um? Emoji.

• Faça um slide deck com vibração (bônus: contribua com mudanças personalizadas)
• Gerar ligações de dardo para llama.cpp
• Gerar .dylib para macOS (ARM64) (bônus: com artefato de metal para aceleração da GPU)
• Carregue com sucesso a instância de lhama com Dylib
• Carregar com sucesso o modelo de llama no formato GGUF com parâmetros de contexto de llama padrão
• Executar com sucesso a inferência no modelo de lhama com prompts personalizados
• Adicione uma experiência rápida de início ao aplicativo
• ? Crie um plug-in FFI FFI de plataforma cruzada para alimentar seus próprios aplicativos da mesma maneira (sem as inúmeras noites de frustração)
• Estender plataformas suportadas:
  • MacOS (ARM64)
  • MacOS (x86_64)
  • Windows (x86_64)
  • Linux (x86_64)
  • Android (ARM64)
  • iOS (ARM64)
  • Web (Shadyai for Web deve ter suporte WebGPU)
• Semana 11 Spike (2 dias): Texto para imagem, segmentação, fala para texto.
• Publique vídeos (s), post (s) do blog, adicione visuais (por exemplo, no ReadMe) e colete feedback antecipado.

Características

Os itens estão sujeitos a alterações. Esta lista não é exaustiva, vou atualizá -la à medida que for.

• Faça uma única pergunta. (Exemplo: "Qual é o significado da vida?")
• Dê a IA uma única instrução. (Exemplo: "Escreva um widget de vibração com um botão que diz 'Hello World'")
• Escolha entre modelos de prompt predefinidos.
• Comece rapidamente usando o modelo de IA minúsculo, mas agradável. (Nota: é o modelo TinyStories <100 MB, ótimo em gerar contos. Estou de olho em vários modelos ~ 1b)
• Pergunte a IA Gere uma imagem com base em uma breve descrição. (Exemplo: "Um gato com chapéu")
• Conversa de bate-papo em andamento com a IA. (Como conversar com um amigo, com uma reviravolta)
• Traduzir texto para outro idioma.
• Copie a voz de qualquer pessoa e diga o que quiser.
• Faça música com IA.
• Faça vídeos curtos com IA.

Se você deseja ver um recurso implementado, abra um problema.

Dispositivos verificados

Aqui está uma lista de dispositivos em que testei Shadyai. Esta não é uma lista exaustiva, seu dispositivo também deve funcionar. Se não for esse o caso, informe -me abrindo um problema.

• MacBook Pro (16 polegadas, 2021).
  • Macos Ventura - Versão 13.5.1
  • Chip: Apple M1 Pro
  • Memória: 16 GB

Experimental

Shadyai também pode funcionar apenas visitando Shady.ai. Isso é muito experimental, porém, não fique muito animado ainda!

Este site é assado recentemente do forno todas as noites às 00:00 UTC, como visto nesta página de implantações.

DIY

Faça você mesmo. Você tem o código -fonte, eis como você pode construí -lo

1. Instale o Flutter e verifique se você pode executar o aplicativo de exemplo (aplicativo contador).
2. Instale o FVM (Flutter Version Manager) e verifique se você pode executá -lo (por exemplo, fvm --version -Saídas 2.4.1 no momento da redação deste artigo).
3. Abra seu terminal, navegue até a raiz deste projeto (por exemplo cd ~/my-favorite-projects/shady.ai )
4. Navegue até o front -end: cd shady_ai_flutter
5. Instale a mesma versão do FLUTTER: fvm install
6. Por fim, execute o aplicativo com: flutter run (se várias plataformas forem detectadas, por exemplo, macOS e seu telefone, você será solicitado a escolher 1 dispositivo)

Benchmark

Meu pai, o açougueiro aposentado em meados dos anos 70, será o benchmark.

Para que a referência seja aprovada, esta lista de verificação deve ser concluída.

Lista de verificação:

• Diga a papai para baixar o aplicativo.
• Peça a ele para ter uma conversa com o aplicativo. É um passe se ele estiver conversando com a IA por pelo menos 5 minutos.
• Peça a ele para gerar uma imagem. É um passe se ele é capaz de gerar uma imagem, está feliz com o resultado e é capaz de compartilhá -la com qualquer pessoa.

Se não estiver concluído, é uma falha. Se estiver concluído, é um passe.

Sobre meu pai.

Ele está com meados dos anos 70. Ótima memória. Sempre esquece minha data de nascimento, mas de alguma forma se lembra de detalhes sobre seus clientes de 30 anos atrás. Tem um ótimo senso de humor. Oh, espere um minuto, sua memória não é tão boa, afinal. Ainda assim, ele é um ótimo pai.

Diga oi para meu pai:

Pilha de tecnologia

• Flutter - Frontend (em Dart)
• LLAMA.CPP - Permite -me executar um dos modelos de Blinkdl na CPU, inferência rápida.
• Sistema de design - sistema de design feito pelo Google. Ajuda -me a obter um tema consistente em todo o aplicativo, com menos esforço do que fazer tudo sozinho.
• E muito mais ...
• Serverpod - back -end (no DART). Atualmente, Shadyai não está usando nenhum back -end. Mas estou planejando usar o ServerPod para facilitar mais tarde a execução de modelos poderosos que você pode implantar em seu próprio servidor. Aposto que o pessoal da R/Autohosted adoraria isso. Eu sei que faria. Imagine uma única linha de comando para executar uma imagem do Docker que executa um poderoso modelo de IA (ou vários modelos) que você pode acessar de qualquer lugar. Esse é o sonho. Ainda não estou lá, mas estou trabalhando nisso.

Perguntas frequentes

P: O que há de tão sombrio nisso?

A: Ironicamente, nada. O nome Shadyai é uma reviravolta lúdica, sugerindo a natureza muitas vezes misteriosa da IA. Se usá -lo o torna "sombrio", bem, esse será o nosso pequeno segredo. Resumindo? O que acontece em Shadyai permanece em Shadyai.

P: Que conselho você dá para alguém que quer construir algo assim?

A: Começa com paixão. Saltar na onda porque "In Vogue" não o sustenta a longo prazo. As tendências são fugazes. Mergulhe profundamente no assunto - neste caso, ai. Entenda suas capacidades e pense criticamente sobre os problemas do mundo real que você está ansioso para enfrentar. Para mim, não se trata apenas de falar sobre o potencial da IA; Trata -se de demonstrá -lo, tornando -o tangível e acessível a todos. Eu uso uma referência simples: se meus pais começarem a usá -lo voluntariamente, sei que estou em alguma coisa. É uma jornada e, embora ainda não esteja lá, estou comprometido com o caminho.

Isenção de responsabilidade

Este projeto não é afiliado à Meta, Openai ou qualquer outra empresa. Este é um projeto pessoal feito por mim. Shadyai, eu e qualquer outra pessoa envolvida neste projeto não se responsabiliza por quaisquer danos causados ​​pelo uso deste aplicativo. Use por sua conta e risco.

Licença

Veja o arquivo de licença.

Contribuindo

Sinta -se à vontade para abrir um problema ou uma solicitação de tração. Estou aberto a quaisquer sugestões.

Amigos de Shadyai

• LLAMA.DART - LINHAS DE DART PARA LLAMA.CPP. Feito por mim.
• LLAMA.CPP - Biblioteca C ++ para construir e executar modelos de IA localmente.
• Flutter Perth - Grupo Flutter Meetup de Perth. Eu sou o organizador. Junte -se aos meus encontros on -line regulares para saber mais sobre o Flutter e a IA.