Aetherius_AI_Assistant
1.0.0
Versão .05 do Assistente/Agente de Aetherius AI por bibliotecáriofcelsus.com
Guia de instalação
Guia de uso de Aetherius
Pule para Changelog
Discord Server
Aetherius está em um estado de constante desenvolvimento iterativo. Se você gosta da versão que está usando, mantenha um backup ou faça um garfo. Espere bugs.
Atualização sobre minha saúde
Em 6/07, subi minha terceira cirurgia no quadril. Infelizmente, a situação era mais severa do que o esperado inicialmente, exigindo cartilagem de doadores devido ao osso da artrite óssea. Se esta cirurgia não for bem -sucedida, talvez eu precise de uma substituição total do quadril antes de completar trinta anos. Sorte minha!
Em uma nota mais brilhante, meu pulso tem mostrado melhorias significativas. Pode estar na minha cabeça, mas o medicamento prescrito para o meu quadril limitar o tecido cicatricial e impedir o crescimento ósseo no meu fêmur parece ter trabalhado maravilhas para o meu pulso. O grande pedaço de tecido cicatricial finalmente começou a terminar, e eu sinto muito menos dor durante o uso prolongado da minha mão, embora isso possa ser atribuído ao medicamento anti-inflamatório. Independentemente disso, finalmente estou chegando a um ponto em que posso retomar o trabalho da IA. Eu pretendo começar devagar, começando com a refatoração da base de código Aetherius. Com o tempo, a usabilidade de Aetherius diminuiu significativamente devido à sua dependência de técnicas desatualizadas de solicitação não compatíveis com os modelos modernos. Uma vez concluído o refattor, Aetherius deve ser mais uma vez um assistente funcional de IA.
A atualização sobre o Código Refactor Aetherius tornou -se bastante complexa, tornando -se extremamente pesado trabalhar em aspectos individuais. Para aliviar isso e otimizar o processo de desenvolvimento, decidi separar cada técnica em seu próprio repositório. Essa abordagem permitirá a melhoria individual e facilitará para qualquer pessoa interessada em dissecar o código. Depois que todas as diferentes partes forem reescritas e aprimoradas, as reintegrarei no projeto principal de Aetherius.
Scripts individuais atuais:
Mudanças recentes
• 6/10 Código iniciado Refactor
• 6/10 começaram a melhorar os avisos internos
• 6/10 Adicionado lhama 3 formatação
• 6/10 Adicionado suporte para Koboldcpp
• 6/10 Oobabooga atualizado para usar a nova API
• 6/10 Capacidade adicionada de usar a placa de personagem V2
• 4/08 Adicionado novo script de API. Isso possui o Bot Discord embutido e será lançado automaticamente se um token válido for detectado no api_settings.json. O NGROK é usado para um URL de frente para o público, atualmente usa a formação do OpenAI.
• 4/08 Corrigido Bug com o processamento da imagem, agora deve funcionar com o script de interface do usuário e API.
• 2/11 Prefixo de impressão de resposta fixa.
• 2/09 Adicionado Visão GPT à interface do usuário. Também adicionou TTS.
• 2/07 Adicionado compra de compra e ferramentas de processo de arquivo à interface do usuário
• 1/16 adicionada versão experimental de uma interface do usuário atualizada. Ferramentas, TTS e entrada de voz ainda precisam ser atualizadas.
• 1/09 Modo de agente atualizado com nova pesquisa explícita de memória
• 1/08 adicionou uma abordagem de floresta aleatória para pesquisa explícita de memória
• 1/08 Bug fixo de seleção de domínio do conhecimento
Aetherius é uma estrutura assistente/sub-agente versátil e modular que se adapta às suas necessidades. Seus recursos se estendem além dos chatbots convencionais:
Dados em tempo real : Aetherius tem acesso para pesquisar na Web ou seus próprios dados no modo de agente, permitindo informações que não estão contidas no modelo básico.
Estrutura multi-agente : Aetherius oferece a capacidade de criar sub-agentes para qualquer caso de uso que você tenha. Alternativa, você pode desencadear scripts em python.
Jornal Reflexivo : Fale o que pensa livremente e receba feedback atencioso sem julgamento ou medo.
Ferramenta de aprendizado : mergulhe profundamente em seus tópicos favoritos e aprimore seu conhecimento sem esforço.
Companheiro de análise de dados : aproveite o poder de seus dados com Aetherius ao seu lado.
Interrupção cognitiva : um segundo cérebro que é totalmente privado, ajudando você a organizar pensamentos e idéias.
Geração de conteúdo : gerar facilmente conteúdo com base em arquivos ou escrivaninhas.
Memória realista : Aetherius é construído em torno de um simulacra da memória humana, com o objetivo de fornecer uma recall e formação de pensamento mais realistas.
Aetherius é uma estrutura assistente de IA/multi-agente operada localmente, projetada para conceder a você o controle final. Nenhuma força externa pode alterá -lo sem o seu consentimento, garantindo sua privacidade.
Como visto pela tentativa de mudança de liderança na IA "aberta" em 2023, as soluções gerenciadas fechadas e gerenciadas não podem ser confiáveis. Mesmo se você confiar na liderança, ela pode mudar imediatamente sem aviso prévio. Você não tem controle real sobre nenhum dado enviado.
Ao executar tudo localmente, esse problema pode ser evitado.
No coração de Aetherius, há uma estrutura de recuperação personalizada de memória de longo prazo (LLM), alimentada pelo Open Source LLMS usando a API AETHERNODE (Free Tier Colab disponível), Oobabooga Text-Ui, Koboldcpp ou OpenAI's Chatgpt. Diferentes tipos de memória são extraídos e combinados para fornecer um processo de pensamento mais realista e criativo do que outros chatbots. Como é uma estrutura, Aetherius é capaz de usar vários hosts, descarregando o computação para várias máquinas para aumentar o tempo de computação.
Além de servir como um chatbot básico, Aetherius também pode usar sub-agentes. Isso permite que Aetherius pesquise melhor suas memórias ou se conecte a dados externos. Os sub-agentes são executados desencadeando um script, então Aetherius pode teoricamente usar a maioria das coisas que podem ser acionadas pelo Python. Aetherius também pode "ver" agora graças à visão GPT-4.
Aetherius nasceu da minha obsessão pela IA e de minhas contemplações filosóficas sobre o equilíbrio entre livre arbítrio e determinismo. Embora eu acredite que o livre arbítrio seja um atributo inerente a todos os indivíduos, não acredito que a pessoa comum tenha passado tempo para individuar ou aprender a servir seu "verdadeiro eu". Consequentemente, eles se tornam suscetíveis a influências externas e podem ser facilmente influenciadas. Freqüentemente, as decisões percebidas como auto-direcionadas são inadvertidamente moldadas por estímulos externos ou informações passadas.
Com base nessa perspectiva, postio que uma representação do processo cognitivo humano pode ser construído através da extração meticulosa e da síntese de diversas modalidades de memória. Embora esse sistema possa não alcançar a "consciência" no sentido tradicional, acredito que possa imitar o desempenho cognitivo humano em um grau significativo.
Uma vez extraídas memórias suficientes, minha esperança é poder criar um "Atman" ou "verdadeiro eu" artificial que possa ser usado como um método de controle para operação autônoma e como uma maneira de orquestrar agentes menores e menos complexos.
É daí que vem o nome Aetherius. "αἰθήρ" ou "aether", o suposto quinto elemento ou quintessência no pensamento filosófico antigo que não é visto, mas permeia tudo. E "ius" o sufixo latino para "referente a" ou "derivado de". Um assistente de IA derivado do éter da consiência coletiva.
Aetherius é um projeto de pesquisa em andamento, espera que haja bugs e que as coisas mudem constantemente.
| Laço | Descrição |
|---|---|
| Entrada do usuário | A interação é iniciada pelo usuário enviando uma solicitação para Aetherius. |
| Expansão de entrada | Expanda a entrada do usuário com o histórico de conversas para obter um significado aprimorado nas pesquisas de banco de dados. |
| Extração de domínio do conhecimento | Seleciona um domínio de conhecimento das opções disponíveis para pesquisa explícita de memória. |
| Separação de termo semântico | Separa a entrada do usuário em termos sinônimos para capturar significados sutis. |
| PRIMEIRA PESQUISA DE DB MEMÓRIA | Procura as memórias de Aetherius para gerar um monólogo interno. |
| Geração de monólogo interno | Gera um monólogo interno refletindo experiências passadas, consolidando as informações de pesquisa de banco de dados e estendendo o significado de entrada do usuário. |
| Segunda Memória Pesquisa de DB | Procura as memórias de Aetherius novamente para formular sua intuição. |
| Geração de intuição | Cria um plano de ação baseado em memórias e no monólogo interno. Serve como uma estratégia imediata da cadeia de pensamento automática. |
| Geração implícita de memória | Gera memórias implícitas de curto prazo a partir de seus processos internos. |
| Geração da lista de tarefas mestre | Gera uma lista de tarefas assíncronas usando categorias subagentes disponíveis. |
| Seleção sub-agente | Escolhe um sub-agente de uma categoria para concluir a tarefa. |
| Geração de resposta final | Utiliza o monólogo interno, o histórico de conversas e as tarefas concluídas para responder ao usuário. |
| Geração explícita de memória | Produz memórias explícitas de curto prazo com base no monólogo interno e na resposta final. |
| Geração de memória episódica | Gera um resumo de registro de data e hora da interação atual para armazenamento de memória episódica. |
| Geração de memória flashbulb | Forma memórias/objetivos significativos usando memórias de longo prazo e episódios periodicamente. |
| Consolidação de memória de curto prazo | Consolida memórias de curto prazo e atribui a eles domínios de conhecimento antes de enviar como memórias de longo prazo. |
| Associação de memória de longo prazo | Gerencia o tamanho do banco de dados condensando memórias de longo prazo e tópicos relacionados ao cluster. |
Com Aetherius, você tem um arsenal de ferramentas para explorar e usar:
Principal Aetherius Chatbot : uma estrutura para a criação de sub-agentes personalizados para Aetherius.
Sub-agentes atuais
Antiga UI Chatbot : Seu companheiro pessoal com memória realista de longo prazo.
O desenvolvimento de Aetherius é autofinanciado pelo meu trabalho diário, considere me apoiar se você o usar com frequência e deseja que a velocidade de desenvolvimento aumente.
Junte-se à Discord para obter ajuda ou para obter informações mais aprofundadas!
Discord Server: https://discord.gg/pb5zcna7ze
Guia de uso de Aetherius
Inscreva -se no meu youtube para tutoriais em vídeo: https://www.youtube.com/@libraryofcelsus (canal ainda não lançado)
Tutoriais de código disponíveis em: https://www.libraryofcelsus.com/research/public/code-tutorials/
Feito por: https://github.com/libraryofcelsus
Inspirado em https://github.com/daveshap/
• Continue a melhorar os avisos internos
• Termine o Guia de Uso de Aetherius
• Melhor documentação
• Ferramenta de resumo do livro/arquivo
• Ferramenta geradora de conjunto de dados
• Modelo LLM personalizado para Aetherius
• Inicie o canal do YouTube Tutorial da AI
0,05
0,047b
• Adicionada visão GPT à interface do usuário. Também adicionou TTS.
• Adicionado compra de compra e ferramentas de processo de arquivo à interface do usuário
0.047a
• Adicionada versão experimental de uma interface do usuário atualizada. Ferramentas, TTS e entrada de voz ainda precisam ser atualizadas.
0,046C
• Adicionado uma abordagem aleatória de florestas para pesquisa explícita de memória
• Bug fixo de seleção de domínio do conhecimento
0,046b
• Corrigido o erro de codificação do Unicode ao escrever arquivos de personalidade.
• Adicionada visão GPT ao modo de agente.
• Adicionado suporte à visão GPT. Eu recomendo o uso do Bot Discord para isso.
• Adicionado modo de upload de memória forçada.
• Várias mudanças de back -end, sem funcionalidade adicional por enquanto, principalmente para coisas futuras.
• Corrigido o bug de seleção sub-agente.
0.046a
• Adicionado novo sistema de categoria para sub-agentes, apenas no script API Async por enquanto.
• Corrigido Bug fazendo com que várias categorias fossem carregadas na lista de categorias. Também corrigiu o bug de prompt vazio. Somente versão da API assíncrona.
• Adicionado scripts separados para a categoria subagente de memória. Somente versão da API assíncrona.
• Adicionado domínios de conhecimento experimental para memória explícita de longo prazo. Somente versão da API assíncrona.
• Corrigido nenhum bug de coleta para pesquisa de recursos externos. Somente versão da API assíncrona.
• Trabalhou na seleção do domínio do conhecimento. Somente versão da API assíncrona.
• Adicionado interface do graduação temporária para testar o modo de agente até que outra interface do usuário seja removida. O nome de usuário e o BotName devem ser alterados em "gradio-ui.py" Se usar o BOT Discord, user_id deve ser definido para discordar o nome de usuário.
0,045C
• Adicionado descrições de bot e perfil de usuário. Isso pode ser desativado nas configurações da API JSON.
• Convertido .txt Configurando arquivos para JSON
• Adicionado script de bot bot usando API em ./aetherius_api/examples
• Adicionado script básico da API que pode ser importado para usar o Aetherius programaticamente. (Ainda é um trabalho inicial em andamento)
• Adicionado sub-agente de pesquisa de memória e uma pesquisa da Web autônoma se as informações necessárias não estiverem no db de recursos externos.
• Adicionado script sub-agente. Agora você pode criar sub-agentes personalizados para o loop de processamento paralelo de Aetherius.
• Chatbot Llama 2 convertido para usar o JSON para configurações.
• Classificação melhor para usar vários hosts.
• Várias correções de bugs
0,045C
• Adicionada capacidade de usar vários hosts com oobabooga.
• Llama aprimorada 2 avisos internos
• Adicionada pontuação importante a alguns tipos de memória (ainda um trabalho em andamento)
0,045b
• Adicionado processamento de vídeo à ferramenta LLAMA 2 FILE Scrape.
• Clonagem de voz adicionada com coqui tts.
0,045a
• Verifique a pontuação para uploads de memória para evitar uploads cortados no chatbot llama 2.
• Adicionado botões de exclusão para recursos externos no menu de exclusão de gerenciamento de banco de dados no llama 2 chatbot.
• Prompts internos aprimorados para o modo de agente LLAMA 2 e uma ferramenta de compra Web.
• Várias correções de bugs
0,044F
• Adicionada entrada de voz usando sussurros e tts usando GTTS ou onze laboratórios. Bark TTS ainda é um trabalho em andamento.
0,044E
• Corrigido o bug onde o tamanho de incorporação não estava sendo definido ao criar coleções.
• Nomes de usuário trocados do nome da coleção para metadados.
0,044D
• Adicionado menu de seleção de incorporação, por enquanto, apenas transformadores de frases e incorporação de rosto abraçados estão disponíveis.
0,044C
• Nova Gui para Aetherius. A maioria dos modos de chatbot agora é consolidada sob uma interface do usuário.
0,044b
• Aparência e recursos atualizados da GUI llama-2
• Chatbot de processamento de arquivo mesclado em Aethersearch
• Corrigido o bug onde o Markdown HTML foi impresso em vez do texto normal ao usar a API pública.
• Adicionado notebook Colab para pessoas sem GPU.
0.044a
• Coleções consolidadas para melhor visualização com QDRANT (disponível no painel QDRANT)
• Tag de origem adicionada para arranhões de dados externos
Changelogs mais antigos podem ser encontrados em: https://www.libraryofcelsus.com/aetherius/
Faça o download da pasta zip do projeto pressionando o menu suspenso de código <>.
1. Instale o Python 3.10.6, adicione-o ao caminho: https://www.python.org/downloads/release/python-3106/
2. Execute "install_aetherius_client_windows.bat" para instalar o cliente Aetherius.
(Se você receber um erro ao instalar os requisitos executados: Python -m pip cache Purge )
3. Copie suas teclas OpenAI e QDRANT API/URL para a pasta API_KEYS dentro da pasta criada aetherius_api. O OpenAI é necessário para a visão GPT.
4. Copie sua tecla CSE e API do Google para a pasta API_KEYS ou defina web_search como false em chatbot_settings.json.
5. Se estiver usando o OpenAI, você pode pular isso. Se você deseja executar o Aetherius localmente, deve instalar uma das várias APIs que ele suporta.
KOBOLDCPP (recomendado): https://github.com/lostruins/koboldcpp
Oobabooga: https://github.com/oobabooga/text-generação-webui
Aethernode: https://github.com/libraryofcelsus/aethernode
6. Configure o QDRANT
QDRANT NUVEN: https://qdrant.to/cloud
Para usar um servidor QDrant local, primeiro instale o docker: https://www.docker.com.
Próximo tipo: Docker Pull QDRANT/QDRANT: v1.5.1 No prompt de comando.
Depois de terminar o download, tipo Docker Run -P 6333: 6333 QDRANT/QDRANT: v1.5.1
Veja: https://docs.docker.com/desktop/backup-and--restore/ para como fazer backups.
Depois que o servidor QDrant local estiver em execução, ele deve ser detectado automaticamente por Aetherius.
7. Inicie o Aetherius com um dos arquivos de corrida _*.
(A discórdia foi adicionada à nova API. Ela será executada automaticamente ao lado da API se um token válido for inserido em "api_settings.json".)
(Se estiver usando o ngrok, você deve fazer um túnel chamado Aetherius na configuração Ngrok. Isso pode ser feito com 'run_aetherius_cmd.bat' inserindo 'ngrok edit') Obtenha um endereço ngrok estático aqui: https://dashboard.ngrok.com/cloud-edge/domains
Exemplo NGrok Config: Região: EUA
Versão: '2'
AuthToken: substituir_with_ngrok_auth
túneis:
Aetherius:
Proto: http
Nome do host: Substitua pelo domínio ngrok estático
Addr: 127.0.0.1:5000
8. Carregue heurísticas para DB e altere o nome do bot, nome de usuário e user_id para começar a conversar com Aetherius!
Para alterar o modelo usado com a Aethernode, altere a tecla "Model_Name_OR_PATH" em Aethernode/Settings.json para o modelo desejado. Você deve alterar a tecla "Model_backend" em aetherius_api/chatbot_settings.json para o formato desejado. Somente lhama-2-chat e alpaca estão disponíveis por enquanto.
Modelos recomendados: TheBloke/llama-2-13b-chat-gptq
TheBloke/Mythomax-L2-13B-GPTQ
Configurações e prompts podem ser encontrados na pasta Aetherius_API.
Foto OCR (JPG, JPEG, PNG) requer Tesseract: https://github.com/ub-mannheim/tesseract/wiki, uma vez instalado, copie a pasta "Tesseract-ocr" dos arquivos de programas para a pasta "Aetherius_Ai_Assistant".
Para trabalhar com o CUDA, pode ser necessário executar os comandos:. Venv scripts Ative Pip Desinstale Torchaudio pip Instale a tocha da tocha Torchaudio -f https://download.pytorch.org/whl/cu118/torch_stable.html
Guia de uso de Aetherius
Comandos bot
!Agente
(Ativa o modo sub-agente de Aetherius)
! Heurísticas
(Permite que você envie uma heurística)
! Implícito
(Permite que você envie uma memória implícita de curto prazo)
! Explicticststm
(Permite que você envie uma memória explícita de curto prazo)
! Implícito
(Permite que você envie uma memória implícita de longo prazo)
! Explicticltm (permite que você faça upload de uma memória explícita de longo prazo)
O guia com fotos pode ser encontrado em [https://www.librarraryofcelsus.com/etherius-setup-guide/]
Guia fotográfico desatualizado
1. Instale o git: https://git-scm.com/ (o git pode ser ignorado baixando o repo como um arquivo zip no botão de código verde)
2. Instale o Python 3.10.6, adicione-o ao caminho: https://www.python.org/downloads/release/python-3106/
3. Abra o programa "Git Bash".
4. Execute o clone Git: clone git https://github.com/libraryofcelsus/aetherius_ai_assistant.git
5. Abra o CMD como administrador (painel de comando)
6. Navegue até a pasta do projeto: CD PATH_TO_AETHERIUS_INSTALL
7. Crie um ambiente virtual: Python -m Venv Venv
8. Ative o ambiente:. Venv scripts ativar (isso deve ser feito antes de executar Aetherius a cada vez. A corrida.BAT também fará isso automaticamente.)
9. Instale os pacotes necessários: pip install -r requisitos.txt
(Se você receber um erro ao instalar os requisitos de execução: Python -m Pip Cache Purge após ativar o Venv)
10. Atualize a versão numpy: pip install -upgrade numpy == 1.24 (se você receber um erro do TTS, ignore -o.)
11. Instale o ffmpeg: https://www.gyan.dev/ffmpeg/builds/
12. Instale a tocha com CUDA: desinstalar a tocha de tocha de tocha de tocha de tocha de tocha Torchaudio -f https://download.pytorch.org/whl/cu118/torch_stable.html
13. Copie sua chave da API do OpenAI para key_openai.txt (se estiver usando oobabooga, você pode pular isso.)
14. Se estiver usando o QDRANT Cloud copiar sua tecla API e URL para seus respectivos arquivos .txt na pasta .pi_keys. QDRANT NUVEN: https://qdrant.to/cloud
15. Para usar um servidor QDrant local, primeiro instale o docker: https://www.docker.com/
16. Agora execute: Docker Pull QDRANT/QDRANT: V1.5.1 em CMD
17. Próxima execução: Docker Run -P 6333: 6333 QDRANT/QDRANT: v1.5.1
18. Depois que o servidor QDrant local está em execução, ele deve ser detectado automaticamente por Aetherius. Se nenhum servidor QDRANT estiver em execução, o Aetherius salvará no disco.
(Veja: https://docs.docker.com/desktop/backup-and-drestore/ para como fazer backups.)
(Se estiver usando a interface do usuário, edite as configurações fora da pasta API.
19. Copie sua chave da API do Google para key_google.txt (você pode desativar os recursos externos web_search no arquivo de script.)
20. Copie seu ID do Google CSE para key_google_cse.txt
21. Se você planeja usar o Photo OCR (JPG, JPEG, PNG Text reconhecimento), requer Tesseract: https://github.com/ub-mannheim/tesseract/wiki Uma vez instalado, copie a pasta "Tesseract-ococ" da pasta para o "aetherius_Ai_Al_Al. As fotos devem ser colocadas na pasta ./upload/scans.
22. Execute Aetherius digitando Python Experimental_ UI_Menu.py em CMD ou um dos arquivos run.bat como admin para iniciar o Aetherius. (Usando o run.bat permitirá que você ignore a abertura do CMD e a ativação do ambiente.)
23. Selecione Heurísticas de upload do banco de dados no menu de gerenciamento do banco de dados para fazer upload de heurísticas para o bot, este banco de dados também pode funcionar como um banco de dados de personalidade. Um exemplo de como fazer isso pode ser encontrado em "Personality_db_input_examples.txt" na pasta Config.
24. Edite os avisos do chatbot no menu Config. Isso permitirá que você altere os avisos principais, secundários e saudáveis. Você também pode mudar coisas como o estilo e o tamanho da fonte.
25. Você pode alterar o nome de botn e o nome de usuário no menu de login. Alterar qualquer um deles criará um novo chatbot.
26. Depois de fazer um backup, você pode começar a usar o modo "automático", esse modo tem Aetherius decidir por si mesmo se deve ou não fazer upload em suas memórias.
27. Para executar Aetherius com sua API personalizada, baixar e instalar: https://github.com/libraryofcelsus/aethernode
Esta é a nova API padrão para Aetherius. As instruções de instalação podem ser encontradas na página do GitHub.
Para alterar o modelo usado com a Aethernode, altere a tecla "Model_Name_OR_PATH" em Aethernode/Settings.json para o modelo desejado. Você deve alterar a tecla "Model_backend" em aetherius_api/chatbot_settings.json para o formato desejado. Somente lhama-2-chat e alpaca estão disponíveis por enquanto.
Aethernode Google Colab se você não tiver uma GPU:
28. Para executar Aetherius usando localmente oobabooga, primeiro instale o web-ui em: https://github.com/oobabooga/text-generação-webui/releases/tag/snapshot-2023-11-05
Obabooga Text-UI acabou de mudar como funciona a API. A versão mais atualizada que funciona é o Snapshot-2023-11-05, isso pode ser feito através do menu de liberação ou do clone git https://github.com/oobabooga/text-generação-webui-snapshot-2013-2023-11-05
Para executar Aetherius no Google Colab com oobabooga usando uma API pública, use o arquivo de notebook na pasta "./colab Notebooks". Para usar a API pública com Aetherius, mude o "Host_oobabooga" nas configurações JSON para o URL não transmitido. Para usar vários hosts, separe -os com um espaço.
Em seguida, na guia "Modo de interface", ative a caixa de seleção da API no campo "Extensões disponíveis" apenas. Em seguida, clique em Aplicar e reinicie a interface.
Em seguida, navegue até a guia Modelos. Desmarque a caixa de modelos AutoleLoad e, em seguida, insira "theBloke/llama-2-13b-chat-gptq" na caixa de downloads (o modelo 7B pode ser usado para obter resultados mais rápidos, mas ocasionalmente quebra o formato e tem uma tendência a inventar as coisas. Não recomendaria se você precisar de dados factuais). Outros modelos podem funcionar, mas este é o que é testado.
Depois que o download for concluído, recarregue o menu de seleção do modelo e selecione o modelo. Altere o carregador do modelo para exllamav2 e defina o max_seq_len como "4096". Defina o "gpu_split" como 1 GB sob o VRAM máximo da sua GPU.
Clique no botão "Carregar" e carregue o modelo.
Agora, vá para o arquivo chatbot_settings.json na pasta aetherius_api e altere a API para oobabooga em vez de Aethernode. Aetherius agora deve funcionar!
30. Configurações json e avisos podem ser encontrados na pasta Aetherius_API.
Em janeiro de 2023, tive minha experiência inaugural com o ChatGPT 3.5 e o LLMS em geral. Desde aquele momento, estou profundamente obcecado com a IA, dedicando inúmeras horas todos os dias a estudá-lo e à experimentação prática. O assistente de Aetherius AI é o culminar dessa pesquisa.
Discord: Libraryofcelsus -> Estilo de nome de usuário antigo: Celsus#0262
Mega Chat: https://mega.nz/c!pmnmeizq
