llm prepare

LLM-Prepare

LLM-Prepare converte estruturas e arquivos complexos de diretório de projetos em um único arquivo plano ou conjunto de arquivos planos, facilitando o processamento usando os prompts de aprendizado no contexto (ICL).

Essa ferramenta Node.js digitaliza recursivamente um diretório de projeto com base nos argumentos fornecidos (pelo menos um diretório). Ele gera uma visualização de layout simplificada que inclui todos os diretórios e arquivos correspondentes. Além disso, ele combina essa visualização de layout com o conteúdo agregado de texto de todo o projeto. Por padrão, o conteúdo agregado do arquivo é despojado de comentários e espaço em branco desnecessário. A ferramenta suporta a compactação de saída para reduzir o uso de token e pode lidar com grandes projetos, criticando a saída. Os avisos de exemplo são incluídos para orientação.

O que é o aprendizado no contexto (ICL)

O aprendizado no contexto (ICL) permite que um modelo execute tarefas interpretando o contexto fornecido dentro de um prompt, eliminando a necessidade de treinamento ou ajuste fino adicionais.

Saiba mais sobre o aprendizado no contexto (ICL)

v0.1.8

• Configurável via JSON : use a opção --config para carregar um arquivo de configuração JSON contendo argumentos e caminhos predefinidos a serem incluídos.

Características

• Visualização do layout : fornece uma visão de layout ASCII do seu projeto.
• Travessal do diretório : digitalize recursivamente o diretório do projeto.
• Filtragem de arquivos personalizada : inclua arquivos com base em padrões especificados.
• Ignore o suporte : respeita automaticamente arquivos .ignore para excluir arquivos ou diretórios específicos.
• Consolidação de saída : gera uma única visualização consolidada de arquivo plano do conteúdo do arquivo e da estrutura do diretório.
• Saída multifile : gera vários arquivos planos a partir de uma visualização consolidada do conteúdo do arquivo e da estrutura do diretório com base em um tamanho de pedaço fornecido.
• Opcionalmente, remova a visualização do layout : Remova opcionalmente a visualização do layout da saída.
• Opcionalmente, inclua comentários : Opcionalmente inclua comentários na saída.

Exemplo de prompts

• Revisão do código : Revisão de código interativo com um engenheiro de software sênior simulado.
• Gere MySQL Criar tabela : Gere uma instrução MySQL CREATE TABLE com base no conteúdo CSV fornecido.
• Pergunta e resposta : Sessão interativa de perguntas e respostas alimentada pelo código do seu projeto.
• Readme Generation : Um escritor técnico sênior simulado gera um readme.md com base no código do seu projeto.
• Comentários de adição simples : um conjunto de avisos simples que geram comentários com base no código do seu projeto (C#, JavaScript, PHP, Python, Ruby, Rust e TypeScript).
• Geração de documentos técnicos : Um escritor técnico sênior simulado gera documentação técnica com base no código do seu projeto.
• Geração de teste : geração interativa de teste com um engenheiro de software sênior simulado e controle de qualidade simulado.

Além de muito mais ( incluindo novos avisos orientados para CSV ). Todos os instruções de exemplo foram testados com o ChatGPT GPT-4.

Dependências

• Node.js : O script é executado em um ambiente node.js.
• FS-Extra : uma extensão do módulo Node.js fs padrão, fornecendo métodos adicionais e promessa de suporte.
• Ignore : Usado para lidar com arquivos .ignore semelhante ao .gitignore .
• ISTEXTORBINÁRIO : determina se um determinado arquivo contém dados de texto ou binário.
• Aberto : abre URLs no seu navegador padrão.
• YARGS : ajuda a criar ferramentas de linha de comando interativas, analisando argumentos e gerando uma interface de usuário elegante.
• yargs/ajudantes : fornece métodos de utilidade para yargs .

Instalando o Node.js

Antes de instalar, verifique se você possui Node.js e NPM (gerenciador de pacotes do nó) instalados no seu sistema. Você pode baixar e instalar o Node.js no site oficial do Node.js.

Instalando o Prepare LLM

Para instalar e usar o Prepare LLM, siga estas etapas:

Clone o repositório: Comece clonando o repositório que contém o preparo LLM na sua máquina local.

git clone https://github.com/samestrin/llm-prepare/

Navegue até o diretório raiz do seu projeto e corra:

npm install

Para disponibilizar o Prepare LLM em qualquer local do seu sistema, você precisa instalá-lo globalmente. Você pode fazer isso usando o NPM.

Execute o seguinte comando no diretório do seu projeto:

npm link

Isso criará um symlink global para o seu script. Agora, você pode executar o script usando llm-prepare de qualquer lugar do seu terminal.

Instruções de instalação específicas da plataforma

MacOS e Linux

As etapas de instalação fornecidas devem funcionar como é para as plataformas MacOS e Linux.

Windows

Para o Windows, verifique se o Node.js é adicionado ao seu caminho durante a instalação. O comando npm link também deve funcionar no Windows PowerShell ou prompt de comando, permitindo que você execute o script globalmente.

Uso

Para executar o script, você precisa fornecer um argumento obrigatório: o caminho para o diretório do projeto ( --path-name ou -p ).

Exemplos de uso comum:

Uso básico:

Isso processará todos os arquivos no diretório do projeto especificado, respeitando todos os arquivos .ignore e produzirá o conteúdo e a estrutura consolidados para o seu console. Padrão o padrão de arquivo para "*"

llm-prepare -p " /path/to/project "

ou

llm-prepare --path " /path/to/project " 

Especifique um padrão de arquivo:

Isso processará todos os arquivos JavaScript no diretório do projeto especificado, respeitando qualquer arquivo .ignore e produzirá o conteúdo e a estrutura consolidados para o seu console.

llm-prepare -p " /path/to/project " -f " *.js " 

Especifique um nome de arquivo de saída:

Isso processará todos os arquivos no diretório do projeto especificado, respeitando todos os arquivos .ignore e produzirá o conteúdo e a estrutura consolidados para o output.txt .

llm-prepare -p " /path/to/project " -o " output.txt "

Se você não especificar um nome de arquivo, isso processará todos os arquivos no diretório do projeto especificado, respeitando qualquer arquivo .ignore e produzirá o conteúdo e a estrutura consolidados para o Project.txt . O nome do arquivo é gerado automaticamente com base no diretório de nível superior na variável de nome do caminho.

llm-prepare -p " /path/to/project " -o

Opcionalmente, você pode definir a variável de ambiente LLM_PREPARE_OUTPUT_DIR . Se a variável de ambiente LLM_Prepare_Output_DIR estiver definida, os arquivos de saída serão gravados para esse diretório.

Especifique as regras de ignorar personalizadas (através da linha de comando):

Se você não deseja incluir arquivos ou diretórios específicos, poderá especificar as regras usando --custom-ignore-string .

llm-prepare -p " /path/to/project " -o --custom-ignore-string " *docs*,*test* " 

Especifique regras de ignorar personalizadas (usando um arquivo):

Se você não deseja incluir arquivos ou diretórios específicos, poderá especificar as regras usando um --custom-ignore-filename . Use a formatação do arquivo .gitignore.

llm-prepare -p " /path/to/project " -o --custom-ignore-filename " /path/to/.ignorefile " 

Especifique regras de ignorar personalizadas (usando um arquivo):

Se você não deseja incluir arquivos ou diretórios específicos, poderá especificar as regras usando um --custom-ignore-filename . Use a formatação do arquivo .gitignore.

llm-prepare -p " /path/to/project " -o --custom-ignore-filename " /path/to/.ignorefile " 

Usando um arquivo de configuração:

Você pode usar um arquivo de configuração JSON para predefinar os argumentos e caminhos a serem incluídos no processamento.

Exemplo de arquivo config.json :

{
  "args" : {
    "output-filename" : " output.txt " ,
    "compress" : true
  },
  "include" : [ " ./src/ " , " ./lib/ " ]
}

Para executar o script com um arquivo de configuração:

llm-prepare -c " config.json " 

Opções

      --help                    Show help                              [boolean]
  -p, --path                    Path to the project directory[string] [required]
  -f, --file-pattern            Pattern of files to include, e.g., ' .js$ ' or
                                ' * ' for all files        [string] [default: " * " ]
  -o, --output-filename         Output filename                         [string]
  -i, --include-comments        Include comments ? (Default: false)     [boolean]
  -c, --compress                Compress ? (Default: false)             [boolean]
      --chunk-size              Maximum size (in kilobytes) of each file[number]
  -s, --suppress-layout         Suppress layout in output (Default: false)
                                                                       [boolean]
      --default-ignore          Use a custom default ignore file        [string]
      --ignore-gitignore        Ignore .gitignore file in the root of the
                                project directory                      [boolean]
      --show-default-ignore     Show default ignore file               [boolean]
      --show-prompts            Show example prompts in your browser   [boolean]
      --custom-ignore-string    Comma-separated list of ignore patterns [string]
      --custom-ignore-filename  Path to a file containing ignore patterns
                                                                        [string]
      --config                  Path to the config file                 [string]
  -v, --version                 Display the version number             [boolean]

Aprendizagem no Contexto (ICL)

"Embora o Finetuning com conjuntos de dados completos ainda seja uma opção poderosa se os dados excederem bastante a duração do contexto, nossos resultados sugerem que o ICL de longo contexto é uma alternativa eficaz-negociando o custo do tempo de tempo para aumentar o tempo de inferência. Como a eficácia e a eficiência do uso de um longo comprimento de contexto de modelo continua a aumentar, para aumentar o aumento do contexto do índice, o ICL de longo prazo será necessário um pouco de contorno de contexto de excesso de excesso,"

- Promotos maciços podem superar o ajuste fino para os LLMs, os pesquisadores encontram

A aprendizagem no contexto (ICL) permite que um grande modelo de idioma (LLM) execute tarefas interpretando o contexto fornecido no prompt sem treinamento ou ajuste fino adicional. Essa abordagem difere significativamente dos métodos anteriores em que os modelos foram explicitamente treinados em uma tarefa específica usando vastos conjuntos de dados. Em vez disso, a ICL aproveita a base de conhecimento pré-treinada do modelo-um entendimento abrangente acumulado durante sua extensa fase de treinamento inicial.

Como o tamanho do token - ou a quantidade de dados que um LLM pode processar e gerar em uma única instância - aumentou drasticamente, o valor da ICL se tornou ainda mais significativo. Esse aumento no tamanho do token permite que os LLMs lidem com entradas e saídas mais longos e mais complexos, o que aprimora sua capacidade de entender e gerar texto sofisticado.

Prompts de aprendizado no contexto (ICL)

O aprendizado no contexto (ICL) solicita um grande modelo de idioma (LLM) na execução de tarefas, fornecendo contexto relevante no prompt de entrada. Esses avisos normalmente incluem exemplos, instruções ou padrões que ajudam o modelo a entender como gerar respostas apropriadas. Aqui estão algumas características e exemplos de avisos da ICL:

Características dos avisos da ICL:

• Exemplos contextuais : Forneça exemplos dentro do prompt para demonstrar o formato de saída desejado.
• Instruções detalhadas : Ofereça instruções claras e detalhadas sobre como processar a entrada e gerar a saída.
• Padrões e modelos : Use padrões ou modelos que o modelo possa seguir para garantir a consistência nas respostas.
• Dados relevantes : inclua os dados necessários ou informações de fundo que ajudem o modelo a entender o contexto da tarefa.
• Orientação incremental : às vezes, as orientações passo a passo são incluídas para liderar o modelo por meio de tarefas complexas.

Contribuir

As contribuições para este projeto são bem -vindas. Por favor, pegue o repositório e envie uma solicitação de tração com suas alterações ou melhorias.

Licença

Este projeto está licenciado sob a licença do MIT - consulte o arquivo de licença para obter detalhes.

Compartilhar