llm prepare
v1.0.18
LLM-Prepare преобразует сложные структуры каталогов проектов и файлы в один плоский файл или набор плоских файлов, облегчая обработку с использованием подписанных подписанных обучения (ICL).
Этот инструмент node.js рекурсивно сканирует каталог проектов на основе предоставленных аргументов (по крайней мере, каталога). Он генерирует упрощенное представление макета, которое включает в себя все каталоги и соответствующие файлы. Кроме того, он объединяет этот вид макета с агрегированным текстовым содержимым всего проекта. По умолчанию содержимое агрегированного файла лишено комментариев и ненужных пробелов. Инструмент поддерживает выходное сжатие, чтобы уменьшить использование токенов и может обрабатывать крупные проекты, отбивая выход. Пример подсказки включены для руководства.
Внутреннее обучение (ICL) позволяет модели выполнять задачи, интерпретируя контекст, предоставляемый в рамках подсказки, устраняя необходимость дополнительного обучения или точной настройки.
Узнайте больше о встроенном обучении (ICL)
--config для загрузки файла конфигурации JSON, содержащего предварительно определенные аргументы и пути для включения. .ignore , чтобы исключить конкретные файлы или каталоги.CREATE TABLE MySQL на основе предоставленного контента CSV.fs , обеспечивая дополнительные методы и обещание поддержки..ignore , аналогичных .gitignore .yargs . Перед установкой убедитесь, что в вашей системе установлены Node.js и NPM (диспетчер пакетов узлов). Вы можете скачать и установить node.js с официального веб -сайта Node.js.
Чтобы установить и использовать LLM-Prepare, выполните следующие действия:
Клонировать репозиторий: начните с клонирования хранилища, содержащего LLM-подготовку к вашей локальной машине.
git clone https://github.com/samestrin/llm-prepare/Перейдите к корневому каталогу вашего проекта и запустите:
npm installЧтобы сделать LLM-Prepare доступным в любом месте в вашей системе, вам необходимо установить ее по всему миру. Вы можете сделать это с помощью NPM.
Запустите следующую команду в каталоге проекта:
npm link Это создаст глобальную символическую ссылку для вашего сценария. Теперь вы можете запустить сценарий, используя llm-prepare из любой точки вашего терминала.
Предоставленные этапы установки должны работать как для платформ MacOS и Linux.
Для Windows убедитесь, что node.js добавляется к вашему пути во время установки. Команда npm link также должна работать в Windows PowerShell или командной строке, что позволяет запустить сценарий по всему миру.
Чтобы запустить сценарий, вам необходимо предоставить один обязательный аргумент: путь к каталогу проекта ( --path-name или -p ).
Это будет обрабатывать все файлы в указанном каталоге проектов, уважая любые файлы .ignore и выведет консолидированный контент и структуру в вашу консоли. По умолчанию шаблон файла к "*"
llm-prepare -p " /path/to/project "или
llm-prepare --path " /path/to/project " Это обработает все файлы JavaScript в указанном каталоге проектов, уважая любые файлы .ignore и выведет консолидированный контент и структуру в вашу консоль.
llm-prepare -p " /path/to/project " -f " *.js " Это будет обрабатывать все файлы в указанном каталоге проектов, уважая любые файлы .ignore и выведет консолидированный содержимое и структуру в output.txt .
llm-prepare -p " /path/to/project " -o " output.txt " Если вы не определяете имя файла, это будет обрабатывать все файлы в указанном каталоге проектов, уважая любые файлы .ignore и выведет консолидированный контент и структуру в Project.txt . Имя файла автоматически генерируется на основе каталога верхнего уровня в переменной имени пути.
llm-prepare -p " /path/to/project " -oНеобязательно вы можете установить переменную среды LLM_PREPARE_OUTPUT_DIR . Если установлена переменная среды LLM_PREPARE_OUTPUT_DIR, выходные файлы записываются в этот каталог.
Если вы не хотите включать конкретные файлы или каталоги, вы можете указать правила, используя --custom-ignore-string .
llm-prepare -p " /path/to/project " -o --custom-ignore-string " *docs*,*test* " Если вы не хотите включать конкретные файлы или каталоги, вы можете указать правила, используя внешнее и --custom-ignore-filename . Используйте .GITIGNORE FILE FORMATING.
llm-prepare -p " /path/to/project " -o --custom-ignore-filename " /path/to/.ignorefile " Если вы не хотите включать конкретные файлы или каталоги, вы можете указать правила, используя внешнее и --custom-ignore-filename . Используйте .GITIGNORE FILE FORMATING.
llm-prepare -p " /path/to/project " -o --custom-ignore-filename " /path/to/.ignorefile " Вы можете использовать файл конфигурации JSON для предопределения аргументов и путей для включения в обработку.
Пример config.json файл:
{
"args" : {
"output-filename" : " output.txt " ,
"compress" : true
},
"include" : [ " ./src/ " , " ./lib/ " ]
}Чтобы запустить скрипт с помощью файла конфигурации:
llm-prepare -c " config.json " --help Show help [boolean]
-p, --path Path to the project directory[string] [required]
-f, --file-pattern Pattern of files to include, e.g., ' .js$ ' or
' * ' for all files [string] [default: " * " ]
-o, --output-filename Output filename [string]
-i, --include-comments Include comments ? (Default: false) [boolean]
-c, --compress Compress ? (Default: false) [boolean]
--chunk-size Maximum size (in kilobytes) of each file[number]
-s, --suppress-layout Suppress layout in output (Default: false)
[boolean]
--default-ignore Use a custom default ignore file [string]
--ignore-gitignore Ignore .gitignore file in the root of the
project directory [boolean]
--show-default-ignore Show default ignore file [boolean]
--show-prompts Show example prompts in your browser [boolean]
--custom-ignore-string Comma-separated list of ignore patterns [string]
--custom-ignore-filename Path to a file containing ignore patterns
[string]
--config Path to the config file [string]
-v, --version Display the version number [boolean]«В то время как создание с полными наборами данных по-прежнему остается мощным вариантом, если данные значительно превышают длину контекста, наши результаты показывают, что ICL с длинным контекстом является эффективной альтернативой-стоимостью торговли временем для увеличения вывода времени. Поскольку эффективность и эффективность использования очень длинных контекстов модели продолжают увеличиваться, мы считаем, что длинный контекст ICL будет мощным инструментом для многих TASKS.».
- Массовые подсказки могут превзойти тонкую настройку для LLMS, исследователи находят
Встроенное обучение (ICL) позволяет большой языковой модели (LLM) выполнять задачи, интерпретируя контекст, предоставляемый в подсказке без дополнительной подготовки или точной настройки. Этот подход значительно отличается от предыдущих методов, когда модели явно обучались конкретной задаче с использованием обширных наборов данных. Вместо этого ICL использует предварительно обученную базу знаний модели-всеобъемлющее понимание, накопленное на начальном этапе обучения.
Поскольку размер токена - или объем данных, которые LLM может обрабатывать и генерировать в одном случае, значительно увеличивается, значение ICL стало еще более значимым. Это увеличение размера токена позволяет LLMS обрабатывать более длинные и более сложные входы и выходы, что повышает их способность понимать и генерировать сложный текст.
Внутреннее обучение (ICL) руководствует большую языковую модель (LLM) в выполнении задач путем предоставления соответствующего контекста в приглашении ввода. Эти подсказки обычно включают примеры, инструкции или шаблоны, которые помогают модели понять, как генерировать соответствующие ответы. Вот некоторые характеристики и примеры подсказок ICL:
Вклад в этот проект приветствуются. Пожалуйста, распадайте репозиторий и отправьте запрос на привлечение с вашими изменениями или улучшениями.
Этот проект лицензирован по лицензии MIT - для получения подробной информации см. Файл лицензии.
