Text Dataset Aid Plugin

Используйте файл TXT для размещения вашего набора данных. Функция для экспорта вашего TXT в файл JSONL будет добавлена ​​в ближайшее время.

Контекст

Условие: Полностью работа

Создание наборов данных NLP и генерации текста чрезвычайно влияет и может позволить исследователям обучать модели, которые могут автоматически генерировать текст. Тем не менее, создание пользовательских наборов данных - это разумный и медленный процесс.

Помощь на наборе данных текстовых данных-это полезный инструмент, который может помочь создать наборы данных для создания моделей генерации текста, таких как GPT-3 вручную! Это может сделать текст, сгенерированный вашей моделью после того, как создает более персонализированную, подробную или лучше отформатирован. Скажите «нет», чтобы иметь дело с меню через конфигурации Hotkey!

Этот плагин может быть использован для быстрого генерации учебных данных для моделей NLP и генерации текста. Это ускорило бы исследования в этих областях, а также облегчит практикующим практикующим специалистам.

Плагин помощи текстовым наборам данных-это полезный инструмент, который может помочь создать наборы данных для создания моделей генерации текста, таких как GPT-3 вручную. Это может сделать текст, сгенерированный вашей моделью после того, как создает более персонализированную, подробную или лучше отформатирован. Скажите «нет», чтобы иметь дело с меню через конфигурации Hotkey!

Контекст во втором мозге

Обновление собственной модели генерации текста в вашем собранном наборе данных, в то время как работа во втором мозге позволяет вашей модели лучше соответствовать потребностям вашего второго мозга. Этот плагин вписывается в любое создание или редактирование рабочего процесса из -за характера команд в обсидиане. Надеюсь, что вы используете этот плагин так же сильно, как и я!

Преимущества создания

Фонтун вашей модели генерации текста позволяет создавать текст, который является более естественным и выразительным.

1. Повышенная точность в прогнозировании текста/генерации
2. Увеличение беглости и согласованности в генерации текста
3. больший контроль над стилем и содержанием генерируемого текста
4. Больше контроля над типами выходов, которые производит модель
5. Большая гибкость в типах входов, которые модель может принять
6. Способность производить больше человеческих результатов
7. Повышенная точность в прогнозировании определенных типов выходов

Отличный ресурс для принципов точной настройки от Microsoft

Использование

Основная функция этого плагина сделана проще благодаря использованию режима VIM, но должна работать в любом случае. В настоящее время предлагаются две команды: (каждая из этих команд имеет акушерство, конфигурируемое с горячими классами)

Когда вы отправляете подсказку в набор данных, если там уже есть подсказка, плагин ничего не делает.

Когда вы отправляете завершение на набор данных, и уже есть подсказка, выбор текста отправляется в набор данных в качестве завершения этой подсказки.

Поддержка с открытым концом Generation!

Когда вы отправляете завершение на набор данных, и в наборе данных нет подсказки, выбор текста вставлен с пустой подсказкой, приготовленной к выбору текста.

Пример этого

{ "prompt" : " " , "completion" : " Hello can I help you? " }

другой пример

{ "prompt" : " " , "completion" : " Hi, How can I help you today " }

Отправить выбор для отправки в файл набора данных в качестве приглашения Отправить выбор для отправки в файл набора данных в качестве завершения

Пример набора данных по созданию данных

{ "prompt" : " Company: BHFF insurance n Product: allround insurance n Ad:One stop shop for all your insurance needs! n Supported: " , "completion" : " yes " }
{ "prompt" : " Company: Loft conversion specialists n Product: - n Ad:Straight teeth in weeks! n Supported: " , "completion" : " no " }

Установка

Установка со страницы плагинов сообщества в обсидиане

• Открыть настройки> Сторонний плагин
• Убедитесь, что безопасный режим выключен
• Нажмите на плагины об просмотре сообщества
• Поиск "плагин помощи в области наборов данных"
• Нажмите «Установить»
• После установки закройте окно плагинов сообщества и активируйте недавно установленный плагин

Установка вручную от GitHub

• Загрузите последний релиз из раздела репоксации репозитория GitHub (если вы не можете найти это, он должен быть справа, пока вы просмотрите это)
• Извлечь папку плагина из папки плагинов вашего хранилища: <vault>/.obsidian/plugins/
  ПРИМЕЧАНИЕ. На некоторых машинах папка .obsidian может быть скрыта. На MacOS вы сможете нажать Command+Shift+Dot чтобы показать папку в Finder.
• Перезагрузить обсидиан

Настройки

Существует четыре основных настройки, настраиваемых на панели «Настройки плагина», но значения по умолчанию настроены для популярного формата для наборов данных для моделей генерации текста, называемых JSONL.

Настройка названия	Описание	По умолчанию
Префикс для подсказок	Это строка, которая приготовлена ​​к приглашению при отправке в набор данных	{"prompt":
Суффикс для подсказок	Это строка, которая добавляется к приглашению при отправке в набор данных	,
Префикс для завершения	Это строка, которая приготовлена ​​к завершению при отправке в набор данных	"completion":
Суффикс для завершения	Это строка, которая добавляется к завершению при отправке в набор данных	}n

Помощь в развитии

Разработка

Создание новой версии:

git tag -a 1.0.1 -m " 1.0.1 "
git push origin 1.0.1

Вдохновение

Вдохновленный эффективностью и привлекательностью точной настройки вашей собственной языковой модели, этот плагин позволяет вам создавать наборы данных из ваших заметок в виде подсказок и ответов. Автоматически форматирует текст в спецификацию OpenAI для моделей Manetuning, таких как GPT3.

Этот плагин разделяет симулярность в плагин Texttransporter, изготовленный Tfthacker

Сделано с Conner Ohnesorge