ModelMerge

Modelmerge

Английский | китайский

Modelmerge-это мощная библиотека, предназначенная для упрощения и объединения использования различных крупных языковых моделей, включая GPT-3.5/4/4 Turbo/4O, O1-Preview/O1-Mini, Dall-E 3, Claude2/3/3,5, Gemini1.5 Pro/Flash, Vertex AI (Claude, Gemini), Duaduckgo и Grooc. Библиотека поддерживает вызовы функций формата GPT и имеет встроенные функции поиска Google и URL-сигнала, что значительно улучшит практичность и гибкость моделей.

Функции

• Многомодельная поддержка : интегрируйте различные новейшие крупные языковые модели.
• Взаимодействие в режиме реального времени : поддерживает потоки запросов в реальном времени, поиск отклика в реальном времени.
• Расширение функций : при встроенной поддержке вызова функции функции модели могут быть легко расширены, в настоящее время поддерживая плагины, такие как DuckDuckgo Search, Google, суммирование контента, чертеж Dalle-3, резюме Arxiv Paper, текущее время, интерпретатор кода и многое другое.
• Простой интерфейс : предоставляет краткий и унифицированный интерфейс API, что позволяет легко вызову и управляю моделью.

Быстрый старт

Ниже приведено руководство о том, как быстро интегрировать и использовать ModelMerge в вашем проекте Python.

Установить

Во -первых, вам нужно установить Modelmerge. Он может быть установлен непосредственно через PIP:

pip install modelmerge

Пример использования

Ниже приведен простой пример, демонстрирующий, как использовать ModelMerge для запроса модели GPT-4 и обработки возвращенных потоковых данных:

 from ModelMerge import chatgpt

# Initialize the model, set the API key and the selected model
bot = chatgpt ( api_key = "{YOUR_API_KEY}" , engine = "gpt-4o" )

# Get response
result = bot . ask ( "python list use" )

# Send request and get streaming response in real-time
for text in bot . ask_stream ( "python list use" ):
    print ( text , end = "" )

# Disable all plugins
bot = chatgpt ( api_key = "{YOUR_API_KEY}" , engine = "gpt-4o" , use_plugins = False )

? Переменные среды

Ниже приведен список переменных среды, связанных с настройками плагина:

Имя переменной	Описание	Необходимый?
ПОИСК	Включить плагин поиска. Значение по умолчанию True .	Нет
URL	Включить плагин с кратким изложением URL. Значение по умолчанию True .	Нет
Arxiv	Сообщите ли Arxiv Paper Abstract Plugin. Значение по умолчанию False .	Нет
КОД	Сообщите ли плагин интерпретатора кода. Значение по умолчанию False .	Нет
ИЗОБРАЖЕНИЕ	Сообщите ли плагин генерации изображений. Значение по умолчанию False .	Нет
ДАТА	Сообщите ли плагин даты. Значение по умолчанию False .	Нет

Поддерживаемые модели

• GPT-3,5/4/4 Turbo/4O
• O1-Preview/O1-Mini
• Dall-e 3
• Claude2/3/3,5
• Gemini1.5 Pro/Flash
• Vertex AI (Клод, Близнецы)
• Гриб
• DuckDuckgo (GPT-4o-Mini, Claude-3-Haiku, Meta-Llama-3.1-70b, Mixtral-8x7b)

? Плагин

Этот проект поддерживает несколько плагинов, в том числе: DuckDuckgo Search и Google, резюме URL-адреса, резюме Arxiv Paper, рисунок Dalle-3 и интерпретатор кода и т. Д. Вы можете включить или отключить эти плагины, установив переменные среды.

• Как разработать плагин?

Весь код, связанный с плагинами, находится в GIT Submodule Modelmerge в этом репозитории. Modelmerge - это независимый репозиторий, который я разработал для обработки запросов API, управления истории разговоров и других функций. Когда вы клонируете этот репозиторий, используя параметр --recurse-submodules с клоном GIT, ModelMerge будет автоматически загружен на вашу локальную машину. Весь код плагина в этом репозитории расположен в относительном пути ModelMerge/src/ModelMerge/plugins . Вы можете добавить свой собственный код плагина в этот каталог. Процесс разработки плагинов выглядит следующим образом:

1. Создайте новый файл Python в каталоге ModelMerge/src/ModelMerge/plugins , например, myplugin.py . Импортируйте свой плагин в файле ModelMerge/src/ModelMerge/plugins/__init__.py , например, from .myplugin import MyPlugin .

2. Добавьте корпус запроса форматированного инструмента Plugin Openai в переменную function_call_list в ModelMerge/src/ModelMerge/tools/chatgpt.py . Инструмент Claude Gemini не требует дополнительного письма, вам нужно только заполнить тело запроса инструмента в формате Openai, и программа автоматически преобразует его в формат инструмента Claude/Gemini при запросе API Gemini или Claude. function_call_list - это словарь, где ключ - это имя плагина, а значение - это корпус запроса плагина. Пожалуйста, убедитесь, что имена ключей в словаре function_call_list являются уникальными и не дублируют существующие имена ключей плагина.

3. Добавьте пары клавиш в словаре PLUGINS в ModelMerge/src/ModelMerge/plugins/config.py . Ключ - это имя плагина, а значение - переменная среды плагина и его значение по умолчанию. Это значение по умолчанию является переключателем для плагина; Если значение по умолчанию True , то плагин включен по умолчанию. Если значение по умолчанию является False , то плагин отключен по умолчанию и должен быть включен вручную пользователем в команде /info .

4. Наконец, в ModelMerge/src/ModelMerge/plugins/config.py функции get_tools_result_async , добавьте код для вызова плагина. Когда робот должен вызвать плагин, он позвонит этой функции. Вам нужно добавить код вызова плагина в эту функцию.

После завершения вышеуказанных шагов ваш плагин будет готов к использованию. ?

Лицензия

Этот проект лицензирован по лицензии MIT.

Вклад

Добро пожаловать, чтобы внести усовершенствования путем отправки вопросов или привлечь запросов через GitHub.

Контактная информация

Если у вас есть какие -либо вопросы или нужна помощь, пожалуйста, свяжитесь с нами по адресу [email protected].