llmfoo
LLM
LLM Foo-это передовый проект, смешивающий искусство кунг-фу с помощью науки о крупных языковых моделях ... или на самом деле это автоматическое создание схемы инструмента Openai JSON, создание и построение результата в модель чата. И затем есть вторая утилита is_statement_true , в которой используется трюк Genius logit_bias, который использует только один выходной токен.
Но, эй, я надеюсь, что это станет набором небольших полезных вспомогательных функций LLM, которые облегчат строительные материалы, потому что текущие API -интерфейсы кровоточащих краев - это немного беспорядок, и я думаю, что мы можем добиться большего.
pip install llmfoo Вам нужно иметь openai_api_key в Env и возможность позвонить в модель gpt-4-1106-preview
is_statement_true должно быть легко понять. Сделайте некоторое заявление о естественном языке и проверьте его против критериев или общей правдивости. Вы возвращаетесь в логическое.
Недавно представленная функциональность pdf2md позволяет преобразовать PDF-документы в формат разметки, что облегчает их обработку и интеграцию с системами LLM. Эта функция особенно полезна для извлечения текста и таблиц из PDFS и преобразования их в более управляемый формат.
pdftocairo должен быть установлен в вашей системе для преобразования PDF -страниц на изображения. from llmfoo . pdf2md import process_pdf
from pathlib import Path
pdf_path = Path ( "path/to/your/document.pdf" )
output_dir = Path ( "path/to/output/directory" )
# Process the PDF and generate Markdown
markdown_file = process_pdf ( pdf_path , output_dir )Эта функция будет обрабатывать каждую страницу PDF, пытаясь извлечь текст, рисунки и таблицы, и преобразовать их в файл разметки в указанном выходном каталоге.
@tool Annotation.openai_schema , чтобы вернуть схему (вы можете отредактировать ее от JSON, если вы не довольны тем, что сделали машины)openai_tool_call , чтобы сделать звонок для инструмента и вернуть результат в формате сообщения API Chatopenai_tool_output , чтобы сделать звонок для инструмента и вернуть результат в формате вывода Assistant API from time import sleep
from openai import OpenAI
from llmfoo . functions import tool
from llmfoo import is_statement_true
def test_is_statement_true_with_default_criteria ():
assert is_statement_true ( "Earth is a planet." )
assert not is_statement_true ( "1 + 2 = 5" )
def test_is_statement_true_with_own_criteria ():
assert not is_statement_true ( "Temperature outside is -2 degrees celsius" ,
criteria = "Temperature above 0 degrees celsius" )
assert is_statement_true ( "1984 was written by George Orwell" ,
criteria = "George Orwell is the author of 1984" )
def test_is_statement_true_criteria_can_change_truth_value ():
assert is_statement_true ( "Earth is 3rd planet from the Sun" )
assert not is_statement_true ( "Earth is 3rd planet from the Sun" ,
criteria = "Earth is stated to be 5th planet from the Sun" )
@ tool
def adder ( x : int , y : int ) -> int :
return x + y
@ tool
def multiplier ( x : int , y : int ) -> int :
return x * y
client = OpenAI ()
def test_chat_completion_with_adder ():
number1 = 3267182746
number2 = 798472847
messages = [
{
"role" : "user" ,
"content" : f"What is { number1 } + { number2 } ?"
}
]
response = client . chat . completions . create (
model = "gpt-4-1106-preview" ,
messages = messages ,
tools = [ adder . openai_schema ]
)
messages . append ( response . choices [ 0 ]. message )
messages . append ( adder . openai_tool_call ( response . choices [ 0 ]. message . tool_calls [ 0 ]))
response2 = client . chat . completions . create (
model = "gpt-4-1106-preview" ,
messages = messages ,
tools = [ adder . openai_schema ]
)
assert str ( adder ( number1 , number2 )) in response2 . choices [ 0 ]. message . content . replace ( "," , "" )
def test_assistant_with_multiplier ():
number1 = 1238763428176
number2 = 172388743612
assistant = client . beta . assistants . create (
name = "The Calc Machina" ,
instructions = "You are a calculator with a funny pirate accent." ,
tools = [ multiplier . openai_schema ],
model = "gpt-4-1106-preview"
)
thread = client . beta . threads . create ( messages = [
{
"role" : "user" ,
"content" : f"What is { number1 } * { number2 } ?"
}
])
run = client . beta . threads . runs . create (
thread_id = thread . id ,
assistant_id = assistant . id
)
while True :
run_state = client . beta . threads . runs . retrieve (
run_id = run . id ,
thread_id = thread . id ,
)
if run_state . status not in [ 'in_progress' , 'requires_action' ]:
break
if run_state . status == 'requires_action' :
tool_call = run_state . required_action . submit_tool_outputs . tool_calls [ 0 ]
run = client . beta . threads . runs . submit_tool_outputs (
thread_id = thread . id ,
run_id = run . id ,
tool_outputs = [
multiplier . openai_tool_output ( tool_call )
]
)
sleep ( 1 )
sleep ( 0.1 )
messages = client . beta . threads . messages . list ( thread_id = thread . id )
assert str ( multiplier ( number1 , number2 )) in messages . data [ 0 ]. content [ 0 ]. text . value . replace ( "," , "" )Заинтересованы в содействии? Мне очень понравилось, чтобы сделать вашу помощь, чтобы сделать этот проект лучше! API -интерфейсы меняются, а система все еще очень первая версия.
Этот проект лицензирован по лицензии MIT.
