llm_oracle

llm_oracle

LLM Oracle является инструментом GPT-4 для прогнозирования будущих событий. Это как мяч Magic 8, который способен провести фундаментальные исследования, расчеты и рассуждения.

Демо -сайт

Как это работает?

Подсказка

На высоком уровне все это всего лишь обертка для GPT-4.

1. Вы задаете вопрос
2. Мы спрашиваем GPT Is {question} a valid question for a prediction market? , если не ошибка
3. Мы спрашиваем GPT

 Will the answer to "{question}" be yes?
Today is {date}

You can use these tools: Calculator, Wolfram Alpha, Google, etc.

Respond with arguments for and against, then with a final prediction.

4. GPT входит в оперативную цепочку (React), чтобы собрать информацию, чтобы лучше ответить на вопрос
5. Мы анализируем окончательный прогноз (например, SOMEWHAT_LIKELY ) в вероятность от 0 до 100%.

Ограничения

• Ожидается, что выходы модели не будут откалиброваны (например, события, которые, по словам 80%, возможно, только 50% в конечном итоге верны)
• Модель ограничена тем, что, очевидно, может ответить на вопрос. Он не может выполнить подробные исследования, построить модели прогнозирования и запустить расширенные многочисленные расчеты.
• Типичные ограничения LLM также применяются как уязвимость для привлечения инъекций как в вопрос, так и в собранном интернет -тексту, галлюцинациях, предвзятости и т. Д.

Приложение конфиденциальность

Вот краткий обзор того, что сохраняется, когда вы используете демонстрационное приложение. В случае нарушения это также то, что можно получить.

Хранится "навсегда"

• Вопросы, которые вы задаете (любой, у кого есть идентификатор прогнозирования, или кто -либо из них, если «публичная», установленная в настройках, может просматривать) может просмотреть)
• Уникальный анонимный идентификатор пользователя, связанный с вопросами (вы можете обойти новым браузером, инкогнито и т. Д.)
• Журналы агента GPT, которые могут содержать общедоступную информацию о вопросе

Не используется / хранится

• Учетные записи социальных сетей, с которыми вы делитесь

Python API

Установить

1. pip install git+https://github.com/sshh12/llm_oracle
2. Среда

 OPENAI_API_KEY=
SERPER_API_KEY= (required for tool agents)
SCRAPINGBEE_API_KEY= (required for tool agents)
WOLFRAM_ALPHA_APPID= (required for tool agents)
KALSHI_EMAIL= (required for kalshi API)
KALSHI_PASSWORD= (required for kalshi API)

DATABASE_URL= (required for demo app)

Пример

 from llm_oracle . markets . kalshi import KalshiMarket
from llm_oracle . markets . custom import CustomMarket , CustomEvent
from llm_oracle . markets . manifold import ManifoldMarket
from llm_oracle . agents . agent_basic import BasicAgentv1 , BasicAgentv2 , BasicAgentv3
from llm_oracle . agents . agent_tools import ToolAgentv1 , ToolAgentv2 , ToolAgentv3
import datetime
import os

manifold_market = ManifoldMarket ()
kalshi_market = KalshiMarket ( email = os . environ [ "KALSHI_EMAIL" ], password = os . environ [ "KALSHI_PASSWORD" ])

kalshi_event_ids = [
    "GTEMP-23-P1.02" ,
    "NPPC-24DEC31" ,
    "BIDENVNEBRASKA-24DEC31" ,
    "TIKTOKBAN-23DEC31" ,
    "SFFA-COMPLETE" ,
    "COIN-23DEC31" ,
    "HURCTOTMAJ-23DEC01-T3" ,
    "SCOTUSN-23" ,
    "MOON-25" ,
]

manifold_event_ids = [
    "will-lex-fridman-interview-ai-by-20" ,
    "will-biden-be-the-2024-democratic-n" ,
    "will-a-nuclear-weapon-be-detonated-b71e74f6a8e4" ,
]

custom_market = CustomMarket (
    [
        CustomEvent (
            "Will a humanity be replaced by AI by 2050?" ,
            datetime . datetime ( 2050 , 1 , 1 ),
        ),
        CustomEvent (
            "Will a random number that I pull from a uniform distribution [0, 100] be greater or equal to 99?" ,
            datetime . datetime ( 2025 , 1 , 1 ),
        ),
    ]
)


EVENTS = (
    [ kalshi_market . get_event ( kid ) for kid in kalshi_event_ids ]
    + [ manifold_market . get_event ( mid ) for mid in manifold_event_ids ]
    + custom_market . events
)

AGENTS = {
    "basic_v1" : BasicAgentv1 (),
    "basic_v2" : BasicAgentv2 (),
    "basic_v3" : BasicAgentv3 (),
    "tool_v1" : ToolAgentv1 (),
    "tool_v2" : ToolAgentv2 (),
    "tool_v3" : ToolAgentv3 (),
}


for event in EVENTS :
    if not event . is_active ():
        continue
    title = event . get_title ()
    event_uid = event . get_universal_id ()
    market_p = event . get_market_probability ()
    for agent_name , agent in AGENTS . items ():
        p = agent . predict_event_probability ( event )
        with open ( "predictions.tsv" , "a" ) as f :
            f . write ( f" { event_uid } t { title } t { market_p } t { agent_name } t { p } n " )