CourtBot

Courtbot

Descrição

O CourtBot é um bot de bate -papo que pode acessar todas as decisões da Suprema Corte dos Estados Unidos. Ele pode responder a perguntas com base nas informações dessas decisões e citar as decisões específicas que usou para responder à pergunta.

Como correr

Instalar dependências

pip install -r requirements.txt

Correr

 ./run.sh
    [-s : scrape the supreme court cases]
    [-e : to embed court decisions]
    [-d : start backend]
    [-c cases|db : delete all cases or database]

1. Run ./run.sh -s raspa os casos da Suprema Corte do FindLaw e os precende para incorporar. O tempo necessário para raspar os dados depende do número de threads que você aloca e leva cerca de 3 horas com 50 threads. Os dados são armazenados no diretório SupremeCourtCases como arquivos TXT.
2. Run ./run.sh -e para incorporar os processos judiciais para o banco de dados Chroma. Esse processo é executado na GPU, mas pode ser executado na CPU. Ao executar na GPU, esse processo leva cerca de 14 horas para incorporar todos os 21 mil casos. O banco de dados Chroma é salvo no diretório .chroma .
3. Execute ./run.sh -d para iniciar o servidor. Todas as consultas para o banco de dados do vetor e o bot de bate -papo são feitas através desta API.

Fontes

• Os dados para os casos da Suprema Corte são raspados do FindLaw usando o Selenium e um driver da Web Chromium.
• As incorporações são calculadas usando o All-MPNET-BASE-V2, que é uma versão fina do Microsoft Modeling de Idiomas Mascarado e Permutado (MPNET) (ARXIV).
• O banco de dados vetorial usado é Chroma. O Chroma é um banco de dados vetorial que permite procurar vetores semelhantes. Ele é construído sobre o DuckDB e o Apache Parquet.
• O bot de bate -papo é construído usando o modelo de linguagem de diálogo aberto da Microsoft (Godel) (ARXIV). Este modelo é treinado em 551 milhões de diálogos do Reddit e 5 milhões de diálogos de instrução e conhecimento.
• A API é criada usando o FASTAPI, que usa um servidor da Web Uvicorn.