CourtBot

De la cancha

Descripción

Courtbot es un bot de chat que puede acceder a todas las decisiones de la Corte Suprema de los Estados Unidos. Puede responder preguntas basadas en la información en estas decisiones y citar las decisiones específicas que utilizó para responder a la pregunta.

Cómo correr

Instalar dependencias

pip install -r requirements.txt

Correr

 ./run.sh
    [-s : scrape the supreme court cases]
    [-e : to embed court decisions]
    [-d : start backend]
    [-c cases|db : delete all cases or database]

1. Ejecutar ./run.sh -s raspa los casos de la Corte Suprema de FindLaw y los prepossa para incrustar. El tiempo necesario para raspar los datos depende de la cantidad de hilos que asigna y toma alrededor de 3 horas con 50 hilos. Los datos se almacenan en el directorio SupremeCourtCases como archivos TXT.
2. Ejecutar ./run.sh -e para incrustar los casos judiciales para la base de datos de Chroma. Este proceso se ejecuta en la GPU, pero podría ejecutarse en la CPU. Cuando se ejecuta en la GPU, este proceso tarda aproximadamente 14 horas en incrustar los 21 mil casos. La base de datos de Chroma se guarda en el directorio .chroma .
3. Ejecutar ./run.sh -d para iniciar el servidor. Todas las consultas a la base de datos Vector y el bot de chat se realizan a través de esta API.

Fuentes

• Los datos para los casos de la Corte Suprema se raspan de FindLaw usando Selenium y un controlador web de Chromium.
• Los incrustaciones se calculan utilizando All-MPNET-Base-V2, que es una versión fina del modelado de lenguaje enmascarado y permutado de Microsoft (MPNET) (ARXIV).
• La base de datos vectorial utilizada es Chroma. Chroma es una base de datos vectorial que le permite buscar vectores similares. Está construido sobre DuckDB y Apache Parquet.
• El bot de chat se construye con el modelo de lenguaje de diálogo abierto en tierra de Microsoft (Godel) (ARXIV). Este modelo está capacitado en 551 millones de diálogo de Reddit y 5 millones de diálogo de instrucción y conocimiento.
• La API se construye utilizando FastAPI que utiliza un servidor web UVicorn.