CourtBot

Courtbot

Beschreibung

Courtbot ist ein Chat -Bot, der auf alle Entscheidungen des Obersten Gerichtshofs der Vereinigten Staaten zugreifen kann. Es kann Fragen basierend auf den Informationen in diesen Entscheidungen beantworten und die spezifischen Entscheidungen zitieren, mit denen die Frage beantwortet wurde.

Wie man rennt

Abhängigkeiten installieren

pip install -r requirements.txt

Laufen

 ./run.sh
    [-s : scrape the supreme court cases]
    [-e : to embed court decisions]
    [-d : start backend]
    [-c cases|db : delete all cases or database]

1. Rennen ./run.sh -s Die Zeit, die zum Abkratzen der Daten benötigt wird, hängt von der Anzahl der Threads ab, die Sie zuweisen, und dauert ungefähr 3 Stunden mit 50 Threads. Die Daten werden im Verzeichnis SupremeCourtCases als TXT -Dateien gespeichert.
2. Run ./run.sh -e um die Gerichtsverfahren für die Chroma -Datenbank einzubetten. Dieser Vorgang wird auf der GPU ausgeführt, könnte jedoch auf der CPU ausgeführt werden. Beim Laufen in der GPU dauert dieser Prozess etwa 14 Stunden, um alle 21.000 Fälle einzubetten. Die Chroma -Datenbank wird im .chroma -Verzeichnis gespeichert.
3. Führen Sie ./run.sh -d aus, um den Server zu starten. Alle Abfragen zur Vektordatenbank und des Chat -Bots werden über diese API durchgeführt.

Quellen

• Die Daten für die Fälle des Obersten Gerichtshofs werden von Findlaw unter Verwendung von Selen und einem Chrom -Web -Treiber abgekratzt.
• Die Einbettungen werden unter Verwendung von All-MPNET-Base-V2 berechnet, einer feinen abgestimmten Version der maskierten und permutierten Sprachmodellierung von Microsoft (MPNET) (ARXIV).
• Die verwendete Vektordatenbank ist Chroma. Chroma ist eine Vektor -Datenbank, mit der Sie nach ähnlichen Vektoren suchen können. Es ist auf Duckdb und Apache Parquet aufgebaut.
• Der Chat -Bot wird mit Microsoft's Buyd Open Dialogue Language Model (Godel) (ARXIV) erstellt. Dieses Modell wird auf 551 Millionen Dialogen aus Reddit und 5 Millionen Dialogen für Anweisungen und Wissen geschult.
• Die API wird mit Fastapi erstellt, der einen Uvicorn -Webserver verwendet.