enrichment_models
1.0.0
Wir haben die API von Ntropy und einen Satz von LLMs in der Aufgabe der Extrahiere der folgenden Felder: Etikett, Kaufmann und Website verboten.
Die API von Ntropy wird mit:
Der verwendete Datensatz finden Sie hier: /datasets/100_labeled_consumer_transactions.csv . Alle Vorhersagen finden Sie hier: /datasets/benchmark_predictions.csv . Es besteht aus einer zufälligen Teilmenge von 100 anonymisierten Verbrauchertransaktionen. Die vollständige Label -Liste finden Sie hier.
| GPT 4 | Lama -Finetuned 7B | Lama -Finetuned 13b | Ntropy API | |
|---|---|---|---|---|
| Label -Genauigkeit | 0,71 | 0,72 | 0,78 | 0,86 |
| Label -F1 -Punktzahl | 0,64 | 0,56 | 0,65 | 0,73 |
| Label -Label -Ähnlichkeit * | 0,85 | 0,82 | 0,87 | 0,91 |
| Labellatenz (S/TX) | 1.47 | 0,27 | 0,34 | 0,01 |
| Handelsgenauigkeit | 0,66 | / | / | 0,87 |
| Website -Genauigkeit | 0,69 | / | / | 0,87 |
| Normalizer -Latenz (S/TX) | 4.45 | / | / | 0,01 |
*: Die Ähnlichkeit von Etiketten ist eine ungefähre Metrik, die die Einbettungsdistanz verwendet, um eine reibungslosere Metrik als die Genauigkeit zu ergeben (EX: 2 ähnliche Bezeichnungen haben eine Punktzahl nahe 1, während 2 sehr unterschiedliche semantisch eine Punktzahl nahe 0 haben). Weitere Details finden Sie in tests/integration/test_openai::test_label_similarity_score .
Unter den bewerteten Modellen zeigt die Ntropie die besten Metriken hinsichtlich Genauigkeit und Latenz. Diese Überlegenheit kann auf mehrere Faktoren zurückgeführt werden, einschließlich des Zugriffs auf Web -Suchmaschinen und interne Händlerdatenbanken. Darüber hinaus wurden die internen Modelle von Ntropy speziell für finanzielle Aufgaben fein abgestimmt, was zu ihrer Wirksamkeit dazu beigetragen hat, genaue Beschriftungen zu erhalten.
Wir haben festgestellt, dass ein Lama-Modell, wenn es zu Verbrauchertransaktionen fein abgestimmt ist, auch ohne Zugang zu externen Informationen über Händler, eine höhere Genauigkeit im Vergleich zu GPT-4 (um 7 Punkte) erreicht. Dies deutet darauf hin, dass die Modelle von LLM über ein beträchtliches Wissen über Unternehmen verfügen, obwohl die direkte Messung dieses Wissens eine Herausforderung sein kann. Darüber hinaus scheint das Abrufen von gereinigten Firmennamen und Websites für diese Modelle schwieriger zu sein.
Basierend auf diesem Datensatz ist es "interessant" zu bemerken, dass GPT-4 die Möglichkeit hat, Websites zu generieren, die auf den ersten Blick korrekt zu sein scheinen, aber in Wirklichkeit nicht existieren. Zum Beispiel:
HINWEIS: Lama -Modelle wurden an einer einzigen A100 -GPU untersucht.
(zurück nach oben)
Dieses Projekt verwendet Python> = 3.10
Das Python -Paket, das entweder mit Gedichten oder PIP installiert werden kann:
poetry install
poetry shell
pip install .
Je nachdem, welches Modell Sie ausführen möchten, benötigen Sie mindestens eines der folgenden (oder alle für das Ausführen des vollständigen Benchmarks):
Für die Verwendung der Ntropy -API benötigen Sie einen API -Schlüssel:
enrichment_models/__init__.pyHinweis: Sie erhalten eine Limit von 10 000 Transaktionen mit einem kostenlosen Konto. Wenn Sie mehr brauchen, kontaktieren Sie uns bitte.
Für die Verwendung der OpenAI -Modelle benötigen Sie einen API -Schlüssel:
enrichment_models/__init__.pyDie Lama -Adapter sind offen und können aus dem Hubface -Hub verwendet werden. Die Modelle haben 2 Varianten (7B -Parameter und 13B -Parameter, 16bit) und können bei den folgenden URLs gefunden werden:
HINWEIS: Mindestens 32 GB RAM werden benötigt, um Lama -Modelle auszuführen (besser, wenn Sie Zugriff auf einige GPUs mit genügend VRAM haben)
(zurück nach oben)
Wenn Sie den vollständigen Benchmark ausführen möchten, können Sie nach dem Einrichten der API -Schlüssel in enrichment_models/__init__.py einfach ausführen:
make benchmark
Oder
python scripts/full_benchmark.py
Dadurch werden die Ergebnisse auf dem Terminal sowie auf Dumping -Metriken und -vorhersagen im datasets/ in den Ordner ausgedehnt.
Wenn Sie eines dieser Modelle integrieren möchten, können Sie nur Beispiele in den Notebooks in notebooks/ Ordner nehmen.
Wenn Sie die API von Ntropy integrieren möchten, sollten Sie sich möglicherweise die Dokumentation ansehen
Es gibt ein Notebook pro Modell (Ntropy, Openai und Lama).
Wir begrüßen und schätzen jede Pull -Anfrage, die Verbesserungen vorschlägt oder neue Modelle, APIs usw. einführt, um die Benchmark -Tabelle hinzuzufügen.
(zurück nach oben)
Unter der MIT -Lizenz verteilt. Weitere Informationen finden Sie LICENSE .
(zurück nach oben)
Hauptprojektabhängigkeiten:
(zurück nach oben)
