enrichment_models
1.0.0
Realizamos a API da NTropy e um conjunto de LLMs na tarefa de extrair os seguintes campos: rótulo, comerciante e site.
A API da NTropy é comparada com:
The dataset used can be found here: /datasets/100_labeled_consumer_transactions.csv . All predictions can be found here: /datasets/benchmark_predictions.csv . Consiste em um subconjunto aleatório de 100 transações de consumidores anônimos. A lista de etiquetas completa pode ser encontrada aqui.
| GPT 4 | LLAMA FINETUNED 7B | LLAMA FINETUNED 13B | API NTropy | |
|---|---|---|---|---|
| Precisão da gravadora | 0,71 | 0,72 | 0,78 | 0,86 |
| Pontuação da gravadora F1 | 0,64 | 0,56 | 0,65 | 0,73 |
| Rótulo de similaridade da etiqueta * | 0,85 | 0,82 | 0,87 | 0,91 |
| Latência da gravadora (S/TX) | 1.47 | 0,27 | 0,34 | 0,01 |
| Precisão do comerciante | 0,66 | / | / | 0,87 |
| Precisão do site | 0,69 | / | / | 0,87 |
| Latência do normalizador (S/TX) | 4.45 | / | / | 0,01 |
*: A similaridade da etiqueta é uma métrica aproximada que usa a distância de incorporação para fornecer uma métrica mais suave que a precisão (Ex: 2 rótulos semelhantes terão uma pontuação próxima a 1, enquanto 2 muito diferente terão uma pontuação próxima de 0). You can see more details in tests/integration/test_openai::test_label_similarity_score .
Entre os modelos avaliados, a Ntropy demonstra as melhores métricas em termos de precisão e latência. Essa superioridade pode ser atribuída a vários fatores, incluindo seu acesso a mecanismos de pesquisa da Web e bancos de dados de comerciantes internos. Além disso, os modelos internos da Ntropy foram ajustados especificamente para tarefas financeiras, contribuindo para sua eficácia para obter rótulos precisos.
Percebemos que, quando um modelo de lhama está ajustado às transações de consumidores, mesmo sem ter acesso a informações externas sobre comerciantes, ela atinge uma precisão mais alta em comparação com o GPT-4 (por 7 pontos). Isso sugere que os modelos da LLM possuem uma quantidade considerável de conhecimento sobre as empresas, embora medir esse conhecimento diretamente possa ser um desafio. Além disso, a recuperação de nomes e sites da empresa limpa parece ser mais difícil para esses modelos.
Com base nesse conjunto de dados, é "interessante" notar que o GPT-4 tem a capacidade de gerar sites que parecem estar corretos à primeira vista, mas, na realidade, não existem. Por exemplo:
NOTA: Os modelos de lhama foram comparados com uma única GPU A100.
(de volta ao topo)
Este projeto usa python> = 3.10
O pacote python que pode ser instalado usando poesia ou pip:
poetry install
poetry shell
pip install .
Dependendo do modelo que você deseja executar, você precisa de pelo menos um dos seguintes (ou tudo para executar a referência completa):
Para usar a API NTropy, você precisa de uma chave da API:
enrichment_models/__init__.pyNota: Você obterá um limite de 10.000 transações com uma conta gratuita. Se precisar de mais, entre em contato conosco.
Para usar os modelos Openai, você precisará de uma chave da API:
enrichment_models/__init__.pyOs adaptadores de llama são de origem aberta e podem ser usados no hub do Huggingface. Os modelos têm 2 variantes (parâmetros 7b e 13b, 16bits) e podem ser encontrados nos seguintes URLs:
NOTA: São necessários 32 GB de RAM para executar modelos de llama (melhor se você tiver acesso a algumas GPUs com VRAM suficientes)
(de volta ao topo)
If you want to run the full benchmark, after setting up API KEY's in enrichment_models/__init__.py , you can just run:
make benchmark
Ou
python scripts/full_benchmark.py
This will print results on the terminal as well as dumping metrics and predictions in the datasets/ folder.
If you want to integrate one of these models, you can just take examples on the notebooks, in the notebooks/ folder.
Além disso, se você quiser integrar a API da NTropy, pode querer dar uma olhada na documentação
Há um caderno por modelo (Ntropy, Openai e Llama).
Congratulamo -nos com e apreciamos qualquer solicitação de tração que sugira aprimoramentos ou introduz novos modelos, APIs e assim por diante para adicionar à tabela de referência.
(de volta ao topo)
Distribuído sob a licença do MIT. See LICENSE for more information.
(de volta ao topo)
Principais dependências do projeto:
(de volta ao topo)
