Download de abel - Download de código fonte de abel

abel

Outro código-fonte

1.0.0

Baixar

IA generativa para matemática: Abel

Ethan Chern*, Haoyang Zou*, Xuefeng Li*, Jiewen Hu*, Kehua Feng, Junlong Li, Pengfei Liu+

"*" Colaboradores principais,
"+" Autor correspondente, (Gair) na Universidade de Shanghai Jiao Tong, Shanghai Ai Lab

Notícias

[2023/12/12] Lançamos o ABEL-7B-002 , resultando em uma melhoria mais forte (35% no GSM8K, melhoria de 126% em matemática) e modelo mais generalizado, alcançando o melhor desempenho entre todos os modelos 7B (80,44 no GSM8K, 29,46 na matemática)

Verifique o modelo e a tabela de classificação para obter os resultados mais recentes. Conseguimos uma precisão de mais de 80% no GSM8K pela primeira vez com o modelo 7B .
Consulte a seção de generalização para obter resultados de avaliação nos recursos de generalização do modelo.

Modelos e desempenho

Nome do modelo	Ponto de verificação HF	GSM8K	MATEMÁTICA	Licença
Abel-7b-002	? 7b	80.44	29.46	Licença Apache 2.0
Abel-7b-001	? 7b	59.74	13.00	LLAMA 2
Abel-13b-001	? 13b	66.41	17.34	LLAMA 2
Abel-70B-001	? 70B	83.62	28.26	LLAMA 2

Generalização

Modelo	GSM8K	MATEMÁTICA	Mathqa	Svamp	SCQ5K-en	Arc-e	Arc-c	Hellaswag	Mmlu
Abel-7b-002	80.44	29.46	69.78	77.67	55.95	77.67	55.05	77.72	61.19
Abel-7b-001	59.74	13	1.21	57.67	9.3	53.32	38.97	63.51	40.59
Metamath-Mistral-7b	77.7	28.2	33.94	79.33	37.6	78.48	51.93	76.44	61.93
QWEN-7B	47.84	9.34	27.44	53	40.05	74.97	53.05	86,85	57.98
Mistral-7b	37.83	9.06	25.73	63	39.6	76.83	53.22	76.31	64.05
Yi-6b	32.6	5.78	26.98	55.67	35.5	73.66	49.53	68.97	64.02
Llama2-7b	12.96	2.78	11.52	44	28.24	71.12	46.61	71.32	46.7

Pode -se descobrir que:

O ABEL-002 tem um desempenho excelente em conjuntos de dados matemáticos (GSM8K, Math, MathQA, Svamp, SCQ5K-en).
Também é competitivo nos conjuntos de dados de raciocínio fora do domínio (Arc-E, Arc-C, Hellaswag), superando o modelo básico Mistral-7b.
No MMLU, o ABEL-7B-002 mostra apenas uma diminuição marginal de 3 pontos em comparação com o Mistral-7b, enquanto o ABEL-7B-001 mostra uma diminuição de 6 pontos em comparação com a LLAMA2-7B.

Detalhes da avaliação:

Todos os resultados da avaliação são os valores máximos dos resultados de poucos e tiro zero.
Os resultados do GSM8K, Math, MathQA, SVAMP e SCQ5K-EN são avaliados por nossos scripts, enquanto os resultados do MMLU, Arc-E, Arc-C, Hellaswag são avaliados pelo OpenCompass.

Introdução

Abel é criado como uma homenagem a Niels Henrik Abel por seu trabalho inovador em álgebra e análise, na qual nosso modelo também é relativamente melhor. Ainda há um longo caminho para nós irmos?

Nós mostramos isso:

sem ferramentas
sem continuar com pré -treinamento
sem modelo de recompensa
sem rlHf
Somente usando SFT

Estabelecemos um novo desempenho de ponta nos LLMs de código aberto (que não usam ferramentas externas) nos benchmarks GSM8K ( 83,62 ) e Math ( 28.26 ). Especificamente:

O desempenho no GSM8K, em 83,62 , ultrapassa os modelos de primeira linha, como Palm-1, Minerva (Google), Claude-Instant (Anthrópio), ChatGPT (OpenAI), com apenas um atraso de 1 ponto de 1 ponto atrás do modelo mais recente do Google, Palm-2-Flan.
A obtenção de uma taxa de precisão de 28,26%em problemas de concorrência matemática altamente desafiadores (em comparação com os 42,5%do GPT4), ele mantém uma vantagem significativa em relação a outros modelos de código aberto, superando o melhor modelo anterior de código aberto em 5,46%.
Os modelos 7B e 13B alcançaram um marco histórico no desempenho do modelo de código aberto no GSM8K e na matemática.
GAIRMath-Abel protege 3 posições nos 10 principais rankings e permanece como o único projeto liderado pela universidade na lista (outros são startups em estrelas ou grandes empresas de tecnologia).
Usando nossa abordagem, não apenas alcançamos excelentes resultados no GSM8K e na matemática, mas quando recebemos um novo conjunto de dados (TALSCQ-EN), rapidamente atingimos o desempenho de ponta (SOTA) sem muito esforço, superando o modelo comercial de vários bilhões de dólares MathGPT e GPT4.

Nós demonstramos que:

As capacidades da SFT são significativamente subestimadas e os pesquisadores devem abordar a SFT com a devida reverência e cautela
A capacidade excepcional de solução de problemas matemática pode ser alcançada apenas através da SFT , o que provoca possibilidades mais imaginativas na exploração futura nessa direção.

Tabela de classificação para raciocínio matemático

significa o modelo proprietário enquanto ? representa o modelo de código aberto
? sugere que o desenvolvimento do modelo é liderado pela Universidade Acadêmica (em vez de empresas)
Consideramos apenas modelos sem usar nenhuma ferramenta (por exemplo, Python)

Ranking	Modelo	Param.	Organização líder	GSM8K	MATEMÁTICA
1	GPT-4	desconhecido	Openai	92.0	42.5
2	Claude-2	desconhecido	Antrópico	88.0	-
3	Palm-2-flan	desconhecido	Google	84.7	33.2
? 4	Gairmath- Abel	70B	? Laboratório Gair na Universidade de Xangai Jiaotong	83.6	28.3
? 5	Wizardmath	70B	Microsoft	81.6	22.7
6	Claude-Instant	desconhecido	Antrópico	80.9	-
7	Chatgpt	desconhecido	Openai	80.8	34.1
? 4	Abel -002	7b	? Laboratório Gair na Universidade de Xangai Jiaotong	80.4	29.5
8	ChatGPT-0301	desconhecido	Openai	74.9	-
? 9	Gairmath- Abel	13b	? Laboratório Gair na Universidade de Xangai Jiaotong	66.4	17.3
? 10	Gairmath- Abel	7b	? Laboratório Gair na Universidade de Xangai Jiaotong	59.7	13.0
11	Minerva	540b	Google	58.8	33.6
12	Palma	540b	Google	56.9	8.8
? 13	Lhama-2	70B	Meta	56.8	13.5
? 14	Rft	33b	OFA	56.5	7.4
? 15	Baichuan2-13b	13b	Baichuan	52.8	10.1
16	Minerva	62b	Google	52.4	27.6
17	Palma	64b	Google	52.4	4.4
? 18	Rft	13b	OFA	52.1	5.1
? 19	Lhama	65b	Meta	50.9	10.6
? 20	Qwen	7b	Alibaba	44.9	8.5
21	Chinchila	70B	DeepMind	43.7	-
? 22	Lhama-2	34b	Meta	42.2	6.24
23	Galactica	30b	Meta	41.7	12.7
? 24	Chatglm2	12b	Zhipu	40.9	-
25	Text-Davinci-002	175b	Openai	40.7	19.1
? 26	Lhama	33b	Meta	35.6	7.1
27	GPT-3	175b	Openai	34	5.2
? 28	Internlm	7b	Shanghai Ai Lab	31.2	-
? 29	Lhama-2	13b	Meta	28.7	3.9
? 30	Vicuna v1.3	13b	Lmsys	27.6	-
? 31	Falcão	40b	Instituto de Inovação em Tecnologia	19.6	2.5
? 32	Lhama	13b	Meta	17.8	3.9
? 33	Mpt	30b	Mosaicml	15.2	3.1
34	Galactica	6.7b	Meta	10.2	2.2

Metodologia

Propomos a supervisão dos pais , uma estratégia de babá para o ajuste fino supervisionado,

Parental Oversight não se limita a nenhum método específico de processamento de dados. Em vez disso, define a filosofia de processamento de dados que deve orientar o ajuste fino supervisionado na era da IA generativa (GAI). Acreditamos que, na era do GAI, a engenharia da estrutura de dados emergiu como um novo paradigma. Dentro desse paradigma, a maneira pela qual os dados de ajuste fino são processados afeta significativamente o desempenho do GAI treinado. Esperamos que um número crescente de estudos na comunidade se concentre nessa filosofia de processamento de dados.

O princípio da Parental Oversight enfatiza o tratamento de ajustes finos supervisionados com cuidado e prudência. Isso é análogo à maneira como os pais são incentivados a educar seus filhos. Diferentes tipos de dados, juntamente com seus formatos de apresentação (por exemplo, raciocínio passo a passo, refinamento iterativo), podem ser comparados a métodos educacionais variados. Assim como os pais selecionam cautelosamente a abordagem mais eficaz para instruir seus filhos, os profissionais da GAI devem selecionar cautelosamente as abordagens de processamento de dados mais eficazes para instruir melhor seus LLMs.

Além disso, quanto mais a filosofia "mais dados, melhor" nem sempre é verdadeira. A qualidade e a relevância das amostras anotadas geralmente superavam sua quantidade. As amostras de treinamento usadas na SFT não devem apenas apresentar a resposta certa, mas também instruir o modelo sobre como a resposta correta foi derivada com base no conhecimento do LLM. Além disso, se o conhecimento do LLM não for suficiente para responder a uma pergunta, Parental Oversight deve intervir para abordar prontamente as lacunas de conhecimento.

Avaliação

Crie um ambiente de conda conda create -n abel python=3.10
Ative o ambiente conda activate abel
Execute pip install -r requirements.txt .
Execute bash evaluation/eval.sh . Parte do script de avaliação é modificada no Minerva.
NOTA: Observamos uma natureza não determinística ao realizar avaliação, que pode estar relacionada a esse problema VLLM. Assim, é possível que o resultado que você obtenha possa diferir ligeiramente do nosso. Você também pode verificar nossa saída de avaliação no diretório ./outputs .

Análise de robustez

Nossa análise de robustez consiste em duas partes: avaliação adversária no conjunto de dados GSM8K_ROBUST e aprendizado de transferência supervisionado no conjunto de dados tal-scq5k-en . Realizamos uma análise preliminar para entender (1) se abels sobrecarregar o conjunto de dados de treinamento e, portanto, é quebradiço para amostras de testes fora da distribuição e (2) se nossa abordagem SFT pode transferir e generalizar rapidamente a Abel para conjuntos de dados de diferentes distribuições.

Avaliação adversária no conjunto de dados GSM8K_ROBUST

O conjunto de dados GSM8K_ROBUST é um conjunto de dados que estabelecemos com base no conjunto de dados GSM8K. Modificamos aleatoriamente os números dentro das questões do conjunto de dados GSM8K, sem alterar nenhuma outra informação nas perguntas, usando o GPT-4. Também pedimos ao GPT-4 que gerasse as 'respostas douradas' para as perguntas modificadas. Depois de revisar manualmente um subconjunto dessas amostras, descobrimos que todas as respostas geradas para as perguntas alteradas eram precisas. Utilizamos o conjunto de dados GSM8K_ROBUST para avaliar se os modelos superam os dados de treinamento, tornando os modelos suscetíveis a amostras de testes fora da distribuição. Nossa análise indica que a ABEL é mais robusta para amostras de testes fora da distribuição em comparação com outros modelos.

Modelo	GSM8K	Gsm8k_robust	delta
Abel-7b	59.74	58.23	-1,51
Abel-13b	66.41	66.57	+0.16
Abel-70B	83.62	81,80	-1,82
Wizardmath-70b	81.60	74.91	-6,70
WizardMath-13b	63.90	59.51	-4,39
RFT-7B	41.7	37.98	-3.72

Aprendizagem de transferência supervisionada no conjunto de dados tal-scq5k-en

Demonstramos que o ABEL-70B não apenas atinge o SOTA nos conjuntos de dados GSM8K e Math, mas também generaliza bem para o tal-scq5k-en 2k, um conjunto de dados recém-lançado do fornecedor Math LLM Tal (好未來). Nossa análise indica que nossa abordagem SFT pode generalizar com sucesso a Abel para conjuntos de dados de diferentes distribuições. Realizaremos análises e experimentos adicionais para explorar e melhorar as capacidades de generalização de Abel.

Modelo	Referência de teste tal-scq5k-en 2k
Abel-70B	59.7
Mathgpt	59.0
GPT-4	51.0
LLAMA-70B	43.8

Demonstração

Limitação

Excesso de ajuste : apesar de conduzir a análise de robustez e considerar que a IA generativa para a matemática exibe inerentemente fragilidade (geralmente necessitando de estratégias avançadas de decodificação, como o voto da maioria), a dependência excessiva na construção de amostras de SFT para aumentar o desempenho pode levar inevitavelmente o modelo para o excesso de ajuste. (No entanto, o excesso de ajuste não é a principal preocupação do projeto atual, porque, mesmo com o excesso de ajuste de vários dados de treinamento aumentado, continua sendo um desafio alcançar resultados favoráveis no conjunto de testes, como o conjunto de dados de matemática, para tarefas de raciocínio matemático complexas.
Generalização : Um bom modelo matemático não deve se limitar à solução de problemas apenas nos conjuntos de dados GSM8K e matemática; Deve ser capaz de lidar com vários tipos de problemas, incluindo aqueles que avaliam diferentes domínios de conhecimento e requerem diferentes tipos de respostas (por exemplo, múltipla escolha, verdadeira/falsa, provas, aritmética, etc.). Os recursos do modelo atual são insuficientes para generalizar para esses diversos cenários (nº 2).
Universalidade : Por fim, prevemos que as habilidades de raciocínio matemático possibilitadas por grandes modelos podem ser integradas aos chatbots para vários domínios, como medicina, lei, física, química etc. A chave para alcançar a AGI está incorporando o poder de um forte modelo matemático em outros modelos, que atualmente falta no modelo atual (#3).
Multilíngue : os dados de treinamento do modelo atual e as restrições de modelo básico limitam sua capacidade de fornecer respostas em outros idiomas que não o inglês (nº 4).
Técnicas avançadas : o modelo atual se concentra principalmente na SFT e técnicas avançadas, como modelos de recompensa, RLHF (aprendizado de reforço com feedback humano) e ferramentas ainda não foram exploradas. ( #5, #6)

Criamos uma lista de problemas para manter essas limitações e possíveis soluções. Suas opiniões e comentários são sempre bem -vindos.

Citação

Cite o repositório se o modelo/código/conclusão neste repositório for útil para você.

 @misc{abel,
  author = {Chern, Ethan and Zou, Haoyang and Li, Xuefeng and Hu, Jiewen and Feng, Kehua and Li, Junlong and Liu, Pengfei},
  title = {Generative AI for Math: Abel},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/GAIR-NLP/abel}},
}