COMET ATOMIC En Zh download - COMET ATOMIC En Zh fonte download

COMET ATOMIC En Zh

Código-Fonte de IA

1.0.0

Baixar

Cometa-atômico-en-zh

Exemplos de tradução em inglês e chinês de gráficos de conhecimento do senso comum do evento japonês da Waseda University

Em inglês

Breve citação

O raciocínio diário do senso comum na vida pode ser obtido através de algumas relações densas de conhecimento de inferência, como mostrado na figura abaixo:

Abaixo está a descrição relevante no papel atômico

"X resistiu ao ataque de Y", podemos inferir imediatamente vários fatos razoáveis sobre o incidente. No que diz respeito à motivação razoável por trás do incidente, X pode querer se proteger. Quanto aos pré-requisitos razoáveis antes do incidente, X pode ter recebido treinamento em autodefesa, defendendo com sucesso o ataque de Y. Também podemos inferir as características razoáveis de X: ela pode ser forte, qualificada e corajosa. Como resultado desse incidente, X pode estar com raiva e pode querer chamar a polícia. Por outro lado, você pode ter medo de ser pego e querer fugir.

Se você deseja ver o exemplo de dados correspondente real, poderá ver o exemplo de tradução abaixo.

A Waseda University marcou um conjunto de dados NLP-Waseda/Comet-Atomic-JA em japonês e estudou se o modelo poderia aprender se-depois de inferências do senso comum de eventos que não haviam sido vistos antes. Eles exploraram os modelos GPT2 e T5, respectivamente. (Dada a frase E e a dimensão da inferência C, o modelo gera o alvo t = fθ (e, c).) Isso pode ser facilmente alcançado com a ajuda dos métodos de modelagem de problemas de aprendizado de sugestão de hoje.

O foco deste projeto é traduzir seu corpus para o inglês e o chinês e treinar o modelo de estilo T5 para verificar a adaptabilidade do aprendizado imediato para lidar com esses problemas em inglês e chinês.

Exibição de tradução de dados

Japonês (amostra original)

Exemplo de estrutura JSON

{ 'event': {'event': 'Xがパチンコ屋へ行く', 'mental_state': 'Xがパチンコ屋へ行く' },
 'inference': {'event': {'before': ['Xが小遣いをもらう',
    'Xがパチンコで勝つ',
    'Xが金を用意する',
    'Xがギャンブル依存症だと自覚する',
    'Xが車を運転する',
    'Xが金を稼ぐ',
    'Xが金を持っている',
    'Xが時間的余裕を持つ'],
   'after': ['Xが負ける']},
  'mental_state': {'before': ['時間をつぶしたい',
    'ギャンブルがしたい',
    '何か面白いことないかな',
    '時間つぶしだ',
    '暇だ',
    'お金が欲しい',
    'お金を儲ける',
    'ストレス発散したい'],
   'after': ['お金を失う',
    'お金がなくなった',
    'お金をたくさん使う',
    'もう少ししたら帰る',
    'お金が減る',
    'また負けた',
    '当たりそうだ',
    '勝ったら嬉しい',
    '負けて帰ってくる',
    'お金がなくなる']}}}

Inglês (amostra traduzida)

Exemplo de estrutura JSON

{ 'en_event': {'event': 'X is going to the pachinko parlor',
  'mental_state': 'X is going to the pachinko parlor' },
 'en_inference': {'event': {'before': ['X gets an allowance',
    'X wins at pachinko.',
    'X gets the money.',
    'Realize X has a gambling problem',
    'X drives a car',
    'X makes money',
    'X has money',
    'X has time to spare'],
   'after': ['X will lose']},
  'mental_state': {'before': ['X wants to kill time',
    'X wants to gamble',
    'I need something fun to do',
    'X is killing time',
    " I'm not busy " ,
    'I want money',
    'Make some money',
    'I want to relieve stress'],
   'after': ['Lose money',
    'Money is running out',
    'Spend a lot of money',
    " I'll be home in a little while " ,
    'X will have less money',
    'I lost again.',
    " I think I'm going to win. " ,
    " I'll be happy if I win " ,
    'X comes home defeated',
    'X runs out of money']}}}

Chinês (amostra traduzida)

Exemplo de estrutura JSON

{ 'zh_event': {'event': 'X要去柏青哥店。', 'mental_state': 'X要去柏青哥店。' },
 'zh_inference': {'event': {'before': ['X得到一笔津贴',
    'X在弹子机上赢了。',
    'X拿到钱',
    'X意识到自己有赌博问题',
    'X驾驶汽车',
    'X 挣钱',
    'X有钱了',
    'X有时间'],
   'after': ['X输了一场比赛']},
  'mental_state': {'before': ['X想打发时间',
    'X想赌博',
    '我需要一些有趣的事情来做',
    'X在打发时间',
    '我不忙。',
    '我想要钱',
    '赚点钱',
    '我想缓解压力'],
   'after': ['失去了金钱。',
    '我已经没有钱了',
    '我花了很多钱',
    '我一会儿就回家了',
    'X有更少的钱',
    '我又输了。',
    '我想我要赢了。',
    '如果我赢了，我会很高兴。',
    'X败兴而归',
    'X钱用完了']}}}

Modelo

Eu ajustei os modelos baseados em T5 e baseados em LORA em inglês e chinês (com a ajuda da PEFT) no gráfico que eu construí.
Mais informações e exemplos sobre o LORA podem ser visualizados em https://github.com/svjack/controllora-chinese, um aplicativo ControlNet baseado em LORA no domínio do modelo de difusão estável para controlar a saída da imagem via controlnet baseada em LORA.

Instalar

pip install -r requirements.txt

Modelos disponíveis no Huggingface:

Nome	Link do modelo de huggingface	Link do espaço Huggingface
Cometa inglês atômico?	https://huggingface.co/svjack/comet-atomic-en	https://huggingface.co/spaces/svjack/english-comet-atomic
Cometa chinês atômico	https://huggingface.co/svjack/comet-atomic-zh	https://huggingface.co/spaces/svjack/chinese-comet-atomic
Cometa chinês atomic t5 lora	https://huggingface.co/svjack/mt0-large-comet-atomic-zh-peft-arly-cpu	https://huggingface.co/spaces/svjack/chinese-comet-atomic-t5-large-lora

Você pode usá -lo online ou com base em cartões de modelo.