COMET ATOMIC En Zh Скачать - COMET ATOMIC En Zh Source Code скачать

COMET ATOMIC En Zh

AI Исходный код

1.0.0

Скачать

Комета-атомник-эн-ZH

Примеры английского и китайского перевода графиков знаний здравого смысла в японском мероприятии Университета Васеда

По-английски

Краткая цитата

Ежедневные рассуждения здравого смысла в жизни могут быть получены с помощью некоторых плотных отношений знаний по выводу, как показано на рисунке ниже:

Ниже приведено соответствующее описание в атомной бумаге

«X сопротивлялся атаке Y», мы можем немедленно сделать вывод различных разумных фактов об инциденте. Что касается разумной мотивации этого инцидента, X может захотеть защитить себя. Что касается разумных предпосылок до инцидента, X, возможно, получил обучение самообороны, таким образом, успешно защищавшись от атаки Y. Мы также можем сделать вывод разумных характеристик X: она может быть сильной, квалифицированной и смелой. В результате этого инцидента X может злиться и может захотеть позвонить в полицию. С другой стороны, Y может бояться, что меня поймают и хотят убежать.

Если вы хотите увидеть реальный соответствующий пример данных, вы можете увидеть пример перевода ниже.

Университет Васеды пометил набор данных NLP-WaseDa/Comet-Atomic-JA на японском языке и изучил, сможет ли модель изучать, если бы это ни здравый смысл выводы о событиях, которые не видели раньше. Они исследовали модели GPT2 и T5 соответственно. (Учитывая фразу события E и измерение вывода C, модель генерирует цель t = fθ (e, c).) Это может быть легко достигнуто с помощью методов моделирования задачи сегодняшнего обучения.

В центре внимания этого проекта - перевести их корпус на английский и китайский язык, а также обучить модель стиля T5, чтобы проверить адаптивность быстрого обучения, чтобы решать такие проблемы на английском и китайском языке.

Отображение перевода данных

Японский (оригинальный образец)

Пример структуры JSON

{ 'event': {'event': 'Xがパチンコ屋へ行く', 'mental_state': 'Xがパチンコ屋へ行く' },
 'inference': {'event': {'before': ['Xが小遣いをもらう',
    'Xがパチンコで勝つ',
    'Xが金を用意する',
    'Xがギャンブル依存症だと自覚する',
    'Xが車を運転する',
    'Xが金を稼ぐ',
    'Xが金を持っている',
    'Xが時間的余裕を持つ'],
   'after': ['Xが負ける']},
  'mental_state': {'before': ['時間をつぶしたい',
    'ギャンブルがしたい',
    '何か面白いことないかな',
    '時間つぶしだ',
    '暇だ',
    'お金が欲しい',
    'お金を儲ける',
    'ストレス発散したい'],
   'after': ['お金を失う',
    'お金がなくなった',
    'お金をたくさん使う',
    'もう少ししたら帰る',
    'お金が減る',
    'また負けた',
    '当たりそうだ',
    '勝ったら嬉しい',
    '負けて帰ってくる',
    'お金がなくなる']}}}

Английский (переведенный образец)

Пример структуры JSON

{ 'en_event': {'event': 'X is going to the pachinko parlor',
  'mental_state': 'X is going to the pachinko parlor' },
 'en_inference': {'event': {'before': ['X gets an allowance',
    'X wins at pachinko.',
    'X gets the money.',
    'Realize X has a gambling problem',
    'X drives a car',
    'X makes money',
    'X has money',
    'X has time to spare'],
   'after': ['X will lose']},
  'mental_state': {'before': ['X wants to kill time',
    'X wants to gamble',
    'I need something fun to do',
    'X is killing time',
    " I'm not busy " ,
    'I want money',
    'Make some money',
    'I want to relieve stress'],
   'after': ['Lose money',
    'Money is running out',
    'Spend a lot of money',
    " I'll be home in a little while " ,
    'X will have less money',
    'I lost again.',
    " I think I'm going to win. " ,
    " I'll be happy if I win " ,
    'X comes home defeated',
    'X runs out of money']}}}

Китайский (переведенный образец)

Пример структуры JSON

{ 'zh_event': {'event': 'X要去柏青哥店。', 'mental_state': 'X要去柏青哥店。' },
 'zh_inference': {'event': {'before': ['X得到一笔津贴',
    'X在弹子机上赢了。',
    'X拿到钱',
    'X意识到自己有赌博问题',
    'X驾驶汽车',
    'X 挣钱',
    'X有钱了',
    'X有时间'],
   'after': ['X输了一场比赛']},
  'mental_state': {'before': ['X想打发时间',
    'X想赌博',
    '我需要一些有趣的事情来做',
    'X在打发时间',
    '我不忙。',
    '我想要钱',
    '赚点钱',
    '我想缓解压力'],
   'after': ['失去了金钱。',
    '我已经没有钱了',
    '我花了很多钱',
    '我一会儿就回家了',
    'X有更少的钱',
    '我又输了。',
    '我想我要赢了。',
    '如果我赢了，我会很高兴。',
    'X败兴而归',
    'X钱用完了']}}}

Модель

Я настраивал модели на базе T5 и Lora на английском и китайском языке (с помощью PEFT) на графике, который я построил.
Более подробную информацию и примеры о LORA можно просмотреть в https://github.com/svjack/controllora-chinese, приложении ControlNet на основе LORA в домене стабильной диффузионной модели для управления выводом изображения через LORA ControlNet.

Установить

pip install -r requirements.txt

Модели, доступные в Huggingface:

Имя	Ссылка на модель HuggingFace	Космическая ссылка Huggingface
Английская комета Атомная?	https://huggingface.co/svjack/comet-atomic-en	https://huggingface.co/spaces/svjack/english-comet-atomic
Китайская комета Атомная	https://huggingface.co/svjack/comet-atomic-zh	https://huggingface.co/spaces/svjack/chinese-comet-atomic
Китайская комета атомная T5 Lora	https://huggingface.co/svjack/mt0-large-comet-atomic-zh-peft-arly-cpu	https://huggingface.co/spaces/svjack/chinese-comet-atomic-t5-large-lora

Вы можете использовать его онлайн или на основе модельных карт.