SNgramExtractor

Что это такое?

Сопутствующая библиотека книги машинного обучения Инженерия и выбор для объяснимых моделей: второй курс для ученых данных

Модуль sngramextractor помогает извлекать синтаксические отношения (теги SR) в качестве элементов SN-граммов.

Мы следуем по пути, отмеченному стрелками в зависимости и получаем SNGRAM. [1]

Преимущество синтаксических N-граммов (SN-граммы), т.е. N-граммы, которые построены с использованием путей в синтаксических деревьях, заключается в том, что они менее произвольны, чем традиционные N-граммы. Таким образом, их число меньше, чем количество традиционных N-граммов. Кроме того, их можно интерпретировать как лингвистическое явление, в то время как традиционные N-граммы не имеют правдоподобной лингвистической интерпретации, они являются просто статистическим артефактом. [1]

SN-Gram имеет удобство использования во многих областях применения применения естественного языка, таких как задачи классификации в машинном обучении [2], извлечение информации [3], понимание запросов [4], машинный перевод [5], системы ответа на вопросы [6]

Входные параметры

• Текст ввода ввода как одно предложение.
• Meta_tag Результирующий биграм и триграмма должны быть объединены с частью речевого тега ('pos') или тега зависимости ('dep') или оригинальной Sn-Gram ('Original')
• TRIGRAM_FLAG Если нам нужно включить триграммы, полученные из SN-граммов («да») или нет («нет»). По умолчанию «да»
• NLP_Model Укажите модель языка SPACY, которую вы хотите использовать. По умолчанию модель английского языка Spacy EN_CORE_WEB_SM. Это полезно для возможности использовать языки, отличные от английского.

Выход

Словажный объект с парами клавишных значений для биграма и триграммы, полученной из SN-Gram.

• Словарь SNBIGRAM для BigRam, полученного из SN-Gram
• Ключ словаря Снтриграмм для триграммы, полученной из SN-Gram

Как использовать это?

 from SNgramExtractor import SNgramExtractor

text = 'Economic news have little effect on financial markets.'    
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
text = 'every cloud has a silver lining'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
nlp_french = spacy . load ( 'fr_core_news_sm' )
text = 'Je voudrais réserver un hôtel à Rennes.'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = nlp_french )
output = SNgram_obj . get_SNgram ()    
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

Где это получить?

pip install SNgramExtractor

Как цитировать?

MD Азимул Хак (2022). Функциональная инженерия и выбор для объяснимых моделей: второй курс для ученых данных. Lulu Press, Inc.

Зависимости

• шпажина
• Spacy Model EN_CORE_WEB_SM

Ссылки

1. Синтаксические N-граммы на основе зависимостей в качестве классификации Григори Сидоров, Франциско Веласкеса, Эфстатиоса Стамататоса, Александра Гелбукха и Лилианы Чанона-Хернандес
2. Синтаксические n-граммы как функции машинного обучения для обработки естественного языка Григори Сидоров, Франциско Веласкеса, Эфстатиоса Стамататоса, Александра Гелбуха и Лилианы Чанона-Хернандес
3. Открыть открытую информацию на основе зависимости Пабло Гамалло, Маркос Гарсия и Сантьяго Фернандес-Ланза
4. Понимание запросов, усиленное иерархическими структурами синтаксического анализа с помощью Цзинджина Лю, Панупонг Пасупат, Ининг Ван, Скотт Сайферс и Джим Гласс
5. Деревья структуры зависимости в машинном переводе на основе синтаксиса Вамши Амбати
6. Поиск отрывка для ответа на вопрос с использованием зависимостей от Hang Cui, Renxu Sun, Keya Li, Min-Yen Kan и Tat-Seng Chua