Главная страница>Связанные с программированием>Другой исходный код
Скачать

FlashText

Этот модуль может использоваться для замены ключевых слов в предложениях или извлечения ключевых слов из предложений. Он основан на алгоритме FlashText.

Установка

 $ pip установить FlashText

API DOC

Документацию можно найти на FlashText Read The Docs.

Использование

Извлеките ключевые слова 
>>> from flashtext import KeywordProcessor
>>> keyword_processor = KeywordProcessor()
>>> # keyword_processor.add_keyword(<unclean name>, <standardised name>)
>>> keyword_processor.add_keyword( ' Big Apple ' , ' New York ' )
>>> keyword_processor.add_keyword( ' Bay Area ' )
>>> keywords_found = keyword_processor.extract_keywords( ' I love Big Apple and Bay Area. ' )
>>> keywords_found
>>> # ['New York', 'Bay Area']
Заменить ключевые слова 
>>> keyword_processor.add_keyword( ' New Delhi ' , ' NCR region ' )
>>> new_sentence = keyword_processor.replace_keywords( ' I love Big Apple and new delhi. ' )
>>> new_sentence
>>> # 'I love New York and NCR region.'
Пример чувствительного случая 
>>> from flashtext import KeywordProcessor
>>> keyword_processor = KeywordProcessor( case_sensitive = True )
>>> keyword_processor.add_keyword( ' Big Apple ' , ' New York ' )
>>> keyword_processor.add_keyword( ' Bay Area ' )
>>> keywords_found = keyword_processor.extract_keywords( ' I love big Apple and Bay Area. ' )
>>> keywords_found
>>> # ['Bay Area']
Размер извлеченных ключевых слов 
>>> from flashtext import KeywordProcessor
>>> keyword_processor = KeywordProcessor()
>>> keyword_processor.add_keyword( ' Big Apple ' , ' New York ' )
>>> keyword_processor.add_keyword( ' Bay Area ' )
>>> keywords_found = keyword_processor.extract_keywords( ' I love big Apple and Bay Area. ' , span_info = True )
>>> keywords_found
>>> # [('New York', 7, 16), ('Bay Area', 21, 29)]
Получите дополнительную информацию с извлеченными ключевыми словами 
>>> from flashtext import KeywordProcessor
>>> kp = KeywordProcessor()
>>> kp.add_keyword( ' Taj Mahal ' , ( ' Monument ' , ' Taj Mahal ' ))
>>> kp.add_keyword( ' Delhi ' , ( ' Location ' , ' Delhi ' ))
>>> kp.extract_keywords( ' Taj Mahal is in Delhi. ' )
>>> # [('Monument', 'Taj Mahal'), ('Location', 'Delhi')]
>>> # NOTE : replace_keywords feature won't work with this.
Нет чистого имени для ключевых слов 
>>> from flashtext import KeywordProcessor
>>> keyword_processor = KeywordProcessor()
>>> keyword_processor.add_keyword( ' Big Apple ' )
>>> keyword_processor.add_keyword( ' Bay Area ' )
>>> keywords_found = keyword_processor.extract_keywords( ' I love big Apple and Bay Area. ' )
>>> keywords_found
>>> # ['Big Apple', 'Bay Area']
Добавьте несколько ключевых слов одновременно 
>>> from flashtext import KeywordProcessor
>>> keyword_processor = KeywordProcessor()
>>> keyword_dict = {
>>>     " java " : [ " java_2e " , " java programing " ],
>>>     " product management " : [ " PM " , " product manager " ]
>>> }
>>> # {'clean_name': ['list of unclean names']}
>>> keyword_processor.add_keywords_from_dict(keyword_dict)
>>> # Or add keywords from a list:
>>> keyword_processor.add_keywords_from_list([ " java " , " python " ])
>>> keyword_processor.extract_keywords( ' I am a product manager for a java_2e platform ' )
>>> # output ['product management', 'java']
Удалить ключевые слова 
>>> from flashtext import KeywordProcessor
>>> keyword_processor = KeywordProcessor()
>>> keyword_dict = {
>>>     " java " : [ " java_2e " , " java programing " ],
>>>     " product management " : [ " PM " , " product manager " ]
>>> }
>>> keyword_processor.add_keywords_from_dict(keyword_dict)
>>> print (keyword_processor.extract_keywords( ' I am a product manager for a java_2e platform ' ))
>>> # output ['product management', 'java']
>>> keyword_processor.remove_keyword( ' java_2e ' )
>>> # you can also remove keywords from a list/ dictionary
>>> keyword_processor.remove_keywords_from_dict({ " product management " : [ " PM " ]})
>>> keyword_processor.remove_keywords_from_list([ " java programing " ])
>>> keyword_processor.extract_keywords( ' I am a product manager for a java_2e platform ' )
>>> # output ['product management']
Чтобы проверить количество терминов в процессоре ключевых слов 
>>> from flashtext import KeywordProcessor
>>> keyword_processor = KeywordProcessor()
>>> keyword_dict = {
>>>     " java " : [ " java_2e " , " java programing " ],
>>>     " product management " : [ " PM " , " product manager " ]
>>> }
>>> keyword_processor.add_keywords_from_dict(keyword_dict)
>>> print ( len (keyword_processor))
>>> # output 4
Чтобы проверить, присутствует ли термин в Processor Keyword 
>>> from flashtext import KeywordProcessor
>>> keyword_processor = KeywordProcessor()
>>> keyword_processor.add_keyword( ' j2ee ' , ' Java ' )
>>> ' j2ee ' in keyword_processor
>>> # output: True
>>> keyword_processor.get_keyword( ' j2ee ' )
>>> # output: Java
>>> keyword_processor[ ' colour ' ] = ' color '
>>> keyword_processor[ ' colour ' ]
>>> # output: color
Получите все ключевые слова в словаре 
>>> from flashtext import KeywordProcessor
>>> keyword_processor = KeywordProcessor()
>>> keyword_processor.add_keyword( ' j2ee ' , ' Java ' )
>>> keyword_processor.add_keyword( ' colour ' , ' color ' )
>>> keyword_processor.get_all_keywords()
>>> # output: {'colour': 'color', 'j2ee': 'Java'}

Для обнаружения границы слов в настоящее время любой символ, кроме этого w [a-za-z0-9_], считается границей слов.

Чтобы установить или добавить символы как часть символов Word 
>>> from flashtext import KeywordProcessor
>>> keyword_processor = KeywordProcessor()
>>> keyword_processor.add_keyword( ' Big Apple ' )
>>> print (keyword_processor.extract_keywords( ' I love Big Apple/Bay Area. ' ))
>>> # ['Big Apple']
>>> keyword_processor.add_non_word_boundary( ' / ' )
>>> print (keyword_processor.extract_keywords( ' I love Big Apple/Bay Area. ' ))
>>> # []

Тест

 $ git clone https://github.com/vi3k6i5/flashtext
$ CD FlashText
$ pip установить pytest
$ python setup.py test

Строить документы

 $ git clone https://github.com/vi3k6i5/flashtext
$ CD FlashText/Docs
$ pip установить Sphinx
$ сделать HTML
$ # open _build/html/index.html в браузере, чтобы просмотреть его локально

Почему бы не регулярно?

Это пользовательский алгоритм, основанный на алгоритме AHO-Corasick и словаре Trie.

Эталон

Время, занятое FlashText, чтобы найти термины по сравнению с Regex.

Время, занятое FlashText, чтобы заменить термины по сравнению с Regex.

Ссылка на код для сравнения функции Find и заменить функцию.

Идея этой библиотеки возникла из следующего вопроса Stackoverflow.

Цитирование

Оригинальная статья, опубликованная на алгоритме FlashText.

 @Article {2017ARXIV171100046S,
   Автор = {{singh}, V.},
    title = "{заменить или получить ключевые слова в документах в масштабе}",
  Journal = {arxiv e-prints},
ArchivePrefix = "arxiv",
   eprint = {1711.00046},
 PrimaryClass = "cs.ds",
 Keywords = {компьютерные науки - структуры данных и алгоритмы},
     год = 2017,
    месяц = ​​октябрь,
   adsurl = {http://adsabs.harvard.edu/abs/2017arxiv171100046S},
  adsnote = {предоставлена ​​система данных SAO/NASA Astrophysics}
}

Статья, опубликованная на Medium Freecodecamp.

Способствовать

  • Трекер выпуска: https://github.com/vi3k6i5/flashtext/issues
  • Исходный код: https://github.com/vi3k6i5/flashtext/

Лицензия

Проект лицензирован по лицензии MIT.

Расширять
Дополнительная информация
Связанные приложения
Рекомендуем вам
Связанные новости Все