HarvestText
V0.8
HarvestText: un conjunto de herramientas para minería de texto y preprocesamiento
documento
Sincronice en GitHub y Code Cloud Gitee. Si navega/descarga en GitHub, puede ir a la nube de código para operar.
HarvestText es una biblioteca que se centra en un método de supervisión (débil) que integra el conocimiento del dominio (como los tipos, alias) para procesar y analizar textos de dominio específicos de manera simple y eficiente. Es adecuado para muchos preprocesamiento de texto y tareas de análisis exploratorio preliminar, y tiene un valor de aplicación potencial en análisis novedosos, texto en línea, literatura profesional y otros campos.
Casos de uso:
[Nota: Esta biblioteca solo completa la segmentación de palabras de entidad y el análisis de sentimientos, y utiliza matplotlib para la visualización]
Este readMe contiene ejemplos típicos de varias funciones. El uso detallado de algunas funciones se puede encontrar en la documentación:
documento
Las funciones específicas son las siguientes:
Tabla de contenido:
Primera instalación, use PIP
pip install --upgrade harvesttextO ingrese el directorio donde se encuentra setup.py, y luego la línea de comando:
python setup.py installLuego en el código:
from harvesttext import HarvestText
ht = HarvestText ()Puede llamar a la interfaz funcional de esta biblioteca.
Nota: Algunas funciones requieren la instalación de bibliotecas adicionales, pero la instalación puede fallar, por lo tanto, instale manualmente si es necesario.
# 部分英语功能
pip install pattern
# 命名实体识别、句法分析等功能，需要python <= 3.8
pip install pyhanlpDadas ciertas entidades y sus posibles sinónimos, así como el tipo de entidad correspondiente. Iniciarlo en el diccionario, divídelo primero al separar las palabras y use el tipo correspondiente como parte del discurso. Todas las entidades y sus ubicaciones en el corpus también se pueden obtener por separado:
para = "上港的武磊和恒大的郜林，谁是中国最好的前锋？那当然是武磊武球王了，他是射手榜第一，原来是弱点的单刀也有了进步"
entity_mention_dict = { '武磊' :[ '武磊' , '武球王' ], '郜林' :[ '郜林' , '郜飞机' ], '前锋' :[ '前锋' ], '上海上港' :[ '上港' ], '广州恒大' :[ '恒大' ], '单刀球' :[ '单刀' ]}
entity_type_dict = { '武磊' : '球员' , '郜林' : '球员' , '前锋' : '位置' , '上海上港' : '球队' , '广州恒大' : '球队' , '单刀球' : '术语' }
ht . add_entities ( entity_mention_dict , entity_type_dict )
print ( " n Sentence segmentation" )
print ( ht . seg ( para , return_sent = True )) # return_sent=False时，则返回词语列表¿Quiénes son los mejores delanteros en China, incluidos Wu Lei de Shanghai Sipg y Gao Lin de Evergrande? Por supuesto que es Wu Lei, el rey de Wu Ball. Él es el primero en la lista de tiradores. Resulta que la espada única débil también ha progresado.
El uso de herramientas de segmentación de palabras tradicionales puede dividir fácilmente "wuqiong rey" en "wuqiong rey"
Parte de la anotación del habla, incluidos los tipos especiales especificados.
print ( " n POS tagging with entity types" )
for word , flag in ht . posseg ( para ):
print ( "%s:%s" % ( word , flag ), end = " " )SIPG: Equipo: UJ Wu Lei: Jugadores y: C Evergrande: Equipo: UJ Gao Lin: Jugadores, X Who: R es: V China: NS Best: A: UJ adelante: ¿Posición? : x that: r Por supuesto: D es: v wu lei: jugador wu qiu rey: jugador: ul ,: x he: r es: v Lista de anotadores: n primero: m ,: x Originalmente: D es: V Debilidad: N: UJ Single Sword: también: D ha: V existe: V Progress: D D
for span , entity in ht . entity_linking ( para ):
print ( span , entity )[0, 2] ('Shanghai Sipg', '# Team#') [3, 5] ('Wu Lei', '# Player#') [6, 8] ('Guangzhou Evergrande', '# Team#') [9, 11] ('Gao Lin', '# Player#') [19, 21] ('hacia adelante', '# Position#') [26, 28] ('Wu LEI', '#', '#', '#', '#', '#', '#', '#', '##', '#', '#', '#', '#', '#', '#', '#', '#', '#', '#', '#', '#', '#', '#', '#', '#', '#') [28, 31] ('Wu lei', '# Player#') [47, 49] ('Bola única sobre uno', '# término#')
Aquí, la transformación del "Rey Wuqiu" en un término estándar "Wu Lei" puede facilitar el trabajo estadístico unificado.
Oración:
print ( ht . cut_sentences ( para ))['¿Quién es el mejor delantero en China de Shanghai Sipg y Gao Lin de Evergrande? ',' Por supuesto que es el rey de fútbol de Wu Lei Wu. Él es el primero en la lista de tiradores. Resulta que la espada única débil también ha progresado ']
Si no hay un diccionario disponible por el momento, también podría ver si el diccionario de dominio en los recursos incorporados de esta biblioteca es adecuado para sus necesidades.
Si hay múltiples entidades posibles para el mismo nombre ("Li Na jugando a la pelota y el canto de Li na no es la misma persona"), puede establecer keep_all=True para retener múltiples candidatos. Puede usar otras estrategias para desambiguar más tarde, consulte El_keep_all ()
Si hay demasiadas entidades conectadas, algunas de las cuales obviamente son irrazonables, algunas estrategias se pueden usar para filtrar. Aquí hay un ejemplo de filtro_el_with_rule ()
Esta biblioteca también puede usar algunas estrategias básicas para tratar las tareas de desambiguación de entidades complejas (como los significados múltiples de la palabra ["maestro" se refiere al "maestro A" o "maestro B"?], Y las palabras candidatas se superponen [el alcalde xx/jiang yy?, Alcalde xx/jiang yy?]). Para más detalles, puede ver linking_strategy ()
Puede procesar caracteres especiales en texto o eliminar algunos formatos especiales que no desea aparecer en el texto.
Incluyendo: @, emoji en Weibo; Url; correo electrónico; caracteres especiales en código HTML; personajes especiales en %20 en la URL; Chino tradicional a chino simplificado
Los ejemplos son los siguientes:
print ( "各种清洗文本" )
ht0 = HarvestText ()
# 默认的设置可用于清洗微博文本
text1 = "回复@钱旭明QXM:[嘻嘻][嘻嘻] //@钱旭明QXM:杨大哥[good][good]"
print ( "清洗微博【@和表情符等】" )
print ( "原：" , text1 )
print ( "清洗后：" , ht0 . clean_text ( text1 ))各种清洗文本
清洗微博【@和表情符等】
原： 回复@钱旭明QXM:[嘻嘻][嘻嘻] //@钱旭明QXM:杨大哥[good][good]
清洗后： 杨大哥
# URL的清理
text1 = "【#赵薇#：正筹备下一部电影 但不是青春片....http://t.cn/8FLopdQ"
print ( "清洗网址URL" )
print ( "原：" , text1 )
print ( "清洗后：" , ht0 . clean_text ( text1 , remove_url = True ))清洗网址URL
原： 【#赵薇#：正筹备下一部电影 但不是青春片....http://t.cn/8FLopdQ
清洗后： 【#赵薇#：正筹备下一部电影 但不是青春片....
# 清洗邮箱
text1 = "我的邮箱是[email protected]，欢迎联系"
print ( "清洗邮箱" )
print ( "原：" , text1 )
print ( "清洗后：" , ht0 . clean_text ( text1 , email = True ))清洗邮箱
原： 我的邮箱是[email protected]，欢迎联系
清洗后： 我的邮箱是，欢迎联系
# 处理URL转义字符
text1 = "www.%E4%B8%AD%E6%96%87%20and%20space.com"
print ( "URL转正常字符" )
print ( "原：" , text1 )
print ( "清洗后：" , ht0 . clean_text ( text1 , norm_url = True , remove_url = False )) URL转正常字符
原： www.%E4%B8%AD%E6%96%87%20and%20space.com
清洗后： www.中文 and space.com
text1 = "www.中文 and space.com"
print ( "正常字符转URL[含有中文和空格的request需要注意]" )
print ( "原：" , text1 )
print ( "清洗后：" , ht0 . clean_text ( text1 , to_url = True , remove_url = False ))正常字符转URL[含有中文和空格的request需要注意]
原： www.中文 and space.com
清洗后： www.%E4%B8%AD%E6%96%87%20and%20space.com
# 处理HTML转义字符
text1 = "<a c> ''"
print ( "HTML转正常字符" )
print ( "原：" , text1 )
print ( "清洗后：" , ht0 . clean_text ( text1 , norm_html = True )) HTML转正常字符
原： <a c> ''
清洗后： <a c> ''
# 繁体字转简体
text1 = "心碎誰買單"
print ( "繁体字转简体" )
print ( "原：" , text1 )
print ( "清洗后：" , ht0 . clean_text ( text1 , t2s = True ))繁体字转简体
原： 心碎誰買單
清洗后： 心碎谁买单
# markdown超链接提取文本
text1 = "欢迎使用[HarvestText : A Toolkit for Text Mining and Preprocessing](https://github.com/blmoistawinde/HarvestText)这个库"
print ( "markdown超链接提取文本" )
print ( "原：" , text1 )
print ( "清洗后：" , ht0 . clean_text ( text1 , t2s = True )) markdown超链接提取文本
原： 欢迎使用[HarvestText : A Toolkit for Text Mining and Preprocessing](https://github.com/blmoistawinde/HarvestText)这个库
清洗后： 欢迎使用HarvestText : A Toolkit for Text Mining and Preprocessing这个库
Encuentre el nombre de la persona, el lugar, la organización, etc. en una oración. Se utiliza la implementación de la interfaz PyhanLP.
ht0 = HarvestText ()
sent = "上海上港足球队的武磊是中国最好的前锋。"
print ( ht0 . named_entity_recognition ( sent )) {'上海上港足球队': '机构名', '武磊': '人名', '中国': '地名'}
Analice la modificación del objeto de predicción del sujeto y otras relaciones gramaticales de cada palabra en una declaración (incluida la entidad vinculada) y extrae los posibles triples de eventos. Se utiliza la implementación de la interfaz PyhanLP.
ht0 = HarvestText ()
para = "上港的武磊武球王是中国最好的前锋。"
entity_mention_dict = { '武磊' : [ '武磊' , '武球王' ], "上海上港" :[ "上港" ]}
entity_type_dict = { '武磊' : '球员' , "上海上港" : "球队" }
ht0 . add_entities ( entity_mention_dict , entity_type_dict )
for arc in ht0 . dependency_parse ( para ):
print ( arc )
print ( ht0 . triple_extraction ( para )) [0, '上港', '球队', '定中关系', 3]
[1, '的', 'u', '右附加关系', 0]
[2, '武磊', '球员', '定中关系', 3]
[3, '武球王', '球员', '主谓关系', 4]
[4, '是', 'v', '核心关系', -1]
[5, '中国', 'ns', '定中关系', 8]
[6, '最好', 'd', '定中关系', 8]
[7, '的', 'u', '右附加关系', 6]
[8, '前锋', 'n', '动宾关系', 4]
[9, '。', 'w', '标点符号', 4]
print ( ht0 . triple_extraction ( para )) [['上港武磊武球王', '是', '中国最好前锋']]
Modificado en la versión v0.7, use tolerancia para admitir la misma verificación de Pinyin
Enlace palabras en la declaración que puede ser una entidad conocida (con un carácter o error de pinyin) a la entidad correspondiente.
def entity_error_check ():
ht0 = HarvestText ()
typed_words = { "人名" :[ "武磊" ]}
ht0 . add_typed_words ( typed_words )
sent0 = "武磊和吴磊拼音相同"
print ( sent0 )
print ( ht0 . entity_linking ( sent0 , pinyin_tolerance = 0 ))
"""
武磊和吴磊拼音相同
[([0, 2], ('武磊', '#人名#')), [(3, 5), ('武磊', '#人名#')]]
"""
sent1 = "武磊和吴力只差一个拼音"
print ( sent1 )
print ( ht0 . entity_linking ( sent1 , pinyin_tolerance = 1 ))
"""
武磊和吴力只差一个拼音
[([0, 2], ('武磊', '#人名#')), [(3, 5), ('武磊', '#人名#')]]
"""
sent2 = "武磊和吴磊只差一个字"
print ( sent2 )
print ( ht0 . entity_linking ( sent2 , char_tolerance = 1 ))
"""
武磊和吴磊只差一个字
[([0, 2], ('武磊', '#人名#')), [(3, 5), ('武磊', '#人名#')]]
"""
sent3 = "吴磊和吴力都可能是武磊的代称"
print ( sent3 )
print ( ht0 . get_linking_mention_candidates ( sent3 , pinyin_tolerance = 1 , char_tolerance = 1 ))
"""
吴磊和吴力都可能是武磊的代称
('吴磊和吴力都可能是武磊的代称', defaultdict(<class 'list'>, {(0, 2): {'武磊'}, (3, 5): {'武磊'}}))
"""Esta biblioteca utiliza el método de diccionario de emociones para realizar análisis de emociones, y aprende automáticamente las tendencias emocionales de otras palabras del corpus al proporcionar un pequeño número de palabras positivas y negativas estándar ("palabras de semillas") para formar un diccionario emocional. La suma y el promedio de las palabras emocionales en el pareado se usa para juzgar la tendencia emocional de la oración:
print ( " n sentiment dictionary" )
sents = [ "武磊威武，中超第一射手！" ,
"武磊强，中超最第一本土球员！" ,
"郜林不行，只会抱怨的球员注定上限了" ,
"郜林看来不行，已经到上限了" ]
sent_dict = ht . build_sent_dict ( sents , min_times = 1 , pos_seeds = [ "第一" ], neg_seeds = [ "不行" ])
print ( "%s:%f" % ( "威武" , sent_dict [ "威武" ]))
print ( "%s:%f" % ( "球员" , sent_dict [ "球员" ]))
print ( "%s:%f" % ( "上限" , sent_dict [ "上限" ]))Diccionario de sentimientos: 1.000000 Jugador: 0.000000 Cape: -1.0000000
print ( " n sentence sentiment" )
sent = "武球王威武，中超最强球员！"
print ( "%f:%s" % ( ht . analyse_sent ( sent ), sent ))0.600000: ¡El rey de las artes marciales es poderoso y el jugador más fuerte de la Super League china!
Si no ha descubierto qué palabras elegir como "palabras de semillas", esta biblioteca también tiene un recurso incorporado para el diccionario emocional general, que es la opción predeterminada al no especificar palabras emocionales, y también puede elegirlas según sea necesario.
El algoritmo SO-PMI utilizado por defecto no tiene restricciones de límite superior e inferior en los valores emocionales. Si necesita limitarse a intervalos como [0,1] o [-1,1], puede ajustar los parámetros de escala. Los ejemplos son los siguientes:
print ( " n sentiment dictionary using default seed words" )
docs = [ "张市筹设兴华实业公司外区资本家踊跃投资晋察冀边区兴华实业公司，自筹备成立以来，解放区内外企业界人士及一般商民，均踊跃认股投资" ,
"打倒万恶的资本家" ,
"该公司原定资本总额为二十五万万元，现已由各界分认达二十万万元，所属各厂、各公司亦募得股金一万万余元" ,
"连日来解放区以外各工商人士，投函向该公司询问经营性质与范围以及股东权限等问题者甚多，络绎抵此的许多资本家，于参观该公司所属各厂经营状况后，对民主政府扶助与奖励私营企业发展的政策，均极表赞同，有些资本家因款项未能即刻汇来，多向筹备处预认投资的额数。由平津来张的林明棋先生，一次即以现款入股六十余万元"
]
# scale: 将所有词语的情感值范围调整到[-1,1]
# 省略pos_seeds, neg_seeds,将采用默认的情感词典 get_qh_sent_dict()
print ( "scale= " 0-1 " , 按照最大为1，最小为0进行线性伸缩，0.5未必是中性" )
sent_dict = ht . build_sent_dict ( docs , min_times = 1 , scale = "0-1" )
print ( "%s:%f" % ( "赞同" , sent_dict [ "赞同" ]))
print ( "%s:%f" % ( "二十万" , sent_dict [ "二十万" ]))
print ( "%s:%f" % ( "万恶" , sent_dict [ "万恶" ]))
print ( "%f:%s" % ( ht . analyse_sent ( docs [ 0 ]), docs [ 0 ]))
print ( "%f:%s" % ( ht . analyse_sent ( docs [ 1 ]), docs [ 1 ])) sentiment dictionary using default seed words
scale="0-1", 按照最大为1，最小为0进行线性伸缩，0.5未必是中性
赞同:1.000000
二十万:0.153846
万恶:0.000000
0.449412:张市筹设兴华实业公司外区资本家踊跃投资晋察冀边区兴华实业公司，自筹备成立以来，解放区内外企业界人士及一般商民，均踊跃认股投资
0.364910:打倒万恶的资本家
print("scale="+-1", 在正负区间内分别伸缩，保留0作为中性的语义")
sent_dict = ht.build_sent_dict(docs,min_times=1,scale="+-1")
print("%s:%f" % ("赞同",sent_dict["赞同"]))
print("%s:%f" % ("二十万",sent_dict["二十万"]))
print("%s:%f" % ("万恶",sent_dict["万恶"]))
print("%f:%s" % (ht.analyse_sent(docs[0]), docs[0]))
print("%f:%s" % (ht.analyse_sent(docs[1]), docs[1]))
scale="+-1", 在正负区间内分别伸缩，保留0作为中性的语义
赞同:1.000000
二十万:0.000000
万恶:-1.000000
0.349305:张市筹设兴华实业公司外区资本家踊跃投资晋察冀边区兴华实业公司，自筹备成立以来，解放区内外企业界人士及一般商民，均踊跃认股投资
-0.159652:打倒万恶的资本家
Puede encontrar documentos que contengan la entidad correspondiente (y su alias) de la lista de documentos, y cuente el número de documentos que contienen una entidad. Use la estructura de datos con índices invertidos para completar una recuperación rápida.
El siguiente código es un extracto del proceso de adición de entidades. Utilice funciones como add_entities para agregar la entidad a la que desea prestar atención y luego indexar y buscar.
docs = [ "武磊威武，中超第一射手！" ,
"郜林看来不行，已经到上限了。" ,
"武球王威武，中超最强前锋！" ,
"武磊和郜林，谁是中国最好的前锋？" ]
inv_index = ht . build_index ( docs )
print ( ht . get_entity_counts ( docs , inv_index )) # 获得文档中所有实体的出现次数
# {'武磊': 3, '郜林': 2, '前锋': 2}
print ( ht . search_entity ( "武磊" , docs , inv_index )) # 单实体查找
# ['武磊威武，中超第一射手！', '武球王威武，中超最强前锋！', '武磊和郜林，谁是中国最好的前锋？']
print ( ht . search_entity ( "武磊 郜林" , docs , inv_index )) # 多实体共现
# ['武磊和郜林，谁是中国最好的前锋？']
# 谁是最被人们热议的前锋？用这里的接口可以很简便地回答这个问题
subdocs = ht . search_entity ( "#球员# 前锋" , docs , inv_index )
print ( subdocs ) # 实体、实体类型混合查找
# ['武球王威武，中超最强前锋！', '武磊和郜林，谁是中国最好的前锋？']
inv_index2 = ht . build_index ( subdocs )
print ( ht . get_entity_counts ( subdocs , inv_index2 , used_type = [ "球员" ])) # 可以限定类型
# {'武磊': 2, '郜林': 1}(Implementado usando NetworkX) Use relaciones de co-ocurrencia de palabras para establecer una relación de red entre las estructuras gráficas entre los cuerpos (regresar al tipo de redx. Graph). Se puede utilizar para construir redes sociales entre personajes, etc.
# 在现有实体库的基础上随时新增，比如从新词发现中得到的漏网之鱼
ht . add_new_entity ( "颜骏凌" , "颜骏凌" , "球员" )
docs = [ "武磊和颜骏凌是队友" ,
"武磊和郜林都是国内顶尖前锋" ]
G = ht . build_entity_graph ( docs )
print ( dict ( G . edges . items ()))
G = ht . build_entity_graph ( docs , used_types = [ "球员" ])
print ( dict ( G . edges . items ()))Obtenga una red de palabras centrada en una palabra. Tome el primer capítulo de los tres reinos como ejemplo para explorar el encuentro del protagonista Liu Bei (el siguiente es el código principal, ver build_word_ego_graph () por ejemplo).
entity_mention_dict , entity_type_dict = get_sanguo_entity_dict ()
ht0 . add_entities ( entity_mention_dict , entity_type_dict )
sanguo1 = get_sanguo ()[ 0 ]
stopwords = get_baidu_stopwords ()
docs = ht0 . cut_sentences ( sanguo1 )
G = ht0 . build_word_ego_graph ( docs , "刘备" , min_freq = 3 , other_min_freq = 2 , stopwords = stopwords )
Esta es la amistad entre Liu, Guan y Zhang, el patrocinador a quien Liu Bei desertó, y la experiencia de Liu Bei en la lucha contra los ladrones.
(Implementado usando NetworkX) Use el algoritmo TextTrank para obtener las oraciones representativas extraídas de la recopilación de documentos como información resumida. Puede establecer oraciones que castigen los duplicados, o puede establecer límites de palabras (parámetro MaxLen):
print ( " n Text summarization" )
docs = [ "武磊威武，中超第一射手！" ,
"郜林看来不行，已经到上限了。" ,
"武球王威武，中超最强前锋！" ,
"武磊和郜林，谁是中国最好的前锋？" ]
for doc in ht . get_summary ( docs , topK = 2 ):
print ( doc )
print ( " n Text summarization(避免重复)" )
for doc in ht . get_summary ( docs , topK = 3 , avoid_repeat = True ):
print ( doc ) Text summarization
武球王威武，中超最强前锋！
武磊威武，中超第一射手！
Text summarization(避免重复)
武球王威武，中超最强前锋！
郜林看来不行，已经到上限了。
武磊和郜林，谁是中国最好的前锋？
Actualmente, hay dos algoritmos que incluyen textrank y Harvesttext para encapsular jieba y configurar parámetros y detener jieba_tfidf .
Ejemplo (ver ejemplo para completo):
# text为林俊杰《关键词》歌词
print ( "《关键词》里的关键词" )
kwds = ht . extract_keywords ( text , 5 , method = "jieba_tfidf" )
print ( "jieba_tfidf" , kwds )
kwds = ht . extract_keywords ( text , 5 , method = "textrank" )
print ( "textrank" , kwds ) 《关键词》里的关键词
jieba_tfidf ['自私', '慷慨', '落叶', '消逝', '故事']
textrank ['自私', '落叶', '慷慨', '故事', '位置']
CSL.IPYNB proporciona diferentes algoritmos, así como la comparación de la implementación de esta biblioteca con Textrank4ZH en el conjunto de datos CSL. Dado que solo hay un conjunto de datos y el conjunto de datos no es amigable con los algoritmos anteriores, el rendimiento es solo de referencia.
| algoritmo | P@5 | R@5 | F@5 |
|---|---|---|---|
| textrank4zh | 0.0836 | 0.1174 | 0.0977 |
| ht_texttransk | 0.0955 | 0.1342 | 0.1116 |
| ht_jieba_tfidf | 0.1035 | 0.1453 | 0.1209 |
Ahora algunos recursos están integrados en esta biblioteca para facilitar el uso y establecer demostraciones.
Los recursos incluyen:
get_qh_sent_dict : el diccionario negativo complementario y negativo Li Jun de la Universidad Tsinghua lo compiló desde http://nlp.csai.tsinghua.edu.cn/site2/index.php/13-smsget_baidu_stopwords : Baidu Stop Word Dictionary proviene de Internet: https://wenku.baidu.com/view/98c46383e53a580216fcfed9.htmlget_qh_typed_words : Diccionario de dominio de tsinghua thunlp: http://thuocl.thunlp.org/ Todos los tipos ['IT', '动物', '医药', '历史人名', '地名', '成语', '法律', '财经', '食物']get_english_senti_lexicon : diccionario emocional inglésget_jieba_dict : (necesita descargar) Jieba Word DictionaryAdemás, se proporciona un recurso especial: "Romance of the Three Kingdoms", que incluye:
¿Puede explorar qué descubrimientos interesantes se pueden obtener de él?
def load_resources ():
from harvesttext . resources import get_qh_sent_dict , get_baidu_stopwords , get_sanguo , get_sanguo_entity_dict
sdict = get_qh_sent_dict () # {"pos":[积极词...],"neg":[消极词...]}
print ( "pos_words:" , list ( sdict [ "pos" ])[ 10 : 15 ])
print ( "neg_words:" , list ( sdict [ "neg" ])[ 5 : 10 ])
stopwords = get_baidu_stopwords ()
print ( "stopwords:" , list ( stopwords )[ 5 : 10 ])
docs = get_sanguo () # 文本列表，每个元素为一章的文本
print ( "三国演义最后一章末16字: n " , docs [ - 1 ][ - 16 :])
entity_mention_dict , entity_type_dict = get_sanguo_entity_dict ()
print ( "刘备 指称：" , entity_mention_dict [ "刘备" ])
print ( "刘备 类别：" , entity_type_dict [ "刘备" ])
print ( "蜀 类别：" , entity_type_dict [ "蜀" ])
print ( "益州 类别：" , entity_type_dict [ "益州" ])
load_resources () pos_words: ['宰相肚里好撑船', '查实', '忠实', '名手', '聪明']
neg_words: ['散漫', '谗言', '迂执', '肠肥脑满', '出卖']
stopwords: ['apart', '左右', '结果', 'probably', 'think']
三国演义最后一章末16字:
鼎足三分已成梦，后人凭吊空牢骚。
刘备 指称： ['刘备', '刘玄德', '玄德']
刘备 类别： 人名
蜀 类别： 势力
益州 类别： 州名
Cargue el diccionario de campo Tsinghua y use palabras de detención.
def using_typed_words ():
from harvesttext . resources import get_qh_typed_words , get_baidu_stopwords
ht0 = HarvestText ()
typed_words , stopwords = get_qh_typed_words (), get_baidu_stopwords ()
ht0 . add_typed_words ( typed_words )
sentence = "THUOCL是自然语言处理的一套中文词库，词表来自主流网站的社会标签、搜索热词、输入法词库等。"
print ( sentence )
print ( ht0 . posseg ( sentence , stopwords = stopwords ))
using_typed_words () THUOCL是自然语言处理的一套中文词库，词表来自主流网站的社会标签、搜索热词、输入法词库等。
[('THUOCL', 'eng'), ('自然语言处理', 'IT'), ('一套', 'm'), ('中文', 'nz'), ('词库', 'n'), ('词表', 'n'), ('来自', 'v'), ('主流', 'b'), ('网站', 'n'), ('社会', 'n'), ('标签', '财经'), ('搜索', 'v'), ('热词', 'n'), ('输入法', 'IT'), ('词库', 'n')]
Algunas palabras tienen tipos especiales, mientras que se seleccionan palabras como "sí".
Use algunos indicadores estadísticos para descubrir nuevas palabras de un número relativamente grande de textos. (Opcional) Las palabras que determinan el grado de calidad se pueden encontrar proporcionando algunas palabras de semillas. (Es decir, al menos se encontrarán todas las palabras de semillas, en la premisa de que se cumplen ciertos requisitos básicos).
para = "上港的武磊和恒大的郜林，谁是中国最好的前锋？那当然是武磊武球王了，他是射手榜第一，原来是弱点的单刀也有了进步"
#返回关于新词质量的一系列信息，允许手工改进筛选(pd.DataFrame型)
new_words_info = ht . word_discover ( para )
#new_words_info = ht.word_discover(para, threshold_seeds=["武磊"])
new_words = new_words_info . index . tolist ()
print ( new_words )["Wu Lei"]
El algoritmo utiliza los parámetros empíricos predeterminados. Si no está satisfecho con el número de resultados, puede establecer auto_param=False para ajustar los parámetros usted mismo y ajustar el número de resultados finales. Los parámetros relevantes son los siguientes:
:param max_word_len: 允许被发现的最长的新词长度
:param min_freq: 被发现的新词，在给定文本中需要达到的最低频率
:param min_entropy: 被发现的新词，在给定文本中需要达到的最低左右交叉熵
:param min_aggregation: 被发现的新词，在给定文本中需要达到的最低凝聚度
Por ejemplo, si desea obtener más resultados que el valor predeterminado (por ejemplo, no se descubren algunas palabras nuevas), puede regularlas a la baja en función de los parámetros predeterminados y los siguientes parámetros predeterminados:
min_entropy = np.log(length) / 10
min_freq = min(0.00005, 20.0 / length)
min_aggregation = np.sqrt(length) / 15
Detalles del algoritmo específico y significados de parámetros, consulte: http://www.matrix67.com/blog/archives/5044
Según la actualización de comentarios, originalmente aceptó una cadena separada de forma predeterminada. Ahora también puede aceptar la entrada de la lista de cadenas, y se empalmará automáticamente
Según la actualización de comentarios, el orden predeterminado de la frecuencia de palabras ahora se puede ordenar de forma predeterminada. También puede pasar sort_by='score' para ordenar mediante una puntuación de calidad integral.
Muchas de las nuevas palabras encontradas pueden ser palabras clave especiales en el texto, por lo que las nuevas palabras encontradas pueden registrarse para que los participios posteriores den prioridad a estas palabras.
def new_word_register ():
new_words = [ "落叶球" , "666" ]
ht . add_new_words ( new_words ) # 作为广义上的"新词"登录
ht . add_new_entity ( "落叶球" , mention0 = "落叶球" , type0 = "术语" ) # 作为特定类型登录
print ( ht . seg ( "这个落叶球踢得真是666" , return_sent = True ))
for word , flag in ht . posseg ( "这个落叶球踢得真是666" ):
print ( "%s:%s" % ( word , flag ), end = " " )Esta bola de hoja caída es realmente 666
Este: R Bola de Leaf: Término: V Get: UD realmente: D 666: NUEVA PALABRA
También puede usar algunas reglas especiales para encontrar las palabras clave requeridas y asignarlas directamente al tipo, como todos en inglés, o tener Pres y sufijos específicos, etc.
# find_with_rules()
from harvesttext . match_patterns import UpperFirst , AllEnglish , Contains , StartsWith , EndsWith
text0 = "我喜欢Python，因为requests库很适合爬虫"
ht0 = HarvestText ()
found_entities = ht0 . find_entity_with_rule ( text0 , rulesets = [ AllEnglish ()], type0 = "英文名" )
print ( found_entities )
print ( ht0 . posseg ( text0 )) {'Python', 'requests'}
[('我', 'r'), ('喜欢', 'v'), ('Python', '英文名'), ('，', 'x'), ('因为', 'c'), ('requests', '英文名'), ('库', 'n'), ('很', 'd'), ('适合', 'v'), ('爬虫', 'n')]
Use el algoritmo TextTiling para segmentar automáticamente el texto sin segmentos, o organizar más a fondo en función de los párrafos existentes.
ht0 = HarvestText ()
text = """备受社会关注的湖南常德滴滴司机遇害案，将于1月3日9时许，在汉寿县人民法院开庭审理。此前，犯罪嫌疑人、19岁大学生杨某淇被鉴定为作案时患有抑郁症，为“有限定刑事责任能力”。
新京报此前报道，2019年3月24日凌晨，滴滴司机陈师傅，搭载19岁大学生杨某淇到常南汽车总站附近。坐在后排的杨某淇趁陈某不备，朝陈某连捅数刀致其死亡。事发监控显示，杨某淇杀人后下车离开。随后，杨某淇到公安机关自首，并供述称“因悲观厌世，精神崩溃，无故将司机杀害”。据杨某淇就读学校的工作人员称，他家有四口人，姐姐是聋哑人。
今日上午，田女士告诉新京报记者，明日开庭时间不变，此前已提出刑事附带民事赔偿，但通过与法院的沟通后获知，对方父母已经没有赔偿的意愿。当时按照人身死亡赔偿金计算共计80多万元，那时也想考虑对方家庭的经济状况。
田女士说，她相信法律，对最后的结果也做好心理准备。对方一家从未道歉，此前庭前会议中，对方提出了嫌疑人杨某淇作案时患有抑郁症的辩护意见。另具警方出具的鉴定书显示，嫌疑人作案时有限定刑事责任能力。
新京报记者从陈师傅的家属处获知，陈师傅有两个儿子，大儿子今年18岁，小儿子还不到5岁。“这对我来说是一起悲剧，对我们生活的影响，肯定是很大的”，田女士告诉新京报记者，丈夫遇害后，他们一家的主劳动力没有了，她自己带着两个孩子和两个老人一起过，“生活很艰辛”，她说，“还好有妹妹的陪伴，现在已经好些了。”"""
print ( "原始文本[5段]" )
print ( text + " n " )
print ( "预测文本[手动设置分3段]" )
predicted_paras = ht0 . cut_paragraphs ( text , num_paras = 3 )
print ( " n " . join ( predicted_paras ) + " n " )原始文本[5段]
备受社会关注的湖南常德滴滴司机遇害案，将于1月3日9时许，在汉寿县人民法院开庭审理。此前，犯罪嫌疑人、19岁大学生杨某淇被鉴定为作案时患有抑郁症，为“有限定刑事责任能力”。
新京报此前报道，2019年3月24日凌晨，滴滴司机陈师傅，搭载19岁大学生杨某淇到常南汽车总站附近。坐在后排的杨某淇趁陈某不备，朝陈某连捅数刀致其死亡。事发监控显示，杨某淇杀人后下车离开。随后，杨某淇到公安机关自首，并供述称“因悲观厌世，精神崩溃，无故将司机杀害”。据杨某淇就读学校的工作人员称，他家有四口人，姐姐是聋哑人。
今日上午，田女士告诉新京报记者，明日开庭时间不变，此前已提出刑事附带民事赔偿，但通过与法院的沟通后获知，对方父母已经没有赔偿的意愿。当时按照人身死亡赔偿金计算共计80多万元，那时也想考虑对方家庭的经济状况。
田女士说，她相信法律，对最后的结果也做好心理准备。对方一家从未道歉，此前庭前会议中，对方提出了嫌疑人杨某淇作案时患有抑郁症的辩护意见。另具警方出具的鉴定书显示，嫌疑人作案时有限定刑事责任能力。
新京报记者从陈师傅的家属处获知，陈师傅有两个儿子，大儿子今年18岁，小儿子还不到5岁。“这对我来说是一起悲剧，对我们生活的影响，肯定是很大的”，田女士告诉新京报记者，丈夫遇害后，他们一家的主劳动力没有了，她自己带着两个孩子和两个老人一起过，“生活很艰辛”，她说，“还好有妹妹的陪伴，现在已经好些了。”
预测文本[手动设置分3段]
备受社会关注的湖南常德滴滴司机遇害案，将于1月3日9时许，在汉寿县人民法院开庭审理。此前，犯罪嫌疑人、19岁大学生杨某淇被鉴定为作案时患有抑郁症，为“有限定刑事责任能力”。
新京报此前报道，2019年3月24日凌晨，滴滴司机陈师傅，搭载19岁大学生杨某淇到常南汽车总站附近。坐在后排的杨某淇趁陈某不备，朝陈某连捅数刀致其死亡。事发监控显示，杨某淇杀人后下车离开。随后，杨某淇到公安机关自首，并供述称“因悲观厌世，精神崩溃，无故将司机杀害”。据杨某淇就读学校的工作人员称，他家有四口人，姐姐是聋哑人。
今日上午，田女士告诉新京报记者，明日开庭时间不变，此前已提出刑事附带民事赔偿，但通过与法院的沟通后获知，对方父母已经没有赔偿的意愿。当时按照人身死亡赔偿金计算共计80多万元，那时也想考虑对方家庭的经济状况。田女士说，她相信法律，对最后的结果也做好心理准备。对方一家从未道歉，此前庭前会议中，对方提出了嫌疑人杨某淇作案时患有抑郁症的辩护意见。另具警方出具的鉴定书显示，嫌疑人作案时有限定刑事责任能力。新京报记者从陈师傅的家属处获知，陈师傅有两个儿子，大儿子今年18岁，小儿子还不到5岁。“这对我来说是一起悲剧，对我们生活的影响，肯定是很大的”，田女士告诉新京报记者，丈夫遇害后，他们一家的主劳动力没有了，她自己带着两个孩子和两个老人一起过，“生活很艰辛”，她说，“还好有妹妹的陪伴，现在已经好些了。”
A diferencia del documento original, el resultado de la oración se usa como la unidad básica, y el uso de caracteres no es un número fijo, que es más claro semánticamente y ahorra el problema de establecer parámetros. Por lo tanto, el algoritmo en la configuración predeterminada no admite texto sin puntuación. Sin embargo, puede usar la configuración del documento original configurando seq_chars en un entero positivo para segmentar texto sin puntuación. Si no hay envoltura de párrafo, establezca align_boundary=False . Por ejemplo, ver cut_paragraph() en examples/basic.py :
print ( "去除标点以后的分段" )
text2 = extract_only_chinese ( text )
predicted_paras2 = ht0 . cut_paragraphs ( text2 , num_paras = 5 , seq_chars = 10 , align_boundary = False )
print ( " n " . join ( predicted_paras2 ) + " n " )去除标点以后的分段
备受社会关注的湖南常德滴滴司机遇害案将于月日时许在汉寿县人民法院开庭审理此前犯罪嫌疑人岁大学生杨某淇被鉴定为作案时患有抑郁症为有
限定刑事责任能力新京报此前报道年
月日凌晨滴滴司机陈师
傅搭载岁大学生杨某淇到常南汽车总站附近坐在后排的杨某淇趁陈某不备朝陈某连捅数刀致其死亡事发监控显示杨某淇杀人后下车离开随后杨某淇
到公安机关自首并供述称因悲观厌世精神崩溃无故将司机杀害据杨某淇就读学校的工作人员称他家有四口人姐姐是聋哑人今日上午田女士告诉新京
报记者明日开庭时间不变此前已提出刑事附带民事赔偿但通过与法院的沟通后获知对方父母已经没有赔偿的意愿当时按照人身死亡赔偿金计算共计
多万元那时也想考虑对方家庭的经济状况田女士说她相信法律对最后的结果也做好心理准备对方一家从未道歉此前庭前会议中对方提
出了嫌疑人杨某淇作案时患有抑郁症的辩护意见另具警方出具的鉴定书显示嫌疑人作案时有限定刑事责任能力新京
报记者从陈师傅的家属处获知陈师傅有两个儿子大儿子今年岁小儿子还不到岁这对我来说是一起悲剧对我们生活的影响肯定是很大的田女士告诉新
京报记者丈夫遇害后他们一家的主劳动力没有了她自己带着两个孩子和两个老人一起过生活很艰辛她说还好有妹妹的陪伴现在已经好些了
El modelo se puede guardar localmente y leer la multiplexación, o los registros del modelo actual se pueden eliminar.
from harvesttext import loadHT , saveHT
para = "上港的武磊和恒大的郜林，谁是中国最好的前锋？那当然是武磊武球王了，他是射手榜第一，原来是弱点的单刀也有了进步"
saveHT ( ht , "ht_model1" )
ht2 = loadHT ( "ht_model1" )
# 消除记录
ht2 . clear ()
print ( "cut with cleared model" )
print ( ht2 . seg ( para ))Las implementaciones y ejemplos específicos se encuentran en NaiveKgqa.py, y algunos esquemas se dan a continuación:
QA = NaiveKGQA ( SVOs , entity_type_dict = entity_type_dict )
questions = [ "你好" , "孙中山干了什么事？" , "谁发动了什么？" , "清政府签订了哪些条约？" ,
"英国与鸦片战争的关系是什么？" , "谁复辟了帝制？" ]
for question0 in questions :
print ( "问：" + question0 )
print ( "答：" + QA . answer ( question0 ))问：孙中山干了什么事？
答：就任临时大总统、发动护法运动、让位于袁世凯
问：谁发动了什么？
答：英法联军侵略中国、国民党人二次革命、英国鸦片战争、日本侵略朝鲜、孙中山护法运动、法国侵略越南、英国侵略中国西藏战争、慈禧太后戊戌政变
问：清政府签订了哪些条约？
答：北京条约、天津条约
问：英国与鸦片战争的关系是什么？
答：发动
问：谁复辟了帝制？
答：袁世凯
Esta biblioteca está diseñada principalmente para admitir la minería de datos en chino, pero ha agregado una pequeña cantidad de soporte en inglés, incluido el análisis de sentimientos.
Para usar estas funciones, debe crear un objeto HarvestText con un patrón especial en inglés.
# ♪ "Until the Day" by JJ Lin
test_text = """
In the middle of the night.
Lonely souls travel in time.
Familiar hearts start to entwine.
We imagine what we'll find, in another life.
""" . lower ()
ht_eng = HarvestText ( language = "en" )
sentences = ht_eng . cut_sentences ( test_text ) # 分句
print ( " n " . join ( sentences ))
print ( ht_eng . seg ( sentences [ - 1 ])) # 分词[及词性标注]
print ( ht_eng . posseg ( sentences [ 0 ], stopwords = { "in" }))
# 情感分析
sent_dict = ht_eng . build_sent_dict ( sentences , pos_seeds = [ "familiar" ], neg_seeds = [ "lonely" ],
min_times = 1 , stopwords = { 'in' , 'to' })
print ( "sentiment analysis" )
for sent0 in sentences :
print ( sent0 , "%.3f" % ht_eng . analyse_sent ( sent0 ))
# 自动分段
print ( "Segmentation" )
print ( " n " . join ( ht_eng . cut_paragraphs ( test_text , num_paras = 2 )))
# 情感分析也提供了一个内置英文词典资源
# from harvesttext.resources import get_english_senti_lexicon
# sent_lexicon = get_english_senti_lexicon()
# sent_dict = ht_eng.build_sent_dict(sentences, pos_seeds=sent_lexicon["pos"], neg_seeds=sent_lexicon["neg"], min_times=1) in the middle of the night.
lonely souls travel in time.
familiar hearts start to entwine.
we imagine what we'll find, in another life.
['we', 'imagine', 'what', 'we', "'ll", 'find', ',', 'in', 'another', 'life', '.']
[('the', 'DET'), ('middle', 'NOUN'), ('of', 'ADP'), ('the', 'DET'), ('night', 'NOUN'), ('.', '.')]
sentiment analysis
in the middle of the night. 0.000
lonely souls travel in time. -1.600
familiar hearts start to entwine. 1.600
we imagine what we'll find, in another life. 0.000
Segmentation
in the middle of the night. lonely souls travel in time. familiar hearts start to entwine.
we imagine what we'll find, in another life.
Actualmente, el soporte para el inglés no es perfecto. A excepción de las funciones en los ejemplos anteriores, no se garantizan que otras funciones se utilicen.
Si encuentra útil esta biblioteca para su trabajo académico, consulte el siguiente formato
@misc{zhangHarvestText,
author = {Zhiling Zhang},
title = {HarvestText: A Toolkit for Text Mining and Preprocessing},
journal = {GitHub repository},
howpublished = {url{https://github.com/blmoistawinde/HarvestText}},
year = {2023}
}
Esta biblioteca está en desarrollo, y las mejoras en las características y adiciones existentes a más características pueden venir una tras otra. Bienvenido para proporcionar sugerencias en temas. Si crees que es fácil de usar, también podrías tener una estrella ~
Gracias al siguiente repositorio por inspiración:
snownlp
pyhanlp
funnlp
Segmentación de palabras chinas
EventTriplesextraction
textrank4zh
