stanford openie python

Wrapper Python para Stanford Openie (MacOS/Linux)

Suporta a mais recente biblioteca CorenLP 4.5.3 (a partir de 2023-03-10).

A extração de informações abertas (Open IE) refere -se à extração de relação estruturada triplica do texto simples, de modo que o esquema para essas relações não precisa ser especificado com antecedência. Por exemplo, Barack Obama nasceu no Havaí criaria um triplo (Barack Obama; was born in; Hawaii) , correspondendo à relação de domínio aberto "nasceu". Corenlp é uma implementação de Java de um sistema aberto do IE, conforme descrito no artigo:

Mais informações podem ser encontradas aqui. A Biblioteca Openie está disponível apenas em inglês.

Instalação

Você precisa de Python3 e Java (JRE) instalados. O Java é usado pela Biblioteca Corenlp.

Verifique se o Java está instalado primeiro.

java -version

Em seguida, instale a lib.

pip install stanford_openie

Exemplo

 from openie import StanfordOpenIE

# https://stanfordnlp.github.io/CoreNLP/openie.html#api
# Default value of openie.affinity_probability_cap was 1/3.
properties = {
    'openie.affinity_probability_cap' : 2 / 3 ,
}

with StanfordOpenIE ( properties = properties ) as client :
    text = 'Barack Obama was born in Hawaii. Richard Manning wrote this sentence.'
    print ( 'Text: %s.' % text )
    for triple in client . annotate ( text ):
        print ( '|-' , triple )

    graph_image = 'graph.png'
    client . generate_graphviz_graph ( text , graph_image )
    print ( 'Graph generated: %s.' % graph_image )

    with open ( 'corpus/pg6130.txt' , encoding = 'utf8' ) as r :
        corpus = r . read (). replace ( ' n ' , ' ' ). replace ( ' r ' , '' )

    triples_corpus = client . annotate ( corpus [ 0 : 5000 ])
    print ( 'Corpus: %s [...].' % corpus [ 0 : 80 ])
    print ( 'Found %s triples in the corpus.' % len ( triples_corpus ))
    for triple in triples_corpus [: 3 ]:
        print ( '|-' , triple )
    print ( '[...]' )

Saída esperada

 |- {'subject': 'Barack Obama', 'relation': 'was', 'object': 'born'}
|- {'subject': 'Barack Obama', 'relation': 'was born in', 'object': 'Hawaii'}
|- {'subject': 'Richard Manning', 'relation': 'wrote', 'object': 'sentence'}
Graph generated: graph.png.
Corpus: According to this document, the city of Cumae in Ćolia, was, at an early period [...].
Found 1664 triples in the corpus.
|- {'subject': 'city', 'relation': 'is in', 'object': 'Ćolia'}
|- {'subject': 'Menapolus', 'relation': 'son of', 'object': 'Ithagenes'}
|- {'subject': 'Menapolus', 'relation': 'was Among', 'object': 'immigrants'}

Ele gerará um ponto graphviz no graph.png :

Nota : Verifique se o GraphViz está instalado com antecedência. Tente executar o comando dot para ver se esse é o caso. Caso contrário, execute sudo apt-get install graphviz se você estiver executando no Ubuntu. No MacOS, é brew install graphviz .

Referências

• https://www.kaggle.com/asitang/stanford-resources
• https://www.kaggle.com/geofila/corenlp?select=stanford-corenlp-full-2018-10-05

Citar

 @misc{StanfordOpenIEWrapper,
  author = {Philippe Remy},
  title = {Python wrapper for Stanford OpenIE},
  year = {2020},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/philipperemy/Stanford-OpenIE-Python}},
}

Colaboradores