stanford openie python

スタンフォード・オープンのPythonラッパー（Macos/Linux）

最新のCorenLPライブラリ4.5.3（2023-03-10の時点）をサポートしています。

Open Information Extraction（Open IE）とは、これらの関係のスキーマを事前に指定する必要がないように、プレーンテキストからの構造化された関係トリプルの抽出を指します。たとえば、バラク・オバマはハワイで生まれ、トリプル(Barack Obama; was born in; Hawaii)を作成し、オープンドメインの関係に対応して「生まれました」。 Corenlpは、論文で説明されているように、開いたIEシステムのJava実装です。

詳細については、こちらをご覧ください。 Openieライブラリは英語のみで利用できます。

インストール

Python3とJava（JRE）がインストールする必要があります。 JavaはCorenLPライブラリで使用されています。

Javaが最初にインストールされていることを確認してください。

java -version

次に、libをインストールします。

pip install stanford_openie

例

 from openie import StanfordOpenIE

# https://stanfordnlp.github.io/CoreNLP/openie.html#api
# Default value of openie.affinity_probability_cap was 1/3.
properties = {
    'openie.affinity_probability_cap' : 2 / 3 ,
}

with StanfordOpenIE ( properties = properties ) as client :
    text = 'Barack Obama was born in Hawaii. Richard Manning wrote this sentence.'
    print ( 'Text: %s.' % text )
    for triple in client . annotate ( text ):
        print ( '|-' , triple )

    graph_image = 'graph.png'
    client . generate_graphviz_graph ( text , graph_image )
    print ( 'Graph generated: %s.' % graph_image )

    with open ( 'corpus/pg6130.txt' , encoding = 'utf8' ) as r :
        corpus = r . read (). replace ( ' n ' , ' ' ). replace ( ' r ' , '' )

    triples_corpus = client . annotate ( corpus [ 0 : 5000 ])
    print ( 'Corpus: %s [...].' % corpus [ 0 : 80 ])
    print ( 'Found %s triples in the corpus.' % len ( triples_corpus ))
    for triple in triples_corpus [: 3 ]:
        print ( '|-' , triple )
    print ( '[...]' )

予想出力

 |- {'subject': 'Barack Obama', 'relation': 'was', 'object': 'born'}
|- {'subject': 'Barack Obama', 'relation': 'was born in', 'object': 'Hawaii'}
|- {'subject': 'Richard Manning', 'relation': 'wrote', 'object': 'sentence'}
Graph generated: graph.png.
Corpus: According to this document, the city of Cumae in Ćolia, was, at an early period [...].
Found 1664 triples in the corpus.
|- {'subject': 'city', 'relation': 'is in', 'object': 'Ćolia'}
|- {'subject': 'Menapolus', 'relation': 'son of', 'object': 'Ithagenes'}
|- {'subject': 'Menapolus', 'relation': 'was Among', 'object': 'immigrants'}

graph.pngでgraphvizドットを生成します。

注：GraphVizが事前にインストールされていることを確認してください。 dotコマンドを実行して、これが当てはまるかどうかを確認してください。そうでない場合は、ubuntuで実行している場合はsudo apt-get install graphviz実行してください。 macOSでは、 brew install graphvizです。

参照

• https://www.kaggle.com/asitang/stanford-resources
• https://www.kaggle.com/geofila/corenlp？select = stanford-corenlp-full-2018-10-05

引用

 @misc{StanfordOpenIEWrapper,
  author = {Philippe Remy},
  title = {Python wrapper for Stanford OpenIE},
  year = {2020},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/philipperemy/Stanford-OpenIE-Python}},
}

貢献者