gifts_py

ギフト

クエリに共通の機能を持つ要素を検索します。

 query = [ 'A' , 'B' ]

elements = [
    [ 'N' , 'A' , 'M' ],  # common features: 'A'
    [ 'C' , 'B' , 'A' ],  # common features: 'A', 'B'  
    [ 'X' , 'Y' ]  # no common features
]

この場合、return ['C', 'B', 'A']および['N', 'A', 'M']での検索。

フルテキスト検索に使用します

クエリから単語を含むドキュメントを見つける。

 from gifts import SmoothFts

fts = SmoothFts ()

fts . add ([ "wait" , "mister" , "postman" ],
        doc_id = "doc1" )

fts . add ([ "please" , "mister" , "postman" , "look" , "and" , "see" ],
        doc_id = "doc2" )

fts . add ([ "oh" , "yes" , "wait" , "a" , "minute" , "mister" , "postman" ],
        doc_id = "doc3" )

# print IDs of documents in which at least one word of the query occurs, 
# starting with the most relevant matches
for doc_id in fts . search ([ 'postman' , 'wait' ]):
    print ( doc_id )

抽象データマイニングに使用します

上記の例では、言葉は文字通り文字通りの言葉でした。しかし、それらはdictキーとして適したオブジェクトにすることができます。

 from gifts import SmoothFts

fts = SmoothFts ()

fts . add ([ 3 , 1 , 4 , 1 , 5 , 9 , 2 ], doc_id = "doc1" )
fts . add ([ 6 , 5 , 3 , 5 ], doc_id = "doc2" )
fts . add ([ 8 , 9 , 7 , 9 , 3 , 2 ], doc_id = "doc3" )

for doc_id in fts . search ([ 5 , 3 , 7 ]):
    print ( doc_id )

実装の詳細

結果をランキングするとき、アルゴリズムは考慮に入れます::

• 一致する単語の数
• データベース内のそのような単語の希少性
• ドキュメント内の単語の発生頻度

smoothfts

 from gifts import SmoothFts

対数TF-IDFを使用して、単語とコサインの類似性にマッチを採点するために重み付けします。

シンプレフ

 from gifts import SimpleFts

ミニマルなアプローチ：計量、乗算、比較。このオブジェクトは、 SmoothFtsよりも著しく高速です。

インストール

ピップ

pip3 install git+https://github.com/rtmigo/gifts_py#egg=gifts

setup.py

 install_requires = [
    "gifts@ git+https://github.com/rtmigo/gifts_py"
]

参照してください

Skiftsパッケージは同じ検索を行いますが、Scikit-LearnとNumpyを使用してパフォーマンスを向上させます。文字通り数百倍速いです。