PHP中国語単語分割コード

PHP の中国語単語分割コードは、Unicode に基づく辞書を使用し、逆一致モードの単語分割を使用します。理論的には、より広範囲のエンコードと互換性があり、特に UTF-8 エンコードに便利です。 PhpanAracyはコンポーネントレスシステムのため、コンポーネントありのシステムに比べて若干速度が遅くなりますが、単語分割数が多い場合は単語分割中に単語データベースの読み込みが完了するため、コンテンツが多いほど高速になります。これは通常の現象です。PHP-APC をサポートするサーバーの場合、このプログラムは辞書のキャッシュをサポートします。理論上の速度は、コンポーネントを使用した単語分割プログラムよりも遅くなりません。


単語分割システムは、文字列マッチングに基づいた単語分割手法であり、分析対象の中国語文字列を「十分に大きな」機械辞書のエントリと一定の戦略に従ってマッチングします。辞書内に文字列が見つかった場合、一致は成功します (単語が認識されます)。異なるスキャン方向に従って、文字列マッチング単語分割方法は、異なる長さの優先マッチングに従って、最大（最長）マッチングと最小（最短）マッチングに分けることができます。品詞タグ付け処理に関連するかどうか 組み合わせて、単純な単語分割方式と、単語分割とアノテーションを組み合わせた統合方式に分けることができます。一般的に使用されるいくつかの機械的な単語分割方法は次のとおりです。


1) 前方最大マッチング法 (左から右の方向)。
２）逆最大マッチング法（右から左の方向）。
3) 最小限のセグメンテーション (各文の単語数を最小限に抑える)。


上述の様々な方法は、互いに組み合わせることができ、例えば、順方向最大マッチング方法と逆方向最大マッチング方法を組み合わせて双方向マッチング方法を形成することもできる。中国語の 1 文字の単語構成の特性により、前方最小マッチングと逆最小マッチングは一般にほとんど使用されません。一般に、逆方向マッチングのセグメンテーション精度は前方マッチングよりもわずかに高く、曖昧さは少なくなります。統計結果によると、単純に前方最大マッチングを使用した場合のエラー率は 1/169、単純に逆方向最大マッチングを使用した場合のエラー率は 1/245 です。ただし、この精度は実際のニーズを満たすには程遠いです。実際に使用されている単語分割システムは、いずれも予備的な分割方法として機械的な単語分割を使用しており、その他のさまざまな言語情報を利用してさらに分割精度を向上させる必要がある。

1 つの方法は、特徴スキャンまたはマーク セグメンテーションと呼ばれるスキャン方法を改善することです。これは、分析対象の文字列内で明らかな特徴を持ついくつかの単語を優先的に識別してセグメント化し、これらの単語をブレークポイントとして使用して、元の文字列を機械的な単語に分割します。セグメント化は、一致エラー率を減らすために、より小さい文字列に対して実行されます。もう 1 つの方法は、単語分割と品詞タグ付けを組み合わせ、豊富な品詞情報を使用して単語分割の決定を支援し、タグ付けプロセス中に単語分割結果をチェックして調整することで、タグ付けの精度を大幅に向上させることです。セグメンテーション。