CoreNLP

Stanford Corenlp

Stanford Corenlp fournit un ensemble d'outils d'analyse du langage naturel écrit en Java. Il peut prendre un texte de langage humain brut et donner les formes de base de mots, leurs parties de la parole, qu'ils soient les noms des entreprises, des personnes, etc., normalisent et interprétent les dates, les temps et les quantités numériques, marquer la structure des phrases en termes de phrases ou de dépendances syntaxiques, et indiquer quelles phrases nouelles se réfèrent aux mêmes entités. Il a été initialement développé pour l'anglais, mais fournit désormais également différents niveaux de soutien aux (standard modernes) arabes, (continentaux) chinois, français, allemands, hongrois, italiens et espagnols. Stanford Corenlp est un cadre intégré, ce qui facilite l'application d'un tas d'outils d'analyse du langage à un morceau de texte. À partir de texte brut, vous pouvez exécuter tous les outils avec seulement deux lignes de code. Ses analyses fournissent les éléments fondamentaux pour les applications de compréhension de texte spécifiques au niveau de niveau supérieur et spécifiques au domaine. Stanford Corenlp est un ensemble d'outils de traitement du langage naturel stables et bien testés, largement utilisés par divers groupes dans le monde universitaire, l'industrie et le gouvernement. Les outils utilisent diversement des composants d'apprentissage automatique basés sur des règles et probabilistes.

Le code de Stanford Corenlp est écrit en Java et sous licence GNU General Public (V2 ou version ultérieure). Notez qu'il s'agit du GPL complet, qui permet de nombreuses utilisations gratuites, mais pas son utilisation dans un logiciel propriétaire que vous distribuez à d'autres.

Construire des instructions

Plusieurs fois par an, nous distribuons une nouvelle version du logiciel, ce qui correspond à un engagement stable.

Pendant le temps entre les versions, on peut toujours utiliser la dernière version sous-développement de notre code.

Voici quelques instructions utiles pour utiliser le dernier code:

Fourni vers la construction

Parfois, nous fournirons ici des pots mis à jour qui ont la dernière version du code.

À l'heure actuelle, la version actuelle publiée du code est notre pot publié le plus récent, bien que vous puissiez toujours construire vous-même le tout dernier de GitHub Head.

Construire avec la fourmi

1. Assurez-vous que la fourmi a installé les détails ici: http://ant.apache.org/
2. Compilez le code avec cette commande: cd CoreNLP ; ant
3. Ensuite, exécutez cette commande pour créer un pot avec la dernière version du code: cd CoreNLP/classes ; jar -cf ../stanford-corenlp.jar edu
4. Cela créera un nouveau pot appelé Stanford-corenlp.jar dans le dossier corenlp qui contient le dernier code
5. Les dépendances qui fonctionnent avec le dernier code sont dans corenlp / lib et corenlp / liblocal, alors assurez-vous d'inclure celles de votre chemin de classe.
6. Lorsque vous utilisez la dernière version du code, assurez-vous de télécharger les dernières versions des modèles corenlp, des modèles d'anglais et des modèles anglais-kbp et les inclure dans votre chemin de classe. Si vous traitez des langues autres que l'anglais, assurez-vous de télécharger la dernière version du pot de modèles pour la langue qui vous intéresse.

Construire avec maven

1. Assurez-vous que Maven a installé les détails ici: https://maven.apache.org/
2. Si vous exécutez cette commande dans le mvn package , il devrait exécuter les tests et construire ce fichier de pot: CoreNLP/target/stanford-corenlp-4.5.4.jar
3. Lorsque vous utilisez la dernière version du code, assurez-vous de télécharger les dernières versions des modèles corenlp, des modèles d'anglais-extra et des modèles anglais-kbp et les inclure dans votre ClassPath. Si vous traitez des langues autres que l'anglais, assurez-vous de télécharger la dernière version du pot de modèles pour la langue qui vous intéresse.
4. Si vous souhaitez utiliser Stanford Corenlp dans le cadre d'un projet Maven, vous devez installer les pots de modèles dans votre référentiel Maven. Vous trouverez ci-dessous un exemple de commande pour l'installation du pot de modèles espagnol. Pour d'autres langues, changez simplement le nom de la langue dans la commande. Pour installer stanford-corenlp-models-current.jar vous devrez définir -Dclassifier=models . Voici l'exemple de commande pour l'espagnol: mvn install:install-file -Dfile=/location/of/stanford-spanish-corenlp-models-current.jar -DgroupId=edu.stanford.nlp -DartifactId=stanford-corenlp -Dversion=4.5.4 -Dclassifier=models-spanish -Dpackaging=jar

Modèles

Les pots de modèles qui correspondent au dernier code peuvent être trouvés dans le tableau ci-dessous.

Certains des plus grands modèles (anglais) - comme l'analyseur et Wikidict de Shift-Reduce - ne sont pas distribués avec notre pot de modèles par défaut. Ceux-ci nécessitent le téléchargement des pots anglais (extra) et anglais (KBP). Les ressources pour d'autres langues nécessitent l'utilisation du pot de modèles correspondant.

La meilleure façon d'obtenir les modèles est d'utiliser GIT-LFS et de les cloner de Hugging Face Hub.

Par exemple, pour obtenir les modèles français, exécutez les commandes suivantes:

 # Make sure you have git-lfs installed
# (https://git-lfs.github.com/)
git lfs install

git clone https://huggingface.co/stanfordnlp/corenlp-french

Les bocaux peuvent être téléchargés directement à partir des liens ci-dessous ou de la page Houging Face Hub également.

Langue	Pot de modèle	Dernière mise à jour
arabe	Télécharger (HF Hub)	4.5.6
Chinois	Télécharger (HF Hub)	4.5.6
Anglais (extra)	Télécharger (HF Hub)	4.5.6
Anglais (KBP)	Télécharger (HF Hub)	4.5.6
Français	Télécharger (HF Hub)	4.5.6
Allemand	Télécharger (HF Hub)	4.5.6
hongrois	Télécharger (HF Hub)	4.5.6
italien	Télécharger (HF Hub)	4.5.6
Espagnol	Télécharger (HF Hub)	4.5.6

Merci à un visage étreint d'avoir aidé avec notre hébergement!

Installer par gradle

Si vous ne connaissez pas Gradle lui-même, voir le site officiel: https://gradle.org

Écrivez ce qui suit dans votre build.gradle selon Maven Central:

 dependencies {
    implementation ' edu.stanford.nlp:stanford-corenlp:4.5.5 '
}

Si vous souhaitez analyser l'anglais, ajoutez les suivants:

    implementation " edu.stanford.nlp:stanford-corenlp:4.5.5:models "
    implementation " edu.stanford.nlp:stanford-corenlp:4.5.5:models-english "
    implementation " edu.stanford.nlp:stanford-corenlp:4.5.5:models-english-kbp "

Si vous utilisez une autre version, remplacez "4.5.5" à une version que vous utilisez.

Ressources utiles

Vous pouvez trouver des sorties de Stanford Corenlp sur Maven Central.

Vous pouvez trouver plus d'explications et de documents sur la page d'accueil de Stanford Corenlp.

Pour plus d'informations sur la contribution à Stanford Corenlp, voir le fichier contributing.md.

Les questions sur Corenlp peuvent être publiées sur StackOverflow avec le tag Stanford-NLP, soit sur les listes de diffusion.