Inicio>Relacionado con la programación>Otro código fuente
Descargar

Enlaces a los corpus rusos disponibles públicamente para cargar y analizar. 20+ DataSests, 350 GB+ de texto.

Uso

Por ejemplo, nos permite verter de lenta.ru por @yutkin. Manoally Descargue el archivo (enlace en la sección de referencia): 

wget https://github.com/yutkin/Lenta.Ru-News-Dataset/releases/download/v1.0/lenta-ru-news.csv.gz

Use corus para cargar los datos: 

 > >> from corus import load_lenta

> >> path = 'lenta-ru-news.csv.gz'
> >> records = load_lenta ( path )
> >> next ( records )

LentaRecord (
    url = 'https://lenta.ru/news/2018/12/14/cancer/' ,
    title = 'Названы регионы России с xa0 самой высокой смертностью от xa0 рака' ,
    text = 'Вице-премьер по социальным вопросам Татьяна Голикова рассказала, в каких регионах России зафиксирована наиболее высокая смертность от рака, сооб...' ,
    topic = 'Россия' ,
    tags = 'Общество'
)

Iterar sobre textos: 

 > >> records = load_lenta ( path )
> >> for record in records :
...     text = record . text
...     ...

Para enlaces a otros conjuntos de datos y sus cargadores, consulte la sección de referencia.

Documentación

Los materiales están en ruso:

  • Página de Corus en natasha.github.io
  • Sección Corus de DataFest 2020 Talk

Instalar

corus apoya a Python 3.5+, Pypy 3. 

$ pip install corus

Referencia

Conjunto de datos API from corus import Etiquetas Textos Sin comprimir Descripción
Lenta.ru
Lenta.ru v1.0 load_lenta # news 739 351 1.66 GB wget https://github.com/yutkin/Lenta.Ru-News-Dataset/releases/download/v1.0/lenta-ru-news.csv.gz
Lenta.ru v1.1+ load_lenta2 # news 800 975 1.94 GB wget https://github.com/yutkin/Lenta.Ru-News-Dataset/releases/download/v1.1/lenta-ru-news.csv.bz2
Lib.rus.ec load_librusec # fiction 301 871 144.92 GB Dump of lib.rus.ec Preparado para el taller de Rusia

wget http://panchenko.me/data/russe/librusec_fb2.plain.gz
Rossiya Segodnya load_ria_raw #
load_ria #		 news 1 003 869 3.70 GB wget https://github.com/RossiyaSegodnya/ria_news_dataset/raw/master/ria.json.gz
Corpus de Twitter ruso Mokoron load_mokoron # sentiment social 17 633 417 1.86 GB Marca de sentimiento de Twitter ruso

Descarga de Manuilla https://www.dropbox.com/s/9egqjszeicki4ho/db.sql
Wikipedia load_wiki # 1 541 401 12.94 GB Basurero ruso

wget https://dumps.wikimedia.org/ruwiki/latest/ruwiki-latest-pages-articles.xml.bz2
Grameval2020 load_gramru # 162 372 30.04 MB wget https://github.com/dialogue-evaluation/GramEval2020/archive/master.zip
unzip master.zip
mv GramEval2020-master/dataTrain train
mv GramEval2020-master/dataOpenTest dev
rm -r master.zip GramEval2020-master
wget https://github.com/AlexeySorokin/GramEval2020/raw/master/data/GramEval_private_test.conllu
Abenina corporal load_corpora # morph 4 030 20.21 MB wget http://opencorpora.org/files/export/annot/annot.opcorpora.xml.zip
Rusvectores SIMLEX-965 load_simlex # emb sim wget https://rusvectores.org/static/testsets/ru_simlex965_tagged.tsv
wget https://rusvectores.org/static/testsets/ru_simlex965.tsv
Omnia ruso load_omnia # morph web fiction 489.62 GB Taiga + wiki + araneum. Lea "Corpus ruso incluso más grande" https://events.spbu.ru/eventscontent/events/2019/corpora/corp_sborn.pdff

Descarga de Manuilla http://bit.ly/2zt4by9
FacTrueval-2016 load_factru # news ner 254 969.27 kb Manual por, LOC, orgía preparada para la competencia de diálogo 2016

wget https://github.com/dialogue-evaluation/factRuEval-2016/archive/master.zip
unzip master.zip
rm master.zip
Gareval load_gareev # news ner 97 455.02 kb Manual por, Org Markup (sin LOC)

Envíe un correo electrónico a Rinat Gareev ([email protected]) solicite un conjunto de datos
tar -xvf rus-ner-news-corpus.iob.tar.gz
rm rus-ner-news-corpus.iob.tar.gz
Colección5 load_ne5 # news ner 1,000 2.96 MB Artículos de noticias con manual por, LOC, orgía

wget http://www.labinform.ru/pub/named_entities/collection5.zip
unzip collection5.zip
rm collection5.zip
Caminante load_wikiner # ner 203 287 36.15 MB Oraciones de Wiki Auto anotadas con etiquetas PER, LOC, Org

wget https://github.com/dice-group/FOX/raw/master/input/Wikiner/aij-wikiner-ru-wp3.bz2
BSNLP-2019 load_bsnlp # ner 464 1.16 MB Marca preparada para la tarea compartida de BSNLP 2019

wget http://bsnlp.cs.helsinki.fi/TRAININGDATA_BSNLP_2019_shared_task.zip
wget http://bsnlp.cs.helsinki.fi/TESTDATA_BSNLP_2019_shared_task.zip
unzip TRAININGDATA_BSNLP_2019_shared_task.zip
unzip TESTDATA_BSNLP_2019_shared_task.zip -d test_pl_cs_ru_bg
rm TRAININGDATA_BSNLP_2019_shared_task.zip TESTDATA_BSNLP_2019_shared_task.zip
Personas-1000 load_persons # news ner 1,000 2.96 MB Igual que Collection5, solo por marcado + nombres normalizados

wget http://ai-center.botik.ru/Airec/ai-resources/Persons-1000.zip
El Corpus de reacción de drogas ruso (Rudrec) load_rudrec # ner 4 809 1.73 kb Rudredc es un nuevo corpus parcialmente anotado de revisiones de los consumidores en ruso sobre la producción farmacéutica para la detección de entidades relacionadas con la salud y la efectivo de productos farmacéuticos. Aquí puede descargar y trabajar con la parte anotada, para obtener la parte sin procesar (1.4m reseñas), consulte https://github.com/cimm-kzn/rudrec.

wget https://github.com/cimm-kzn/RuDReC/raw/master/data/rudrec_annotated.json
Taiga Gran colección de textos rusos de varias fuentes: sitios de noticias, revistas, alfabetización, redes sociales

wget https://linghub.ru/static/Taiga/retagged_taiga.tar.gz
tar -xzvf retagged_taiga.tar.gz
Arzamas load_taiga_arzamas # news 311 4.50 MB
Fontanka load_taiga_fontanka # news 342 683 786.23 MB
Interfax load_taiga_interfax # news 46 429 77.55 MB
KP load_taiga_kp # news 45 503 61.79 MB
Lenta load_taiga_lenta # news 36 446 95.15 MB
Taiga/n+1 load_taiga_nplus1 # news 7 696 24.96 MB
Revistas load_taiga_magazines # 39 890 2.19 GB
Subtítulos load_taiga_subtitles # 19 011 909.08 MB
Social load_taiga_social # social 1 876 442 648.18 MB
Proza load_taiga_proza # fiction 1 732 434 38.25 GB
Stihi load_taiga_stihi # 9 157 686 12.80 GB
Conjuntos de datos de PNL rusos Varios conjuntos de datos de noticias rusos de Webhose.io, lenta.ru y otros sitios de noticias.
Noticias load_buriy_news # news 2 154 801 6.84 GB Dump of Top 40 News + 20 Sitios de noticias de moda.

wget https://github.com/buriy/russian-nlp-datasets/releases/download/r4/news-articles-2014.tar.bz2
wget https://github.com/buriy/russian-nlp-datasets/releases/download/r4/news-articles-2015-part1.tar.bz2
wget https://github.com/buriy/russian-nlp-datasets/releases/download/r4/news-articles-2015-part2.tar.bz2
Webhosis load_buriy_webhose # news 285 965 859.32 MB Volcar de Webhose.io, 300 fuentes por un mes.

wget https://github.com/buriy/russian-nlp-datasets/releases/download/r4/webhose-2016.tar.bz2
ODS #Proj_News_Viz Varias noticias se sientan raspadas por miembros del proyecto #Proj_news_Viz ODS.
Interfax load_ods_interfax # news 543 961 1.22 GB wget https://github.com/ods-ai-ml4sg/proj_news_viz/releases/download/data/interfax.csv.gz
Gazeta load_ods_gazeta # news 865 847 1.63 GB wget https://github.com/ods-ai-ml4sg/proj_news_viz/releases/download/data/gazeta.csv.gz
Izvestia load_ods_izvestia # news 86 601 307.19 MB wget https://github.com/ods-ai-ml4sg/proj_news_viz/releases/download/data/iz.csv.gz
Meduza load_ods_meduza # news 71 806 270.11 MB wget https://github.com/ods-ai-ml4sg/proj_news_viz/releases/download/data/meduza.csv.gz
Ria load_ods_ria # news 101 543 233.88 MB wget https://github.com/ods-ai-ml4sg/proj_news_viz/releases/download/data/ria.csv.gz
Rusia hoy load_ods_rt # news 106 644 187.12 MB wget https://github.com/ods-ai-ml4sg/proj_news_viz/releases/download/data/rt.csv.gz
Borla load_ods_tass # news 1 135 635 3.27 GB wget https://github.com/ods-ai-ml4sg/proj_news_viz/releases/download/data/tass-001.csv.gz
Dependencias universales
GSD load_ud_gsd # syntax morph 5 030 1.01 MB wget https://github.com/UniversalDependencies/UD_Russian-GSD/raw/master/ru_gsd-ud-dev.conllu
wget https://github.com/UniversalDependencies/UD_Russian-GSD/raw/master/ru_gsd-ud-test.conllu
wget https://github.com/UniversalDependencies/UD_Russian-GSD/raw/master/ru_gsd-ud-train.conllu
Taiga load_ud_taiga # syntax morph 3 264 353.80 kb wget https://github.com/UniversalDependencies/UD_Russian-Taiga/raw/master/ru_taiga-ud-dev.conllu
wget https://github.com/UniversalDependencies/UD_Russian-Taiga/raw/master/ru_taiga-ud-test.conllu
wget https://github.com/UniversalDependencies/UD_Russian-Taiga/raw/master/ru_taiga-ud-train.conllu
Mozo load_ud_pud # syntax morph 1,000 207.78 KB wget https://github.com/UniversalDependencies/UD_Russian-PUD/raw/master/ru_pud-ud-test.conllu
Sintagrus load_ud_syntag # syntax morph 61 889 11.33 MB wget https://github.com/UniversalDependencies/UD_Russian-SynTagRus/raw/master/ru_syntagrus-ud-dev.conllu
wget https://github.com/UniversalDependencies/UD_Russian-SynTagRus/raw/master/ru_syntagrus-ud-test.conllu
wget https://github.com/UniversalDependencies/UD_Russian-SynTagRus/raw/master/ru_syntagrus-ud-train.conllu
Morforueval-2017
Corpus general de Internet load_morphoru_gicrya # morph 83 148 10.58 MB wget https://github.com/dialogue-evaluation/morphoRuEval-2017/raw/master/GIKRYA_texts_new.zip
unzip GIKRYA_texts_new.zip
rm GIKRYA_texts_new.zip
Corpus nacional ruso load_morphoru_rnc # morph 98 892 12.71 MB wget https://github.com/dialogue-evaluation/morphoRuEval-2017/raw/master/RNC_texts.rar
unrar x RNC_texts.rar
rm RNC_texts.rar
Abenina corporal load_morphoru_corpora # morph 38 510 4.80 MB wget https://github.com/dialogue-evaluation/morphoRuEval-2017/raw/master/OpenCorpora_Texts.rar
unrar x OpenCorpora_Texts.rar
rm OpenCorpora_Texts.rar
Russe Religilidad semántica rusa
HJ: juicios humanos de pares de palabras load_russe_hj # emb sim wget https://github.com/nlpub/russe-evaluation/raw/master/russe/evaluation/hj.csv
RT: sinónimos e hipernyms de los rutos Thresurus load_russe_rt # emb sim wget https://raw.githubusercontent.com/nlpub/russe-evaluation/master/russe/evaluation/rt.csv
AE: Asociaciones cognitivas del experimento Sociation.org load_russe_ae # emb sim wget https://github.com/nlpub/russe-evaluation/raw/master/russe/evaluation/ae-train.csv
wget https://github.com/nlpub/russe-evaluation/raw/master/russe/evaluation/ae-test.csv
wget https://raw.githubusercontent.com/nlpub/russe-evaluation/master/russe/evaluation/ae2.csv
Conjuntos de datos de toloka
Relaciones léxicas de la sabiduría de la multitud (LRWC) load_toloka_lrwc # emb sim wget https://tlk.s3.yandex.net/dataset/LRWC.zip
unzip LRWC.zip
rm LRWC.zip
El corpus de reacción de drogas adversas rusas de tweets (Ruadrect) load_ruadrect # social 9 515 2.09 MB Este corpus fue desarrollado para la minería de redes sociales para aplicaciones de salud (#SMM4H) Tarea compartida 2020

wget https://github.com/cimm-kzn/RuDReC/raw/master/data/RuADReCT.zip
unzip RuADReCT.zip
rm RuADReCT.zip

Apoyo

  • Chat - https://t.me/natural_language_processing
  • Problemas - https://github.com/natasha/corus/issues
  • Soporte comercial - https://lab.alexkuk.ru

Agregar nueva fuente

  1. Implementar corus/sources/<source>.py
  2. Agregar importación a corus/sources/__init__.py
  3. Agregue meta a corus/source/meta.py
  4. Agregar ejemplo a docs.ipynb (verificar la meta tabla es correcta)
  5. Ejecutar pruebas (ReadMe está actualizado)

Desarrollo

Dev enví 

python -m venv ~ /.venvs/natasha-corus
source ~ /.venvs/natasha-corus/bin/activate

pip install -r requirements/dev.txt
pip install -e .

python -m ipykernel install --user --name natasha-corus

Documentos de Lint + Actualy 

make lint
make exec-docs

Liberar 

 # Update setup.py version

git commit -am ' Up version '
git tag v0.10.0

git push
git push --tags
Expandir
Información adicional
Aplicaciones relacionadas
Recomendado para ti
Información relacionada Todo