Portuguese NLP

ポルトガル-NLP

ポルトガル語に焦点を当てて開発されたリソースとツールのリスト。

データセット

• #PraceGover- Instagramからの投稿に基づいたポルトガルのキャプションを備えたマルチモーダルデータセット。
• 18世紀のポルトガルの医療テキスト
• AG_NEWS PT- AGのニュース記事のコーパスの自動翻訳。
• ALPACAデータPT-BR-Stanford Alpaca Datasetは、Helsinki-NLP/OPUS-MT-TC-Big-En-PTモデルを使用してブラジルのポルトガル語に翻訳されました。
• AspectBR- Webコンシューマーレビューのアスペクトベースの注釈付きデータセット。
• ASSIN-セマンティックな類似性スコアと伴う注釈を備えたデータセット。 （Huggingface）
• アッシン2-アッシンのシーケンス。 （Huggingface）
• 自動エッセイスコア（AES）Enemデータセット - ポルトガル語での自動エッセイスコアリングのベンチマーク（ハグFace）
• AYA DATASET PT -COHEREFORAI AYA DATASET FILTRADO PARA PORTUGUES（PT）。
• Blogset -BR- Brazillianユーザーが書いたBlogspotプラットフォームから収集された投稿のコレクション。
• Bluex -Brazilian Leading Universitiesの入学試験に基づくベンチマーク。
• ブールク-CorduçãoAutomáticaDoBoolq。
• BR-Quad-2.0-スタンフォード質問データセット（Squad）2.0は、ブラジルのポルトガル語（PT-BR）言語に翻訳されています。
• Brands.br-ポルトガルのレビューコーパス
• ブラジルの裁判所の決定 - 4043 EMENTA（要約）裁判所の決定とそのメタデータの徴収と、アラゴス州最高裁判所（ブラジル）州最高裁判所（TJAL）裁判所からのメタデータ。
• ブラジルのeコマース - オリストストアによるブラジルのeコマースパブリックデータセット。
• ブラジルの見出しの感情 - ブラジルの報道機関の感情分析を含むデータセットの見出し。
• ブラジルのポルトガル文学コーパス - 1840年から1908年に発行されたブラジル文学の370万語のコーパス。
• ブラジルのポルトガル語の物語エッセイデータセット - ブラジルのポルトガル語の物語のエッセイの自動エッセイスコアリングのためのデータセット。
• ブラジルのポルトガル感情分析データセット。
• ブラジルのTCUの判断 - 連邦口座裁判所の判決 - ブラジル（TCU）。
• BRWAC-コーパスとしてのブラジルのポルトガルのウェブ。
• BRWAC2WIKI-ポルトガル語でのマルチドキュメント要約のためのデータセット。
• B2W -Reviews01-製品レビュー。
• Canarim-ポルトガル語のWebページの大規模なデータセット（Huggingface）
• カロライナ-Corpus geral doportuguêsBrasileiroContemporâneo（Huggingface）。
• ケープ - 英語とポルトガル語の論文と学位論文の平行コーパス。
• CC100-ポルトガル人 - Conneau＆Wenzek et alによって作成されました。 2020年。このデータセットは、2018年1月から12月にかけてCC-NETリポジトリからのCommonCrawlスナップショットから処理された100の単一言語データの1つです。
• Cetenfolha-新聞Folha de S. Pauloからのニュース。
• Chave-情報検索と質問の回答のためのコレクション。
• Cintil Corpus-ポルトガル語の言語的に解釈されたコーパス。
• Clinicalner-ポルトガル語の臨床指名されたエンティティ認識。
• complenidadeテキストパラエスタギオスエスコラーは、sistema教育的ブラジレイロを行います。
• CORAA-自動音声認識のためのデータセット。
• Coraa Ser-ブラジルのポルトガル語の非公式の自発的なスピーチからの感情認識。
• crawlpt_dedup-crawlpt（重複排除）は、3つのコーパック、BRWAC、C100-PT、OSCAR-2301で構成されています。
• CSTNews-マルチドキュメントの要約を備えた50のクラスターのニューステキストを備えたコーパスと、いくつかの談話とセマンティックな注釈。
• C-Oral-Brasil-このプロジェクトは、ブラジルのポルトガルの自発的なスピーチの研究と、より広く、話し言葉の編集に捧げられています。
• DANTESTOCKS-ブラジルのポルトガル語で書かれた株式市場のツイートのコーパスは、Haremの分類法に従って指定されたエンティティと注釈を付けました。
• Deepagé-ブラジルの環境についてのポルトガル語での質問に答える。
• DNLT -BP-ブラジルのポルトガル語における神経心理学的言語テストのデータセット。
• Enem Challenge-エッセイの執筆と、180の複数選択質問を含む客観的な部分で構成されています。
• Enem-2022およびEnem-2023-これらのプロジェクトは、ブラジルの大学が採用した主要な標準化された入学試験であるExame Nacional Do EnsinoMédio（Enem）の最後の2つのエディションからのすべての複数選択の質問を網羅しています。
• Essay-Br-Essay-Br：ブラジルのポルトガル語のエッセイのコーパス。
• 拡張エッセイ-BR-エッセイ-BRコーパスの拡張バージョン。
• FACTCK.BR-ポルトガル語で偽のニュースを勉強するデータセット。
• FactNews -News Reportingの文レベルの事実性を予測するデータセット。
• 偽の声 - XTTSモデルで作成されたブラジルのポルトガル人のディープフェイク。
• fake.br-ブラジルのポルトガル語で書かれた真の偽のニュース（Hugginface）。
• central_de_fatos-（ハギングフェイス）。
• fakenewsset-（ハギングフェイス）。
• FakePedia -Corpus-偽のニュースデータセット。
• FakereCogna-実際のニュースと偽のニュース（ハグイングフェイス）で構成されるデータセット。
• fakewhatsapp.br-テキストの誤報を自動検出するためのPT -BRのWhatsAppメッセージの注釈付きコーパス。
• FKTC-偽のニューステキストコレクション。
• FlorestaSintá（C）Tica-ポルトガル語のツリーバンク。
• Harem First -Portugueseの名前付きエンティティ認識者の評価コンテスト。
• Harem Second -Portugueseの名前付きエンティティ認識者の評価コンテスト。
• Hatebr-ブラジルのInstagramの大規模な専門家の注釈付きコーパスは、ウェブおよびソーシャルメディアでのヘイトスピーチと攻撃的な言語検出に関するコメントです。
• 歴史的なポルトガルのコーパス - 歴史的なコーパスの操作と歴史的辞書の管理のためのツールとリソース。
• IMDB PT -TraduçãoAtomáticado imbd。
• Imberbr-自然言語推論データセット。
• Iudicium Textum Dataset-ブラジル連邦最高裁判所によって作成された法的文書には、その統合構成（論文）が含まれています。
• LENER -BR-ブラジルの法的テキストにおける名前付きエンティティ認識のデータセット。
• Legalpt_dedup -LegalPT（重複排除）は、ポルトガル語で公開されている法的データの最大額を集約します。
• lex2kids-子供たちが最もよく聞いたポルトガル語のレキシコン。
• Mac-Morpho-スピーチの一部で注釈が付けられたブラジルのポルトガル語のテキスト。
• Milkqa-回答選択のタスクに関する密な質問のデータセット。
• ブラジル中央銀行の議事録 - ブラジル中央銀行の金融政策委員会の議事録。
• ブラジルのポルトガル語のツイートのner -loc and orgのエンティティに注釈が付けられたpt -brのTwitterメッセージ。
• Nerde-エンティティ組織、テンポ、loc、脚（立法）、ドキュメント（文書）、valorに注釈が付けられたケイドの法学の文書。
• News-Crawl-PT- WMTに使用されるモノリンガーニュースクロール。
• サイトフォルハデサンパウロのニュース - ブラジルの新聞フォルハデサンパウロのニュース。
• ブラジルで発行されたニュース - グロボグループのニュース編集。
• OAB試験 - BrazilianバージョンのBOR試験（USA）（Huggingface）。
• Revista Pesquisa Fapespからの並列コーパス - ポルトガル語 - 英語とポルトガル語のスペイン語のバイリンガルコレクションBrazilian Magazine Revista Pesquisa Fapespのオンライン問題。
• nurc-sp
• Pirá-海についての質問をするためのバイリンガルポルトガル語 - 英語データセット。
• PL-CORPUS-ユリシェスナー-BRの一部は、品質ベースラインを備えたNERのブラジルの立法文書のコーパスです。
• プルー - 接着剤ベンチマークとサイテールデータセットのポルトガル語翻訳。
• Poetisa-ポルトガルの処理 - 構文分析と解析に向けて。
• 政治 - Politiquices.pt Projectに関連するデータセット。
• PORSIMPLESSENT-文の読みやすさの評価を調査するための整列した文のペア。
• portilexicon -ud-普遍的な依存関係によると、ブラジルのポルトガル語の辞書。
• Portuguese-Hate-Speech-Dataset-バイナリアノテーションを備えた5,668のツイートで構成されるヘイトスピーチ検出のためのポルトガルデータセット
• ポルトガルの法的文章 - ポルトガルの最高裁判所からの法的文の収集。
• ポルトガルの大統領選挙 - このデータセットには、主にポルトガルのツイッター球からのツイートとユーザーが含まれています。
• PraceGover -Instagramの投稿に基づいたポルトガルのキャプションに関連付けられた画像を含むマルチモーダルデータセット。
• Priberam Fine-Grained Opinion Corpus-Portuguese Fine-Grained Septendency Opinion Mining Mining Corpus。
• Propbank -Semantic Role Labels（SRL）が注釈されたインスタンスが含まれています。
• Projeto ACDC -Corporaへのインターネットアクセス。
• パントゥガー語 - マイクロエディションを備えたポルトガル語のしゃれのコーパス（ハギングフェイス）
• QA -PORTUGUESE- MQA Dataset Portuguese Split（QA Entainmentペア）からの適応。
• Quati-このデータセットは、ブラジルのポルトガル語（PT-BR）情報検索（IR）システム開発をサポートすることを目的としており、元々PT-BRで作成されたドキュメントパッサージンと、ネイティブスピーカーによって作成されたクエリ（トピック）を提供します。
• Rebel -Portuguese -Datasets deRelaçesesA Partir da Wikipedia。
• reli -resenha de livros。
• repro：ブラジルのポルトガル語の意見採掘のためのベンチマークデータセット - ブラジルのポルトガル語の意見採掘のためのベンチマークデータセット。 （Huggingface）
• レタルホ - ダニエル・マルクのrsttoolと注釈が付けられたコーパス。
• SEMCLINBR-ポルトガルの臨床NLPタスクのために、マルチズテルおよびマルチスペシャリティの意味的に注釈付きコーパス。
• セサミ - ポルトガル語のNERのコーパス。
• シガラニュースコーパス - ポルト大学のシガラ情報システム。
• Simplex -PB-ポルトガル語の語彙単純化データベースとベンチマーク。
• Simplex-PB-2.0-シンプレックス-PBの改良バージョン。
• Simplex-PB-3.0-Simplex-PBの新しいバージョン。
• Spotify Subset-ブラジルのポルトガル語の言語のバリエーションの分類
• Squad -PT V1.1-分隊データセットのポルトガル語翻訳。
• Squad-Pt V1.1.1-PT-BR- Deep Learning Brasilによって翻訳されたSquad Datasetのブラジルのポルトガル語翻訳。
• Squad -PT V2.0-分隊2.0データセットのポルトガル語翻訳。
• SST -2 PT-スタンフォードセンチメントツリーバンクの自動翻訳。
• Temário-要約目的のためのニューステキストと対応する人間の要約。
• テキストの複雑さコーパス - ブラジルの教育システムでの学校インターンシップのためのテキスト複雑さのコーパス。
• told -br-ブラジルのポルトガル語（Github）のソーシャルメディアでの有毒な言語検出。
• TTS -PORTUGUESE CORPUS-スピーチポルトガル語からテキスト。
• Tweetsentbr-ブラジルのポルトガル語でのツイート。
• 感情分析のためのツイート。
• ud_portuguese -bosque-ユニバーサル依存関係（UD）ポルトガルのツリーバンク。
• ud_portuguese -cintil-ユニバーサル依存関係（UD）ポルトガルのツリーバンク。
• ud_portuguese -gsd-ユニバーサル依存関係（UD）ポルトガルのツリーバンク。
• ud_portuguese -petrogold-ユニバーサル依存関係（UD）ポルトガルのツリーバンク。
• ud_portuguese -pud-ユニバーサル依存関係（UD）ポルトガルのツリーバンク。
• Ulyssessner -Br-名前付きエンティティ認識のためのブラジルの立法文書のコーパス
• utlcorpus-有用性分類で注釈が付けられたブラジルのポルトガル語でのオンラインレビューのコーパス。
• Winograd Schema Challenge -PortugueseベースのWinograd Schema Challengeのソルバー。
• wizardvicuna-ptbr-instruct-clean-wizard vicuna pt-brはクリーンデータセットを指示します。

多言語データセット

• 大規模な言語モデルの移民グループに対するステレオタイプと否定的な態度を調査するための多言語データセット
• AskD -ELI5データセット医学的質問（ASKDOCS）SubredDitに適応しました。
• 英語 - ポルトガル語の文章 - Tatoebaプロジェクトからの英語ポルトガルの文。
• Eur -Ex-欧州連合のすべての公用語における多言語コーパス。
• Europarl-欧州議会手続き並列コーパス1996-2011。
• Europarl-ST- 2008年から2012年の間に欧州議会で行われた議論を使用して構築された音声翻訳のペアオーディオテキストサンプルが含まれる多言語音声翻訳コーパス。
• MC4- Common CrawlのWeb Crawl Corpusの多言語の巨大なクリーンバージョン。一般的なクロールデータセットに基づいています。
• MFAQ-一般的なクロールから解析されたよくある質問の多言語のコーパス。
• MKQA-多言語の知識の質問と回答（GitHub）。
• MQA-一般的なクロールから解析された質問と回答（MQA）の多言語のコーパス。
• MMARCO- MS MARCO PASSINGランキングデータセットの多言語バージョン。
• MOBUST -TREC 2004の多言語バージョン堅牢なパッセージランキングデータセット
• Multiconer-名前付きエンティティ認識用の大規模な多言語データセット。
• マスト-C-多言語音声翻訳コーパス。
• opensubtitles-翻訳された映画字幕のコレクション。
• オスカー - オープンスーパーラージクロールの集約コーパス。
• Tatoeba-文と翻訳の大きなデータベース。
• TED2020 -2020年7月から約4000のTEDとTED -Xの転写産物のクロールが含まれています。
• TSAR-2022-Shared-Task-TSAR2022は、語彙単純化に関するタスクを共有しました。
• Wikiann- IOB2形式のLoc（場所）、Per（Person）、およびOrg（orging）タグで注釈されたWikipediaの記事で構成される多言語名のエンティティ認識データセット。
• wikilingua- wikihowから抽出された多語の抽象的要約データセット。
• Wikimatrix-ウィキペディアからの1620年の言語ペアの並行文。
• ウィキナー - ウィキペディアからのマルチリングアルという名前のエンティティ認識を学ぶ。
• Wikineural-多言語NER用の神経と知識に基づいた銀データ作成の組み合わせ（EMNLP 2021）。
• Wikipedia -Wikipediaデータセットには、すべての言語の清掃された記事が含まれています。
• XFormal-多言語の形式スタイル転送のベンチマーク。
• XLSUM -135万人の専門的に注釈付きの記事とBBCのペア。

レキシコン

• バット-PT-より大きな類推テストセット（コウモリ）の辞書編集部分の手動翻訳ポルトガル人
• Br.ispell-ブラジルのポルトガル語のIspell辞書（Github）。
• ConceptNet-オープンで多言語の知識グラフ。
• DICSIN-同義語と反意語の辞書。
• LexicOnpt -Rポルトガルのテキスト分析にレキシコンを提供するRパッケージ。
• レキシコン - 名前、姓、頭字語、拡張機能、ストップワードなどの辞書。
• LIWC-言語調査と単語数（辞書）
• into.pt -Ontologia語彙o oportuguês。
• OpenWordNet -PT-ポルトガル語のオープンアクセスワードネット（サイト）。
• Oplexicon-ポルトガル語のセンチメントレキシコン。
• Palavras-ブラジルポルトガル語の単語リスト。
• パペル。
• PT -BR-ワードリスト、動詞、共役、用語頻度。
• PT-LKB-大規模なポルトガル語の語彙セマンチックな知識ベース
• Pulo-ポルトガルの統一された語彙オントロジー。
• centilex -pt-ポルトガル語の感情辞書。
• ストップワード - ポルトガルのストップワードコレクション。
• TEP2。
• unitex -pb-語彙リソース。
• valexpb-ブラジルのポルトガル語動詞のvalencesの辞書。
• verbnet.br 1.0-ブラジルのポルトガル語の口頭辞書。
• wikidict-dsl-pt-wikidataバイリンガルDSL辞書。
• wordnetaffectbr-感情の語彙。
• wordnet.br -portuguese wordnet。

モデル

• Albertina PT -Br-ポルトガル語のバート家のエンコーダー - ブラジル出身のアメリカのバリアント。
• Albertina PT -PT-ポルトガル語のバート家のエンコーダー - ポルトガル出身のヨーロッパのバリアント。
• Alpaca-Lora-Ptbr-低ランクLlama instruce-tuning。
• BART -BART PRE -TREINADO EM PORTUGUES。
• Bertimbau-Bertimbauベースは、ブラジルのポルトガル語の前提条件のBERTモデルであり、3つの下流のNLPタスクで最先端のパフォーマンスを達成します。
• Biobertpt-ポルトガル語の臨床ドメイン（GitHub）で訓練された微調整されたBERTモデル。
• カブリタ - ポルトガルの微調ューされた指導llama（github）。
• Debertinha-ブラジルのポルトガル語（Github）に適応したDeberta V3 Xsmall。
• Electra -Brwacで訓練されたElectraモデル。
• Gervasio -Pt -Br-ポルトガル語のGPTファミリーのデコーダーであるブラジル出身のアメリカのバリアント。
• Gervasio -Pt -PT-ポルトガル語のGPTファミリーのデコーダー - ポルトガルのヨーロッパのバリアント。
• Glória1.3b-ポルトガルのヨーロッパ中心の大手言語モデル（Huggingface）
• GPT2 Small-Gportuguese-2（ポルトガル語GPT-2 Small）は、GPT-2スモールモデルに基づくポルトガル語の最先端の言語モデルです。
• GPT-Neo Small-エレテウライによるGPT-Neo 125Mからポルトガル語への微調ューされたバージョン。
• GPT2-Bio-PT- Gportuguese-2（Github）の生物医学的な微調合バージョン。
• nerde -base -bertimbauは司法文書でNERに微調整されました。
• roberta-pt-br
• Robertacrawlpt-Base-Robertacrawlpt-Baseは、Crawlpt Corporaからゼロから前から除去された一般的なポルトガルのマスクされた言語モデルです
• robertalexpt -base- legalpt and crawlpt corporaからゼロから前処理されたポルトガルの仮面モデル
• Sabiá -Sabiá -7Bは、Maritaca AIが開発したポルトガル語モデルです。
• Sabiá2-特にブラジルのドメインでポルトガル語のテキストで訓練された言語モデル。
• Brazilian PortugueseデータのT5 -T5モデル。
• tgf-xlm-roberta-base-pt-br（github）
• WAV2VEC-Facebook/WAV2VEC2-LARGE-XLSR-53は、一般的な音声6.1の列車と検証スプリットを使用してポルトガル語を使用しています。

多言語モデル

• Bloom-BigScience大規模なオープンサイエンスオープンアクセス多言語言語モデル。
• MBERT-マスクされた言語モデリング（MLM）目的を使用した最大のウィキペディアを持つ上位104の言語の事前処理モデル。
• Mdeberta
• MGPT -多言語GPTモデル。自己回帰GPT様モデル。
• MMINILM-MMARCOでFinetunedが微調整されたMMINILM-L6-V2リランカー
• MT5-多言語T5。非常に多言語の事前訓練を受けたテキストからテキストへの変圧器。
• XLM-Roberta-XLM-Robertaモデルは、100の言語を含む2.5TBのフィルタリングされたCommonCrawlデータで事前に訓練されています。
• Labse-言語に依存しないBERT文エンコーダー（LABSE）は、109の言語の埋め込みのために訓練されたBERTベースのモデルです。

単語埋め込み

• fastText-マルチリングルワードベクトル。
• レーザー - 言語に違反した文の表現。
• NILC -embeddings -USPによってポルトガル語で訓練された単語埋め込み。
• ミューズ - 多言語の監視なしで監督された埋め込み。
• 単語ベクトル - 30以上の言語の事前に訓練された単語ベクトル。

メトリック

• Coh-Metrix-Port-ブラジルのポルトガル語へのCoh-Metrixテキスト分析ツールの適応。
• NILC -METRIX -NILCラボで10年以上にわたって開発されたメトリックを収集します。

リーダーボード

• オープンPT LLMリーダーボード-Open PT LLMリーダーボードは、さまざまなタスクやデータセットでポルトガル語で大規模な言語モデル（LLM）を評価するためのベンチマークを提供することを目的としています。

フレームワーク

• nlpnet
• nltk
• ポリグロット
• スペイシー
• スタンザNLP
• udpipe

機関

• Brasileiras em pln。
• HAILAB -PUCPR-自然言語加工と機械学習を使用してヘルスケアのソリューションを開発することを目的とした先駆的な研究グループ。
• 言語。
• ニルク。
• Nlportuguês-ブラジルのポルトガル語でNLPコースの作成に専念しています。
• NLXグループ。
• pln pucrs。

ツール

• アターティウムPOR-ポルトガル語のカッターティウム言語データ。
• AutocorRect- Pythonのスペル修正器。
• Brgram- XLEで実装されたLFG形式におけるブラジルのポルトガル人の計算文法断片。
• DICIO API-ポルトガル語辞書API。
• Dict-Pt-Br-ブラジルのポルトガル語の辞書。
• Languagetool- 25以上の言語のスタイルと文法チェッカー。
• LegalNLP-ブラジルの法的言語の自然言語処理方法。
• lexmlパーサー - 法的文書のパーサー。
• LXパーサー - ポルトガル語の統計選挙区パーサー。
• メタホン-PTBR-ポルトガル語のメタホンアルゴリズム。
• MLConjug3-ポルトガル語およびその他の言語で動詞を共役させるPythonライブラリ。
• Morphobr-ポルトガル語の形態学的分析のためのリソース。
• OpCluster-きめ細かい意見の自動抽出とクラスタリング。
• Phonemizer-複数の言語用のシンプルなテキストから電話コンバーター。
• Porgram- HPSG形式におけるポルトガル語のためのオープンソース計算文法。
• ポルトガル語用のPymetaphone -BR-メタホンアルゴリズムパッケージ。
• Pysentimiento-感情分析と社会的NLPタスクのための多言語ツールキット。
• Pyspellchecker-多言語スペルチェック。
• RBAMR-ポルトガル語のルールベースのAMRパーサー。
• Verbecc-フランス語、スペイン語、ポルトガル語、イタリア語、ルーマニア語の機械学習を使用した動詞の完全な共役。

他のリスト

• 注釈付きセマンティック関係データセット
• 言語データセット - ポルトガル語の言語データセット。
• ポルトガル語のner-datasets
• ニルク
• NILC 2
• NILC 3
• オピニオンド - ポルトガル語の意見採掘。
• ポルトガルのデータセットリスト

その他のリンク

• Opus -Opusは、Webから翻訳されたテキストの成長コレクションです。
• 統計および神経機械の翻訳。