Semantic Retrieval Models

第1段階の検索のための素晴らしいセマンティックモデル

注記：

• いくつかの初期の方法や情報検索タスクの最近のニューラルモデル（アドホック検索、オープンドメインQA、コミュニティベースのQA、自動会話など）を含む、セマンティック検索のための素晴らしい論文のキュレーションリスト。
• 再ランキング段階のセマンティックモデルを取得したい研究者については、 Guo et.alによるAwesome Neuir Surveyを読者に紹介します。
• フィードバックと貢献は大歓迎です。問題を開くか、私に連絡してください。

コンテンツ

• 調査用紙
• 第1章：古典的な用語ベースの検索
• 第2章：セマンティック検索の初期方法
  • クエリ拡張
  • ドキュメント拡張
  • 用語依存性モデル
  • トピックモデル
  • 翻訳モデル
• 第3章：セマンティック検索のニューラル方法
  • まばらな検索方法
  • 密な検索方法
  • ハイブリッド検索方法
• 第4章：その他のリソース
  • 他のタスク
  • データセット
  • インデックス作成方法

---

調査用紙

• 検索でのセマンティックマッチング
• テキストランキング用の事前処理された変圧器：Bert and Beyond （lin et al。、2021、arxiv）
• 第1段階検索のセマンティックモデル：包括的なレビュー（Guo et al。、2021、tois）
• 情報検索への代表的なアプローチのための提案された概念的枠組み
• 情報の取得におけるトレーニング前の方法
• 事前に処理された言語モデルに基づく高密度のテキスト検索：調査（Zhao et al。、2022、arxiv）
• オープンドメインの質問回答のための低リソースの密な検索：包括的な調査（シェンet al。、2022、arxiv）
• 神経情報に関する講義ノート検索（Tonellotto et al。、2022、arxiv）

古典的な用語ベースの検索

• 自動インデックスのためのベクトル空間モデル（1975、 VSM ）
• 自動テキスト検索の開発（991、 tfidf ）
• 自動テキストの検索における用語の重量化アプローチ（888、 tfidf ）
• 検索用語の関連性の重み（1976、 bim ）
• 情報検索で共起データを使用するための理論的根拠（1997、ツリー依存モデル）
• 確率的関連性フレームワーク：BM25以降は2010年、 BM25 ）
• 情報検索への言語モデリングアプローチ1998、 QL ）
• 情報検索のための統計言語モデル2007年、 IRのLM
• Webドキュメントの類似性の類似性の高測量言語モデルとZIPFのようなスコアリング機能
• ランダム性からの発散の測定に基づく情報検索の確率モデル（2002、 dfr ）

セマンティック検索の初期の方法

クエリ拡張

• グローバルモデル
  • ドキュメント検索システムの単語の関連付け（1969
  • コンセプトベースのクエリ拡張（1993
  • 語彙セマンティック関係を使用したクエリ拡張（1994年）
  • 情報検索でクエリコンテキストを使用する2007
• ローカルモデル
  • 情報検索における関連性フィードバック1971年、 Rocchio PRF ）
  • 情報検索への言語モデリングアプローチでのモデルベースのフィードバック2001年、発散最小化モデル）
  • 2004年のTrecのUMass：Novelty and Hard 2004、 RM3 for PRF ）
  • 擬似リバンスフィードバックの適切な拡張条件の選択（2008、PRF）
  • クエリ言語モデルを擬似フィードバックで推定する方法の比較研究（2009
  • マトリックス因子化に基づく擬似リバンスフィードバック（2016
  • 堅牢な制約の最適化によるクエリ拡張のリスクを減らす2009年、クエリドリフト問題）
• ローカルおよびグローバルドキュメント分析を使用したクエリ拡張（2017

ドキュメント拡張

• コーパス構造、言語モデル、およびアドホック情報検索2004
• 言語モデルを使用したクラスターベースの検索
• 文書拡張による言語モデル情報検索
• 堅牢なir（2010のWordNetに基づくドキュメント拡張）
• ドキュメント拡張による短いテキストの検索の改善（2012）
• 外部コレクションを使用したドキュメント拡張（2017、 WordNetベースの）
• アドホック検索のためのドキュメント拡張とクエリ拡張（2005）

用語依存性モデル

• ドキュメント検索のための自動フレーズインデックスの実験：構文と非同時法の比較（1987、 VSM +ターム依存関係
• 自動テキスト検索での用語重量アプローチ（888、 VSM +ターム依存関係）
• 統計的および構文的なフレーズの分析（997、 VSM +ターム依存関係）
• 情報検索の確率モデル：開発と比較実験（2000、 VSM +ターム依存関係）
• カーネルを使用した関連ランキング（2010、 BM25 +ターム依存関係
• 情報検索のための一般的な言語モデル1999年、 LM +ターム依存関係）
• ドキュメント検索のためのビター言語モデル（2002、 LM +ターム依存関係）
• 文に基づいた言語モデルを使用した用語依存関係のキャプチャ2002年、 LM +用語依存関係）
• 情報検索の依存言語モデル2004、 LM +ターム依存関係）
• 関連性の生成理論（2008）
• 用語依存関係のマルコフランダムフィールドモデル（2005、 SDM ）

トピックモデル

• 情報検索中の一般化ベクトル空間モデル（1985、 GVSM ）
• 潜在的なセマンティック分析によるインデックス作成1990年、 IRのLSI
• 確率論的潜在セマンティックインデックス（2017、 PLSA、線形に組み合わせる）
• コーパス構造、言語モデル、およびアドホック情報検索2004、平滑化）
• アドホック検索スコアの正規化（2005、スムージング）
• Ad-Hoc検索のLDAベースのドキュメントモデル2006、 LDAのLDAおよびLMスムージングのLDA
• 情報検索2009、スムージングのためにトピックモデルを利用することの比較研究
• 確率論的トピックモデルのタスクパフォ​​ーマンスの調査：PLSAとLDAの経験的研究
• 潜在セマンティックインデックス（LSI）がTRECコレクションで失敗する（2011

翻訳モデル

• 統計翻訳としての情報検索（1999）
• アドホック情報の相互情報に基づく統計翻訳モデルの推定
• Web検索用のクリックスルーベースの翻訳モデル：単語モデルからフレーズモデルまで（2010）
• 情報検索のための翻訳言語モデルの公理分析
• 単一言語統計機械翻訳を使用したクエリの書き換え（2010、クエリ拡張）
• クエリ拡張のための検索ログを使用したコンセプトベースの翻訳モデルに向けて、クエリの拡張）

セマンティック検索のニューラル方法

まばらな検索方法

• 用語の再重視
  • 分散表現を使用して条件を再び学習することを学ぶ（Zheng et al。、2015、Sigir、 Deeptr ）
  • 情報検索における神経単語の埋め込みの統合と評価（Zuccon et al。、2015、ADCS、 NTLM ）
  • 学習用語差別（frej et al、2020、sigir、 tdv ）
  • 第一段階の検索のためのコンテキスト認識文/通過用語の重要性推定
  • 第一段階のパッセージ検索のコンテキスト認識用語の重み付け（Dai et al。、2020、sigir、 deepct ）
  • 通過回収のための期間重み付けの効率的な意味
  • アドホック検索のコンテキストアウェア文書用語の重み付け（Daiet al。、2020、www、 hdct ）
  • Deepimpact、Coil、および情報検索手法のための概念的なフレームワークに関するいくつかの簡単なメモ（Lin et al。、2021、arxiv、 unicoil ）
• 拡大
  • クエリによるドキュメント拡張予測（Nogueira et al。、2019、arxiv、 doc2query ）
  • doc2queryからdoctttttqueryまで（nogueira et al。、2019、arxiv、 doctttttquery ）
  • 通過ランキングと拡張のための統一された事前削除枠組み
  • オープンドメインの質問のための生成の高度検索応答
• 拡張 +用語の再重視
  • コンテキスト化による重要性の予測による拡張（Macavaney et al。、2020、Sigir、 Epic ）
  • Sparterm：高速テキスト検索のための学習用語ベースのスパース表現（Bai et al。、2020、arxiv、 Sparterm ）
  • スプレード：第一段階のランキングのためのスパース語彙および拡張モデル
  • Splade V2：情報検索のためのスパース語彙および拡張モデル
  • 逆インデックスの通過能力の学習（マリアet al。、2021、sigir、 deepimapct ）
  • TILDE：通過再ランキングの用語独立尤度モデル（Zhuang et al。、2021、Sigir、 Tilde
  • コンテキスト化された正確な用語のマッチングと効率的な通過拡張を伴う高速パッセージの再ランク（Zhuang et al。、2021、arxiv、 tildev2 ）
  • スペード：第1段階検索用のデュアルドキュメントエンコーダーを使用したスパース表現の改善
• まばらな表現学習
  • セマンティックハッシュ（サラフトディノフet al。、2009
  • ニューラルの再ランキングから神経ランキングまで：逆インデックスのためのまばらな表現を学ぶ（Zamani et al。、2018、CIKM、 SNRM ）
  • UHD-BERT：フルランキングのためのバケツの超高寸法スパース表現
  • オープンドメイン質問のためのハッシュを伴う効率的な通過回答
  • 第一段階の検索用の複合コードスパース自動エンコー剤（Lassance et al。、2021、sigir、 ccsa ）

密な検索方法

• 単語埋め込みベース
  • 情報検索のための連続単語埋め込み（Clinchant et al。、2013、acl、 fv ）
  • （バイリンガル）単語の埋め込みに基づく単一言語および言語間情報検索モデル
  • 単語の埋め込みとの短いテキストの類似性
  • ドキュメントランキング用の二重埋め込みスペースモデル（、Mitra et al。、2016、arxiv、 desm ）
  • スマートな返信のための効率的な自然言語応答の提案
  • 連続空間でのエンドツーエンド検索（ギリックet al。、2018、arxiv）
• フレーズがインデックスされた質問応答：スケーラブルなドキュメント理解のための新しい課題（Seo et al。、2018、EMNLP、 PIQA ）
• オープンドメイン質問のための密集した通過回答（Karpukhin et al。、2020、emnlp、 dpr ）
• 知識集約型NLPタスクの検索された生成
• Repbert：第一段階検索のための文脈化されたテキスト埋め込み（Zhan et al。、2020、Arxiv、 Repbert ）
• CORT：トランスフォーマーからの補完ランキング（WRZALIK et al。、2020、NAACL、 CORT ）
• DC-Bert：効率的なコンテキストエンコーディングのための質問とドキュメントの分離（Nie et al。、2020、Sigir、 DC-Bert ）
• 質問の監視監視されたデータ増強による質問に答えるためのニューラル検索（Yang et al。、2021、ACL、データ増強）
• 密集したテキスト検索のための近隣隣接否定的な対照学習（Xiong et al。、2020、arxiv、 ance ）
• 取得の学習：密な検索モデルを効果的かつ効率的にトレーニングする方法
• Glow：Webのグローバルな重み付き自己attentionネットワーク
• オープンドメインの質問に応答するための密なパッセージ検索への最適化されたトレーニングアプローチ（quet al。、2021、acl、 rocketqa ）
• バランスの取れたトピックを使用して効果的な高密度レトリバーを効率的に教えるサンプリング
• ハードネガによる密な検索モデルトレーニングの最適化（Zhan et al。、2021、Sigir、 Star/Adore ）
• 少数の会話濃い回収（Yu et al。、2021、sigir）
• スケールでのフレーズの密な表現を学ぶ（Leeet al。、2021、ACL、 densePhrases ）
• 対照的なデュアル学習を備えたより堅牢な密な検索
• ペア：密な通過回収を改善するための通過中心の類似性関係を活用する（レンet al。、2021、ACL、ペア
• コルバートとのOpenqaの関連誘導監督（Khattab et al。、2021、Tacl、 Colbert-Qa ）
• オープンドメイン質問のためのマルチドキュメントリーダーとレトリバーのエンドツーエンドトレーニング
• 擬似関連性フィードバックを備えた密な検索のクエリ表現の改善
• 複数の表現のための擬似関連フィードバック
• 質問検索のための識別セマンティックランカー（CAI et al。、2021、ICTIR、 DENSERRANS ）
• オープンドメインパッセージ検索の表現デカップリング
• RocketQAV2：密な通過回収と通過の再ランキングのための共同トレーニング方法（レンet al。、2021、EMNLP、 RocketQAV2 ）
• ネガティブキャッシュを使用した検索モデルの効率的なトレーニング（Lindgren et al。、2021、Neurips
• 神経通過回収のための否定的なコントラストを改善したマルチステージトレーニング（Lu et al。、2021、emnlp
• ラベルエンハンスメントによる埋め込みベースの大規模検索の改善（Liu et al。、2021、emnlp）
• オープンドメイン質問のための高密度階層検索（liu et al。、2021、emnlp）
• スケーラブルな埋め込みベースの検索のための徐々に最適化された二粒文書表現
• LED：レキシコンに啓発された大規模な検索のための高密度レトリバー（Zhang et al。、2023、www）
• Aggretriever：堅牢な密度の高いパッセージ検索のためのテキスト表現を集約するための簡単なアプローチ（lin et al。、2022、arxiv）
• オープンドメインパッセージ検索のための文と対照的な学習（Wu et al。、2022、ACL
• オープンドメインの質問に応答するための効率的かつ堅牢な密な検索のためのタスクアウェアの専門化
• 知識の蒸留
  • しっかりと結合された教師を使用してランキングのための密な表現を蒸留する（lin et al。、2020、arxiv、 tct-colbert ）
  • 高速検索ベースのチャットボットのための蒸留知識（Tahami et al。、2020、sigir）
  • 質問の回答のための読者からレトリーバーへの知識を蒸留する（Izacard et al。、2020、arxiv）
  • レトリバーは単に読者の近似器ですか？
  • 2つのランカーとマルチティーチャーの蒸留により、Bi-Encoderドキュメントランキングモデルの改善（Choi et al。、2021、Sigir、 TRMD ）
  • クロスアーキテクチャの知識蒸留により効率的なニューラルランキングモデルの改善（Hofstätteretal。、2021、arxiv、 margin-mse損失）
  • Twinbert：大規模検索のためのツイン構造の圧縮BERTモデルへの知識を蒸留する（Lu et al。、2022、arxiv）
• マルチベクトル表現
  • オープンドメインの質問のためのマルチホップ段落検索応答
  • テキスト検索のためのスパース、密な、および注意の表現
  • コルバート：Bertのコンテキスト化された後期相互作用による効率的かつ効果的な通過検索
  • コイル：コンテキスト化された反転リストを使用して、情報検索で正確な語彙マッチを再訪します。Gaoetal。、2021、NaCl、 Coil
  • 密な検索のための擬似クエリ埋め込みを生成することにより、ドキュメント表現の改善（Tang et al。、2021、ACL
  • フレーズ検索は、パッセージの検索を学習します。
  • 密集した検索のための剪定の埋め込みクエリ（Tonellotto et al。、2021、cikm）
  • オープンドメインのためのマルチビュードキュメント表現学習
  • ColbertV2：軽量の後期相互作用による効果的かつ効率的な検索（Santhanam、2022、naacl）
  • 密な検索のための深いクエリ相互作用を使用した多様なドキュメント表現を学習すること
  • ドキュメント検索のためのトピックに握られたテキスト表現ベースのモデル（Du et al。、2022、Icann）
• 相互作用ベースのモデルを加速します
  • 効率的な検索のためのクエリ用語の独立性の仮定を組み込み、深いニューラルネットワークを使用したランキング（Mitra et al。、2019、arxiv）
  • 地域の敏感なハッシュとの効率的な相互作用ベースのニューラルランキング（ji et al。、2019、www）
  • ポリエンコーダー：高速かつ正確なマルチセンテンススコアリングのためのアーキテクチャとトレーニング前戦略
  • モジュール化されたトランスフォーマーベースのランキングフレームワーク（Gao et al。、2020、emnlp、 mores ）
  • ターム表現を事前に計算することによるトランス向けの効率的なドキュメントの再ランキング（Macavaney et al。、2020、Sigir、 pettr ）
  • DEFROMER：訓練を受けた事前に訓練された変圧器の分解より速い質問に答えるための分解（Cao et al。、2020、ACL、 DEMORMER ）
  • スパルタ：スパーストランスマッチング検索を介した効果的なオープンドメインの質問（Zhao et al。、2020、arxiv、 Sparta
  • ドキュメント取得のためのクエリ用語の独立性を備えた配座異性層（Mitra et al。、2020、arxiv）
  • inttower：事前ランクシステム用の次世代のツータワーモデル（li et al。、2022、cikm）
• トレーニング前
  • 弱く監視されているオープンドメイン質問のための潜在的な検索応答
  • 検索言語モデル前トレーニング（Guuet al。、2020、ICML、 Realm ）
  • 埋め込みベースの大規模検索のためのトレーニング前のタスク（Chang et al。、2020、ICLR、 BFS+WLP+MLM ）
  • あなたの言語モデルは密集した表現の準備ができていますか？
  • 監視されていないコーパス認識言語モデル密な通過回収のための事前トレーニング（、Gao et al。、2021、arxiv、 cocondenser ）
  • それほどではない：弱いデコーダーを使用した強力なシャムエンコーダーを事前に訓練する（lu et al。、2021、emnlp、シードエンコーダー）
  • Baidu SearchのWebスケール検索のための事前に訓練された言語モデル（Liu et al。、2021、KDD）
  • アドホック検索の事前トレーニング：ハイパーリンクも必要です。
  • 対照的なスパン予測を介して密な検索のための識別テキストエンコーダーを事前訓練する（Ma et al。、2022、sigir）
  • TSDAE：監視なしの文のためのトランスベースのシーケンシャル除去オートエンコーダーを使用して、学習を埋め込んでいます。
  • 密な通過回収のためのコンテキストマスクオートエンコーダー
  • SIMLM：密集したパッセージ検索のための表現ボトルネックを使用した事前トレーニング（Wang et al。、2022、arxiv）
  • Lexmae：大規模な検索のためのレキシコンボトルネックされた事前に（、Shen et al。、2022、arxiv）
  • 密な検索のための識別自動エンコーダーを学ぶための対照的なトレーニングアプローチ（Ma et al。、2022、cikm
  • Retromae：マスクされた自動エンコーダーを介したトレーニング前の検索指向言語モデル（XiaoおよびLiu et al。、2022、emnlp）
  • 密な通過回収のためのトレーニング前の言語モデルを検索志向のマスク
  • ラプラドール：ゼロショットテキスト検索のための監視されていない事前に密集したレトリバー（Xu et al。、2022、ACL）
  • 事前に訓練された文の表現のための統一学習者としてのマスクされた自動エンコーダー（Liu et al。、2022、arxiv）
  • マスター：マルチタスク事前に訓練されたボトルネック付きマスク自動エンコーダーは、より密度の高いレトリバーの方が優れています。
  • COT-MAE V2：パッセージ検索のためのマルチビューモデリングを備えたコンテキストマスク自動エンコーダー（Wu et al。、2023、arxiv）
  • COT-MOTE：パッセージ検索のためのテキストの混合物を使用したコンテキストマスクされた自動エンコーダーの事前トレーニングの探索（Ma et al。、2023、Arxiv
• インデックスとの共同学習
  • 深い検索モデルと製品の量子化ベースの埋め込み指数の共同学習（Zhang et al。、2021、Sigir、 Poeem ）
  • 検索パフォーマンスを改善するためのクエリエンコーダーと製品の量子化を共同で最適化する（Zhan et al。、2021、Cikm、 JPQ
  • アドホック検索のマッチング指向製品の量子化（Xiao et al。、2021、EMNLP、 MOPQ
  • 効果的かつ効率的な密度の高い検索のための制約されたクラスタリングを介して離散表現を学習する（Zhan et al、2022、WSDM、 RepConc
• Rankerとの共同学習
  • オープンドメイン質問のためのニューラルレトリバーのエンドツーエンドトレーニング
  • 密集したテキスト検索のための敵対的レトリバーランカー（Zhang et al。、2022、ICLR）
• デビアス
  • 不完全な関連ラベルからの堅牢な密な検索モデルの学習（Prakash et al。、2021、sigir、 rance ）
  • ハードネガまたは偽ネガ：トレーニングにおけるプーリングバイアスの修正ニューラルランキングモデル（Cai et al。、2022、cikm）
  • SIMANS：密集したテキスト検索のための単純な曖昧なネガのサンプリング（Zhou et al。、2022、emnlp）
  • 監視されていない文の表現の紛争対照学習（Zhou et al。、2022、ACL）
  • 黒い砂からの金の回収：硬いネガティブサンプルを備えた多言語の密な通過回収（Shen et al。、2022、emnlp）
• ゼロショット/少数のショット
  • クエリ生成による埋め込みベースのゼロショット検索（liang et al。、2020、arxiv）
  • ドメインターゲットの合成質問生成を介したゼロショットニューラルパッセージ検索（Ma et al。、2020、 Qgen 、arxiv）
  • 合成前のトレーニングを伴う堅牢なニューラル検索モデルに向けて、Reddy et al。、2021、arxiv）
  • Beir：情報検索モデルのゼロショット評価のための不均一なベンチマーク（Thakur et al。、2021、Neurips）
  • 勢いを伴うゼロショット密な検索敵対的ドメイン不変表現（Xin et al。、2021、arxiv、 Modir ）
  • 大規模なデュアルエンコーダーは一般化可能なレトリバーです（Ni et al。、2022、emnlp、 dtr ）
  • 救助へのドメイン外のセマンティクス！ゼロショットハイブリッド検索モデル（チェンet al。、2022、ecir
  • INPARS：大規模な言語モデルを使用した情報検索のためのデータ増強（Bonifacio et al。、2022、arxiv）
  • 対照的な学習を備えた監視なしの密集した情報検索（Izacard et al。、2021、arxiv、 Contriever ）
  • GPL：密集していないドメイン適応のための生成的擬似ラベリング密な検索の適応
  • 監督なしで通路を取得することを学ぶ（Ram et al。、2021、arxiv、 spider ）
  • ゼロショットの密な検索に関する徹底的な検査（レンet al。、2022、arxiv）
  • 対照的な事前トレーニングによるテキストとコードの埋め込み（Neelakantan et al。、2022、arxiv）
  • ドメインの解きだめのモデリングと適応可能な密な検索の関連性（Zhan et al。、2022、arxiv
  • PROMPTAGATOR：8つの例からの少数の密な検索（Dai et al。、2022、arxiv）
  • 質問はあなたが密集したパッセージレトリバーを訓練するために必要なすべてです（Sachan et al。、2022、TACL）
  • ハイパー：マルチタスクハイパープロンプト化トレーニングにより、大規模な検索一般化を可能にします。Caietal。、2023、ICLR）
  • COCO-DR：ゼロショットの密な検索の分布シフトと対照的で分布的に堅牢な学習（Yu et al。、2022、emnlp）
  • オープンドメインの一般化における課題質問応答
• 堅牢性
  • ローカルランキングアライメントを介した堅牢な密な検索に向けて（Chen et al。、2022、ijcai）
  • Bertベースのパッセージ検索とランキングのタイプミスを扱う（Zhuang et al。、2021、emnlp）
  • クエリバリエーションジェネレーターを使用した検索パイプラインの堅牢性の評価（Penha et al。、2022、ecir）
  • スペルミスに対する密な検索のためのデュアルエンコーダの堅牢性の分析（sidiropoulos et al。、2022、sigir）
  • タイプミスのクエリでの密なレトリバーの堅牢性を改善するためのキャラクターバートとセルフ教師（Zhuang et al。、2022、sigir
  • バートランカーは脆弱です：敵対的な文書摂動を使用した研究（Wang et al。、2022、Ictir）
  • 注文障害：ブラックボックスニューラルランキングモデルの模倣敵対攻撃
  • 堅牢な密度の高い検索のためのタイプミスを認識したボトルネックプリトレーニング
• 調査分析
  • 大規模なインデックスサイズのための密な低次元情報検索の呪い（Reimers et al。、2021、ACL）
  • パッセージ検索のために密なベクトルを圧縮するためのシンプルで効果的な監視なし冗長性除去（Ma et al。、EMNLP、2021、冗長性）
  • Beir：情報検索モデルのゼロショット評価のための不均一なベンチマーク（Thakur et al。、2021、Neurips、譲渡可能性）
  • 顕著なフレーズ認識密な検索：密なレトリバーはまばらなものを模倣できますか？
  • 単純なエンティティ中心の質問は、密集したレトリバーに挑戦しています。Sciavolinoetal。、2021、emnlp
  • トピックの混合として密集した検索を解釈する（Zhan et al。、2021、arxiv）
  • オープンドメインの質問における密なパッセージレトリーバーのエンコーダー属性分析（li et al。、2022、trustnlp）
  • 等方性表現は密度の高い回収を改善する可能性があります。
• 迅速な学習
  • 軽量の微調整を使用したセミシアムのバイエンコーダーニューラルランキングモデル
  • 散らばっていますか、それとも接続されていますか？情報検索のための最適化されたパラメーター効率の高いチューニングアプローチ（Ma et al。、2022、cikm）
  • DPTDR：密集したパッセージ検索のディーププロンプトチューニング
  • パラメーター効率の高いプロンプトチューニングにより、一般化および校正されたニューラルテキストレトリバーが作成されます。
  • NIR-PROMPT：マルチタスク一般化ニューラル情報検索トレーニングフレームワーク（Xu et al。、2022、arxiv）
• 検索のための大規模な言語モデル
  • 関連ラベルなしの正確なゼロショットの密な検索（Gao et al。、2022、arxiv）
• その他
  • HLATR：ハイブリッドリストでマルチステージのテキスト検索を強化します
  • 非同期：トレーニング中の密なレトリバーチェックポイントを非同期的に検証するためのツールキット（Zhuang et al。、2022、Sigir）

ハイブリッド検索方法

• 単語埋め込みベース
  • （バイリンガル）単語埋め込みに基づく単一言語および言語間情報検索モデル（vulic et al。、2015、sigir、直線的に結合する）
  • 情報検索のためのWord Embeddingベースの一般化言語モデル（Ganguly et al。、2015、Sigir、 GLM ）
  • 情報検索のための単語埋め込みベクトルのセットとしてドキュメントとクエリを表す（Roy et al。、2016、sigir、直線的に組み合わせます）
  • ドキュメントランキング用のデュアル埋め込みスペースモデル（Mitra et al。、2016、www、 desm_mixture 、線形に結合する）
  • beatられたパスのオフ：タームベースの検索をk-nn検索に置き換えましょう。Boytsovetal。、2016、Cikm、 BM25+翻訳モデル）
• 意味的に同等の質問を取得するためのハイブリッド表現の学習（Santos et al。、2015、ACL、 Bow-CNN ）
• 密集したフレーズインデックスを使用したリアルタイムオープンドメインの質問（seo et al。、2019、acl、 denspi ）
• リアルタイムのオープンドメイン質問のための文脈化されたスパース表現
• CORT：トランスフォーマーからの補完ランキング（WRZALIK et al。、2020、NAACL、 CORT_BM25 ）
• テキスト検索のためのスパース、密な、および注意の表現
• セマンティック残留埋め込みを備えた補体語彙検索モデル
• ドキュメント検索システムのリコールを改善するためのセマンティックおよび語彙マッチングを活用する：ハイブリッドアプローチ、Kuzi et al。、2020、Arxiv、 Hybrid ）
• Deepimpact、Coil、および情報検索手法のための概念的なフレームワークに関するいくつかの簡単なメモ（Lin et al。、2021、arxiv、 unicoil ）
• 効率的かつ効果的な神経検索のためのコンテキストオフライン関連の重み付け（Chen et al。、2021、Sigir）
• 密集したとスパース検索戦略の選択のための効率/有効性のトレードオフの予測（アラブザデet al。、2021、Cikm
• 効率的なドキュメントランキングのためのファーストフォワードインデックス
• 表現スライスによるパッセージ検索のスパース表現を濃縮する（lin et al。、2021、arxiv）
• 統一：大規模な検索のためのユニファイドレトリバー

その他のリソース

他のタスク

• eコマース検索
  • クリックスルーレート予測のための深い利息ネットワーク（Zhou et al。、2018、KDD、 DIN
  • セマンティック検索からペアワイズランキングまで：eコマース検索で深い学習の適用（li et al。、2019、sigir、jingdong）
  • Tmallでの推奨のための動的ルーティングを備えたマルチインテストネットワーク、Li et al。、2019、Cikm、 Mind 、Tmall）
  • パーソナライズされたセマンティック検索に向けて：埋め込み学習によるeコマース検索のエンドツーエンドソリューション（Zhang et al。、2020、Sigir、 DPSR 、Jingdong）
  • クリックスルーレート予測のためのディープマルチインテストネットワーク（Xiao et al。、2020、cikm、 dmin ）
  • 深い検索：大規模な推奨のためのエンドツーエンドの学習可能な構造モデル（Gao et al。、2020、arxiv）
  • Taobao Searchの埋め込みベースの製品検索（Li et al。、2021、KDD、Taobao）
  • 10億個のセマンティック製品検索のデータの構造を採用する（Lakshman et al。、2021、Arxiv、Amazon
• スポンサー検索
  • Mobius：BaiduのスポンサーSearchでの次世代のクエリADマッチングに向けて、Fan et al。、2019、KDD、Baidu
• 画像検索
  • 画像検索のためのバイナリニューラルネットワークハッシュ（Zhang et al。、2021、Sigir、 BNNH ）
  • 画像検索のための深い自己適応ハッシュ（Lin et al。、2021、Cikm、 dsah ）
• 情報検索の将来に関する最初のHipstirワークショップに関するレポート（Dietz et al。、2019、Sigir、ワークショップ）
• 実行時間を測定しましょう！ IRの複製可能性インフラストラクチャを拡張してパフォーマンスの側面を含める（Hofstätteretal。、2019、sigir）
• Facebook検索での埋め込みベースの検索（Huang et al。、2020、KDD、 EBR ）
• コンパクトな埋め込み表現のためのK-Way D次元ディスクリートコードの学習（Chen et al。、2018、ICML）

データセット

• MS MARCO
• 【TREC車】TRECコンプレックスの回答検索の概要
• trec DL】TREC 2019ディープラーニングトラックの概要
• 【TREC COVID】TREC-COVID：パンデミック情報検索テストコレクションの構築

インデックス作成方法

• ツリーベース
  • 連想検索に使用される多次元バイナリ検索ツリー1975、 KDツリー）
  • いらいらさせる
• ハッシュベース
  • おおよその最近の隣人：次元の呪いを取り除くことに向けて、1998年、 LSH ）
• 量子化ベース
  • 最近傍検索の製品の量子化（2010、 PQ
  • 最適化された製品量子化（2013、 OPQ ）
• グラフベース
  • 小さな世界のナビゲーション（2000、 NSW ）
  • 階層的な航行可能な小さな世界グラフを使用した効率的で堅牢な近隣の近隣検索（2018、 HNSW ）
• ツールキット
  • FAISS：高密度ベクトルの効率的な類似性検索とクラスタリングのためのライブラリ
  • SPTAG：近い近隣隣接検索の高速なライブラリ
  • OpenMatch：情報検索用のオープンソースパッケージ
  • Pyserini：まばらで密な表現を備えた再現可能な情報検索研究のためのPythonツールキット
  • ElasticSearch