LLMS Paper Study Club
著者：Yang Xi
はじめに：倉庫は、主にLLMSアルゴリズムエンジニアに関連するトップセッションペーパースタディノートを記録します（マルチモーダル、PEFT、小型サンプルQA Q＆A、RAG、LMMS解釈可能性、エージェント、COT）
LLMSナインストーリーデーモンタワーアドレス：https：//github.com/km1994/llmsninestorydemontower
llms qianmeng langjunアドレス：https：//github.com/km1994/llms_interview_notes
LLMS Paper Studyノート：https：//gitee.com/km601/llms_paper
NLP汎用性と汎用性の高いアドレス：https：//github.com/km1994/nlp-interview-notes
NLPペーパー調査メモ：https：//github.com/km1994/nlp_paper_study
すべての側面とあらゆる種類のアドレスを備えた推奨システム：https：//github.com/km1994/res-interview-notes
推奨システムペーパー調査メモ：https：//github.com/km1994/rs_paper_study
すべての側面とあらゆる種類のアドレスを持つ検索エンジン：https：//github.com/km1994/search-engine-interview-notes [執筆]
GCN論文研究メモ：https：//github.com/km1994/gcn_study
アームズライブラリのプロモーションと検索：https：//github.com/km1994/recommendation_advertisement_search
モバイルノートについては、公式アカウント[NLPについて知らないこと]に従って、[NLP &&推奨学習グループ]に参加して一緒に勉強できます。 ！ ！
llms thoushhs faces langjunインタビュー交換グループ（注：編集者wx：yzyykm666を追加してグループに参加できます！）
- LLMS Paper Study Club
- マルチモーダル
- PEFTシリーズ
- GPTシリーズ
- ラグシリーズ
- ぼろきれ
- RAGアプリケーションフィールド
- 医療分野のQA Q＆A
- 宗教分野のQA Q＆A
- QA Q＆A Common Sense分野
- 法的分野のQA Q＆A
- QA Q＆A知識グラフの分野で
- タスクベースのドメインのQA Q＆A
- 自動車分野のQA Q＆A
- プロンプトシリーズ
- LMMS解釈可能性
- llms4kg
- LLMSエージェント
- 注意
- 検索
- 大きなモデルを通じて「Query-Doc」を構築する方法は？
- 大きなモデルを介して「Query-Doc」ポジティブおよびネガティブな例にラベルを付ける方法は？
- 大きなモデルを介して「Query-Doc」を書き直す方法は？
- 大規模なモデルを介してPRF（擬似関連フィードバック） + GRF（関連するフィードバックを生成）を包括的に利用する方法は？
- 大きなモデルを通してアレンジをスケジュールする方法は？
- リコールとは何ですか？
- リコールの問題は何ですか？
- エンコーダーベースのLLMレトリバーの使用方法は？
- 生成LLMレトリバーを使用する方法は？
- 大きなモデルでソートする方法は？
- 類似性計算のためにLLMを微調整します
- プロンプトLLM
- ベビーベッド
- 微調整データエンジニアリング
- 効率的な大きなモデル推論
- 大きなモデル評価
- 大きなモデルの事前トレーニング
- ロボット
- 強化学習
- デジタルの人々
- 参照してください
マルチモーダル
Gemini：強力なマルチモーダルモードのファミリー
- ペーパータイトル：ジェミニ：非常に有能なマルチモーダルモデルのファミリー
- 紙の住所：https：//arxiv.org/pdf/2312.11805
- 組織：Google
- githubアドレス：
- ミーティング：
- 紙の方法：このペーパーでは、画像、オーディオ、ビデオ、テキストの理解に並外れた能力を備えた一連のマルチモーダルモデルGeminiを紹介します。ジェミニファミリーには、ウルトラ、プロ、ナノの3つのスケールが含まれています。これは、デバイス上のメモリ制限されたユースケースに適しています。
- 紙実験結果：幅広いベンチマークでは、紙の最先端のジェミニウルトラモデルは、32のベンチマークのうち30で最新の進歩を遂げました。特に、認識された試験ベンチマークMMLUの人間の専門家レベルに初めて到達し、20のマルチモーダルベンチマークで最新技術レベルを改善しました。この論文は、クロスモーダルの推論と言語の理解におけるジェミニモデルの新しい機能が、さまざまなユースケースをサポートできると考え、ユーザーに責任を持って展開するための論文のアプローチについて説明しています。
構造化された推論タスクでのGPT4-Vのパフォーマンスを評価します
- ペーパータイトル：構造化された推論タスクに関するGPT4-Vの評価
- 紙の住所：https：//arxiv.org/pdf/2312.11524
- 組織：Openai
- githubアドレス：
- ミーティング：
- 紙の方法：このペーパーでは、主に、構造化された推論タスクに関する最新の言語モデルGPT-4Vおよび他の5つのベンチマークモデルのパフォーマンスを評価します。これらのタスクには、数学的推論、視覚データ分析、コード生成が含まれます。
- 研究結果は、視覚的なチェーンのマルチモーダルLLMの導入が、通常のモデルと比較して大幅に改善されたことを示しています。同時に、この論文は、モデルがうまく機能し、困難であるシナリオの分析も分析し、マルチモーダル推論で直面する課題を強調しています。
Protip：プログレッシブツール検索改善計画
- ペーパータイトル：Protip：プログレッシブツールの検索により計画が改善されます
- 紙の住所：https：//arxiv.org/pdf/2312.10332
- 機構：
- githubアドレス：
- ミーティング：
- 紙の方法：このペーパーでは、複雑なマルチステップ計画タスクのためにProtipと呼ばれるプログレッシブツール検索フレームワークを紹介します。フレームワークは、サブタスクツールの原子性を維持しながら、コントラスト学習を通じてタスクを暗黙的に分解します。
- ツールベンチデータセットでは、Protipはツール検索でChatGPTベースのタスク分解方法を上回り、TRのRecall@K = 10および計画生成の41％で24％を改善します。
Llava：クラシックマルチモーダル大規模モデル
- ペーパータイトル：ビジュアルインストラクションチューニング
- 紙の住所：https：//arxiv.org/abs/2304.08485
- 機関：マイクロソフト研究所とコロンビア大学
- Githubアドレス：https：//github.com/haotian-liu/llava
- ミーティング：
- モチベーション：ChatGPTのような大手言語モデルはテキスト入力のみを受け入れますが、大規模な言語モデルに画像入力を受信するにはどうすればよいですか？
- 紙の方法：llavaは方法を提案します、
- 画像のエンコーダーとしてクリップを使用し、クリップの背後に線形マッピングレイヤーを追加します。
- クリップエンコード画像機能ZUを言語モデル機能空間にマップして、視覚的な機能HVを取得します。
- テキストのエンコード（言語指示のエンコード）と一緒に言語モデルに送信されます。
- トレーニング方法：
- フェーズ1：トレーニング前の段階。この段階では、線形マッピングレイヤー（投影W）のみが、画像空間から言語モデルの単語ベクトル空間へのマッピングを学習するためにトレーニングされます。この段階で使用されるデータセットはCC3Mです。
- フェーズ2：微調整段階。この段階では、視覚エンコーダーのパラメーターが凍結され、線形マッピング層と大規模な言語モデルのパラメーターがトレーニングされます。このフェーズで使用されるデータセットは、ScienceQAおよびGPT-4ベースのデータセットです。
- 実験効果：このモデルは、マルチモーダルGPT-4に近いグラフィックおよびテキスト理解スキルを示しています。GPT-4と比較して85.1％の相対スコアが得られました。 Science QAで微調整が行われたとき、LlavaとGPT-4の相乗効果は、92.53％の精度で新しいSOTAを達成しました。
Llavar：視覚命令の強化微調整
- ペーパータイトル：Llavar：テキストが豊富な画像の理解のための視覚的な指導の強化チューニング
- 紙の住所：https：//arxiv.org/pdf/2306.17107.pdf
- 組織：ジョージア工科大学、アドビ、スタンフォード
- Githubアドレス：https：//github.com/salt-nlp/llavar
- ミーティング：
- モチベーション：
- 紙の方法：OCRツールを使用して、Laionデータセットからテキスト情報を含む422kの写真を収集し、写真から認識されたテキストと写真のキャプションを迅速な単語として使用します。テキストのみを使用して16kの会話が生成されました。各会話には、各画像 - 回答ペアに関連する質問が含まれていました。これらのダイアログデータセットは、テキストで収集され、Llavaのダイアログデータは、写真のシーンを慎重に理解できるLlavarモデルを訓練します。
- モデル構造：
- Visual Encoder V：Clip-vit-L/14は、224x224解像度の入力に使用されます。 Clip-vit-L/14-336は、336x336の解像度の入力に使用されます。変圧器層の最後の層からの特徴は、マッピングマトリックスWを介して言語デコーダーのスペースを埋め込む単語にマッピングされます。
- 言語デコーダーD：Llamaに基づいてVicuna-13bを採用します
- トレーニング方法：
- トレーニング前：Visual EncoderとLLMエンコーダーの間のマッピングレイヤーのみがトレーニングされます（LLAVAを使用してCC3Mからフィルタリングされ、422Kラフデータを使用してCC3Mからフィルタリングされます）。
- 微調整：Visual EncoderとLLMエンコーダーの間でマッピングレイヤーとLLMをトレーニングします（LLAVAを使用して、MSCOCO 158K命令データと新しく構築された16K命令データに基づいてモデルの命令理解機能をトレーニングし、LLMとグラフィックの間のマッピングレイヤーを微調整します）;
変化：ビジョンの語彙を拡大する視覚視覚モデルをスケーリングします
- ペーパータイトル：変化：大きなビジョン言語モデルのビジョン語彙をスケーリングする
- 紙の住所：arxiv.org/abs/2312.06109
- モチベーション：
- PDFドキュメントの難しさは、写真、表、タイトル、段落、その他の内容を完全に復元して、ドキュメントのテキストバージョンを形成する方法にあります。
- 既存のオープンソースマルチモーダル大規模モデルの問題
- 結局のところ、中国人へのサポートは貧弱ですが、トレーニングデータのほとんどはまだ主に英語です。
- ドキュメントレベルの認識のレベルは高くありません。結局のところ、マルチモーダルの大型モデルは単なるOCRタスクではないため、トレーニングデータが不足している可能性があります。ドキュメント画像を識別する場合、コンテンツを不足させるのは簡単で、回答に幻覚や不正確さをもたらします。
- アイデア：新しいデータを収集し、新しいビジュアルエンコーダーをトレーニングし、元のVisualエンコーダーとマージします。
Instruct-Imagen：マルチモードガイダンスの下での画像生成
- ペーパータイトル：Instruct-Imagen：マルチモーダル命令による画像生成
- 組織：Google Research Institute、Google Deepmind
- 関連フィールド：指導微調整、マルチモーダル
- 紙の住所：https：//arxiv.org/pdf/2401.01952
- 著者：Hexiang Hu、Kelvin CK Chan、Yu-Chuan Su
- 紙の方法：このペーパーでは、不均一な画像生成タスクを解決し、未知のタスクに一般化できるモデルであるInstruct-Imagenを紹介します。マルチモーダルガイド付きの画像生成を導入します。これは、自然言語を使用して異なるモダリティ（テキスト、エッジ、スタイル、テーマなど）を組み合わせて、豊富な画像生成の意図を統合形式で標準化できるようにします。著者は、2段階のフレームワークで前提条件のテキストからイメージまでの拡散モデルを微調整することにより、指示想像力を構築します。まず、著者は検索エンハンスメントトレーニングを使用して、モデルが外部マルチモーダルコンテキストに基づいて画像を生成できるようにします。その後、著者は、視覚言語の理解（トピックベースの生成など）を理解する必要があるさまざまな画像生成タスクで微調整されたモデルを微調整し、それぞれがタスクの性質を含むマルチモーダルガイダンスと組み合わせました。さまざまな画像生成データセットでの手動評価は、インストラクションイメージがドメイン内の以前のタスク固有のモデルと競合または上回っており、未知のより複雑なタスクの有望な一般化機能を実証することを示しています。
Llava-φ：効率的なマルチモーダルアシスタントおよび小言語モデル
- ペーパータイトル：Llava-φ：小言語モデルを持つ効率的なマルチモーダルアシスタント
- 機関：Idea、East China Normal University
- 関連フィールド：指導微調整、マルチモーダル
- 紙の住所：arxiv.org/pdf/2401.02330
- コード：github.com/zhuyiche/llava-phi
- 著者：Yichen Zhu、Minjie Zhu、Ning Liu
- 紙の方法：LLAVA-φは、最近の高度な小言語モデルPHI-2の力を利用してマルチモーダル対話を促進する効率的なマルチモーダルアシスタントです。 Llava-φは、コンパクトなマルチモーダルモデルの分野で大きな進歩を示しています。 2.7Bのパラメーターのみを備えた小規模な言語モデルでさえ、高品質のコーパスで訓練されている限り、テキストと視覚要素をブレンドする複雑な対話に効果的に参加できることが証明されています。この論文のモデルは、視覚的理解、推論、知識ベースの認識など、公開されているベンチマークで称賛に値するパフォーマンスを持っています。マルチモーダルダイアログタスクでうまく機能することに加えて、このペーパーのモデルは、具体化されたエージェントなどのリアルタイムインタラクションを必要とする時間に敏感な環境とシステムのアプリケーションの新しい手段を開きます。より高いリソース効率を維持しながら、複雑なレベルの理解と相互作用を達成するための小規模な言語モデルの可能性を強調しています。
テキストトレーニングのみを使用する、ゼロサンプルのサブタイトル生成で鉱山のきめの細かい画像 - テキストアライメント
- ペーパータイトル：テキストのみのトレーニングを介したゼロショットキャプションのためのマイニングファイングレイン画像アラインメント
- 機関：上海科学技術大学
- 関連フィールド：マルチモーダル
- 紙の住所：https：//arxiv.org/pdf/2401.02347
- コード：https：//github.com/artanic30/maccap
- 著者：Longtian Qiu、Shan Ning、Xuming He
- 紙の方法：このペーパーでは、クリップポテンシャルスペースの分析を通じてテキストトレーニングのみを使用して、ゼロサンプル画像サブタイトルを生成するためのフレームワークを提案します。画像サブリージョンの視覚的特徴とテキストの説明の情報損失をマイニングすることにより、モーダルギャップを削減し、ノイズインジェクションと並べ替え戦略を導入することにより、サブタイトル生成のパフォーマンスを改善できます。
Text Supervisedを使用して、視覚言語モデルの迅速な学習を学びます
- ペーパータイトル：ビジョン言語モデルのテキストのみの監督で促すことを学ぶ
- 機関：Google、ETHチューリッヒ
- 関連フィールド：トレーニング前、マルチモーダル
- 紙の住所：https：//arxiv.org/pdf/2401.02418
- コード：https：//github.com/muzairkhattak/protext
- 著者：Muhammad Uzair Khattak、Muhammad Ferjad Naeem、Muzammal Naseer
- 紙の方法：このペーパーでは、テキストデータのみを使用して言語モデルからプロンプトを学習することにより、視覚情報と大規模な言語モデルの利点を組み合わせています。この方法により、新しいカテゴリとデータセットへのゼロサンプル転送を達成することができ、大規模な言語モデルプロンプトエンジニアリングのコストを削減できます。
gpt4video
- gpt4video
- ペーパータイトル：GPT4Video：LSTRUCTION-COLLOWEDの理解と安全性の認識のための統一されたマルチモーダル大型言語モデル
- 紙の住所：https：//arxiv.org/abs/2311.16511
- 紙の例：https：//gpt4video.github.io/
- 紙の背景：現在のマルチモーダル大手言語モデル（MLLM）は、マルチモーダルデータ融合の有効性を検証していますが、マルチモーダル情報の生成を調査する作業はありません。
- ペーパーフレームワーク：
- ビデオ理解モジュール。最初に、ビデオ機能抽出器が抽出され、次にビデオ機能とLLMがビデオ抽象化を介して整列します。
- 大きな言語モデル。 Llamaを使用して前処理されたパラメーター、Loraによる微調整。
- ビデオ生成モジュール。 LLMからText-Videoモデルへのプロンプト出力を入力して、生成されたビデオを取得します。
PEFTシリーズ
プロンプト
- ペーパータイトル：迅速なチューニング
- 紙の住所：https：//arxiv.org/pdf/2107.13586.pdf
- githubアドレス：
- ミーティング：
- 動機：しかし、事前に訓練された大規模な言語モデルの場合、各タスクに合わせてカスタマイズされているようで、これは非常に非効率的です。事前に訓練された言語モデルを電源として使用し、さまざまなタスクを電化製品として使用する方法はありますか。異なるソケットは、異なる電化製品（タスク）に従って選択するだけで選択する必要があります。モデルの場合、つまり、異なるタスク固有のパラメーターを挿入すると、モデルはダウンストリームタスクに適合させることができます。
- 紙の方法：事前に訓練された言語モデルに手がかり/ヒントを与えて、人間の問題をよりよく理解するのに役立ちます。
命令
- ペーパータイトル：Finetuned Languageモデルはゼロショット学習者です
- 紙の住所：https：//arxiv.org/abs/2109.01652
- Githubアドレス：https：//github.com/google-research/flan
- ミーティング：
- 動機：PLMは通常、少数のショットでうまく機能しますが、ゼロショットではごく普通です。潜在的な理由の1つは、モデルがトレーニング前とは異なる形式のプロップを実行するのが難しいことです。
- 紙の方法：言語モデルの理解能力を刺激し、より明白な指示/指示を与えることにより、モデルに正しいアクションを理解して作るようにします。
自己インストラクション
- ペーパータイトル：自己in intruct：自己生成された指示を備えた言語モデルを調整する
- 紙の住所：https：//arxiv.org/abs/2212.10560
- Githubアドレス：https：//github.com/yizhongw/self-instruct
- ミーティング：
- モチベーション：訓練されたLLMの「命令チューニング」は、新しいタスクにゼロショット設定の下で命令理解能力を一般化する優れた能力を持っています。ただし、このアプローチは、大規模な言語モデルと、人間によって書かれた高速化データに大きく依存しているため、多くの人材と物質的なリソースが必要です。
- 紙の方法：露出したLLMインターフェイスで命令を生成するようにモデルをガイドすることにより、LLMの能力に従って命令を改善します。これは、LLM時代の効率的な蒸留方法でした。つまり、高品質の事前訓練を受けたLLMインターフェースから監視されたデータを取得し、モデルの調整を受け、大きなモデルの知識を蒸留し、ターゲットモデルに展開することにより、効率的な蒸留方法でした。
LORA：大規模な言語モデルの低ランク適応
- ペーパータイトル：LORA：大規模な言語モデルの低ランク適応
- 紙の住所：
- Githubアドレス：https：//github.com/microsoft/lora
- ミーティング：
- モチベーション：
- アダプターの追加：主な問題は、推論によって引き起こされる追加の計算努力と遅延です。
- 最適化プロンプト：プレフィックスのチューニングを最適化することは困難であり、パラメーターの数が増えるにつれてパフォーマンスは単調に変化しません。
- 論文方法：
- 元のモデルの横にバイパスを追加して、低ランク分解（最初に寸法削減、次に寸法増加）を介してパラメーターの更新量をシミュレートします。
- トレーニング中、元のモデルが固定され、寸法削減マトリックスAと寸法の隆起マトリックスBのみがトレーニングされます。
- 推論する場合、BAを追加の推論遅延を導入せずに元のパラメーターに追加できます。
- 初期化、aはガウス分布の初期化を採用し、Bはすべて0に初期化され、バイパスがトレーニングの開始時に0マトリックスであることを確認します。
- プラグ可能なスイッチングタスク、現在のタスクW0+B1A1は、LORA部品を減算し、B2A2に置き換えると、タスクの切り替えを実現できます。
Dylora：動的な検索フリーの低ランク適応を使用した、前処理されたモデルのパラメーターの効果的な微調整
- ペーパータイトル：Dylora：動的な検索フリーの低ランク適応を使用した前提型モデルのパラメーター効率の高いチューニング
- 紙の住所：https：//arxiv.org/pdf/2210.07558v2.pdf
- Githubアドレス：https：//github.com/huawei-noah/kd-nlp/tree/main/dylora
- ミーティング：
- 動機：ロラの問題：
- ランクの値は固定されており、トレーニングが完了した後に変更することはできません。
- ランクの価値を最適化するには、多くの検索と労力が必要です。
- 紙の方法：動的低ランク適応（DY-LORA）技術が導入されました。ロラブロックは、トレーニング中にアダプターモジュールによって学習された表現を並べ替えることにより、単一のランクではなく、一連のランクのためにトレーニングされます。
LOMO：限られたリソースを使用して、大規模な言語モデルの完全なパラメーターを微調整します
- ペーパータイトル：リソースが限られている大規模な言語モデルのための完全なパラメーター微調整
- 紙の住所：https：//arxiv.org/abs/2306.09782
- Githubアドレス：https：//github.com/openlmlab/lomo
- ミーティング：
- 動機：ロラの問題：
- 大規模な言語モデル（LLM）は自然言語処理（NLP）を完全に変更しましたが、 LLMのトレーニングには多くのGPUリソースが必要です。
- 既存の方法は、効率的なパラメーターの微調整、つまり微調整または少数のパラメーターを追加することに焦点を当てていますが、限られたリソースでLLMのすべてのパラメーターを調整するという課題を解決した人はほとんどいません。
- 紙の方法：新しいオプティマイザーである低メモリ最適化（LOMO）が提案されており、メモリの使用量を減らすために勾配計算とパラメーターの更新を1つのステップで融合します。標準的な方法（DeepSpeedソリューション）と比較して、LOMOを既存のメモリ保存テクノロジーと統合することにより、メモリの使用量は10.8％に減少します。したがって、このアプローチにより、ビデオあたり24GBのビデオメモリを備えた8×RTX 3090を備えた1つのマシン上の65Bモデルの完全なパラメーター微調整が可能になります。
qlora
- ペーパータイトル：Qlora：量子化されたLLMSの効率的な微調整
- 紙の住所：https：//arxiv.org/pdf/2305.14314.pdf
- Githubアドレス：https：//github.com/artidoro/qlora
- ミーティング：
- 動機：ロラの微調整には3つの問題点があります：
- 小さなパラメータースペース：LORAはトレーニングに参加するパラメーターが少なく、ソリューションスペースは小さく、効果は本格的な微調整とは多少異なります。
- 大型モデルの微調整のコストは高くなります。数百億のパラメーターを持つモデルの場合、LORAの微調整のコストは依然として非常に高いです。
- 精度損失：2番目のポイントでは、INT8またはINT4を使用して、モデルベースのパラメーターをさらに圧縮できます。ただし、精度損失の問題を引き起こし、モデルのパフォーマンスを低下させます。
- 論文方法：
- 4ビットNormalFloat ：理論的に最適な4ビットの定量データ型を提案します。これは、現在一般的に使用されているFP4およびINT4よりも優れています。
- 二重量子化：現在のモデル量子化法と比較して、より多くのビデオメモリスペースを節約します。各パラメーターは平均0.37ビットを節約し、65B LLAMAモデルの約3GBのビデオメモリスペースを節約できます。
- ページオプティマイザー：NVIDIA統合メモリを使用して、長いシーケンスの小さなバッチを処理するときに勾配チェックポイントメモリピークを回避します。
- アダプターの追加：4ビットNormalFloatとDouble Quantizationは大量のスペースを節約しますが、パフォーマンスの損失をもたらします。著者は、より多くのアダプターを挿入することにより、このパフォーマンスの損失を補償します。 LORAでは、通常、クエリと値の完全な接続層にアダプターを挿入するように選択されています。 Qloraは、完全に接続されたすべてのレイヤーにアダプターを挿入し、精度によって引き起こされるパフォーマンスの損失を補うトレーニングパラメーターを追加します。
Vera：LORAの10倍の調整可能なパラメーターを使用した低ランクの微調整方法
- ペーパータイトル：Vera：ベクトルベースのランダムマトリックス適応
- 紙の住所：https：//arxiv.org/pdf/2310.11454.pdf
- githubアドレス：
- ミーティング：
- 動機：ロラの微調整には3つの問題点があります：
- LORA：多数のトレーニング可能なパラメーターが必要です。 Aghajanyanらの研究に基づいて、本質的な次元の上限は、この方法で一般的に使用されるランクよりもはるかに小さいです。したがって、パラメーターの量をさらに減らすことができます。
- Adalora：これにより、パラメーターを動的に割り当てることにより、微調整されたパラメーターがさらに減少します。ただし、効果を低下させることなく、訓練可能なパラメーターを大幅に削減できる別の方法があると考えています。
- 論文方法：
- 低ランクマトリックスの再評価。具体的には、ランダムに初期化されたマトリックスのペアが凍結され、すべての適応層間で共有され、層ごとに適応可能なスケーラブルなベクトルが導入されます。示されているように、LORAと同様に、訓練されたスケーリングベクトルと低ランクマトリックスを元の重量にマージし、追加の推論の遅延を排除できます。
多言語命令微調整は、少量の多言語データだけで実行できます
- ペーパータイトル：多言語のチューニングで多言語のチューニング
- 関連フィールド：指示の微調整
- 機関：Tel Aviv大学のGoogle Research Institute
- 著者：Uri Shaham、Jonathan Herzig、Roee Aharoni
- 紙の住所：https：//arxiv.org/pdf/2401.01854
- githubアドレス：
- ミーティング：
- 分析：多言語の大規模な言語モデル（LLMS）の能力に従う命令に対する多言語命令の微調整の影響を研究することにより、このホワイトペーパーでは、単一言語の微調整でさえ、多くの言語が他の言語に次の能力に次いで何らかの命令を転送できることがわかりました。さらに、英語の微調整に関する40の多言語の例のみを使用することにより、見た言語であろうと見られない言語であろうと、多言語指導後のパフォーマンスを大幅に改善できます。これらの言語では10倍のトレーニング例がありますが、全体として、モデルを使用するモデルは、単一言語の微調整モデルと比較して、いくつかの言語で同等またはより良いパフォーマンスを展示します。最後に、命令微調整セットの言語の数を1〜2、3、または4に増やすことで、言語間普遍性を高めることができます。実験結果は、非常に小さな多言語命令応答セットを使用することにより、大規模な多言語命令微調整モデルを構築できることを示しています。
GPTシリーズ
テーブル分析
- 小さいサンプルQA Q＆A Minprompt
- ペーパータイトル：Minprompt：グラフベースの最小プロンプトデータ増強のための質問質問
- 紙の住所：https：//arxiv.org/pdf/2310.05007v1.pdf
- 論文githubアドレス：
- ミーティング：
- 動機：LLMはフォームを読みます
- 質問1：値の認識を欠いています
- 質問2：値の認識を欠いています
- 質問3：フォームの質問の答え
- 論文方法：
- 最適化戦略1：テーブルの最適化
- 最適化戦略2：データセットの作成：合成強化
ラグシリーズ
ぼろきれ
自己狂気：自己反省による検索強化生成のためのRAG戦略
- ペーパータイトル：自己ゲーム：自己反省を通じて検索、生成、批評を学ぶ
- 紙の住所：https：//arxiv.org/abs/2310.11511
- 論文githubアドレス：
- ミーティング：
- モチベーション：
- 検索セグメントとクエリ間の間の非関連：これらの方法は、検索が必要かどうか、またはセグメントが関連しているかどうかに関係なく、一定数の検索セグメントを無差別に検索およびマージします。
- 生成された結果は、取得した関連セグメントと必ずしも一致しているわけではありません（Gao et al。、2023）：これらのモデルは、提供されたセグメントの事実を利用して従うように明示的に訓練されていないためです。
- 論文方法：
- その汎用性を損なうことなく、その事実上の精度を含む、オンデマンド検索と自己反省を通じてLLM生成の品質を改善します。
- 紙は、タスク出力と断続的な特別なトークン（つまり、反射トークン）を生成することにより、独自の生成プロセスを反映することを学ぶために、エンドツーエンドの方法で任意のLLMを訓練します。反射トークンは、検索要件と発電の質を表す検索トークンとコメントトークンに分割されます。
アクティブラグ：検索する必要があるかどうかを積極的に決定し、必要に応じて検索するRAG戦略
- ペーパータイトル：アクティブ検索拡張生成
- 紙の住所：https：//arxiv.org/pdf/2305.06983.pdf
- 論文githubアドレス：https：//github.com/jzbjyb/flare
- ミーティング：
- 動機：すべてのステップを検索すると、明らかに少し冗長です
- 論文方法：
minpromptドキュメントQA Q＆A
- ペーパータイトル：memsum-dqa：ドキュメントの質問に応答するための効率的な長いドキュメント抽出要約の適応
- 紙の住所：https：//arxiv.org/pdf/2310.06436v1.pdf
- 論文githubアドレス：https：//github.com/nianlonggu/memsum-dqa
- 会議：CIKM 2023
- モチベーション：
- 紙の方法：論文は、「メムサム（DQA）システムである「Memsum-DQA」を提案します。これは、Memsum（長いドキュメント抽出概要）を使用して、提供された質問と質問タイプのプレフィックスを追加されたドキュメントの各テキストブロックに追加した質問と質問タイプを追加することにより、ドキュメントからテキストブロックを選択的に抽出します。
PDFTRIAGE：長い構造化ドキュメントのQ＆A
- ペーパータイトル：PDFTriage：長い構造化された文書にわたって質問する質問
- 紙の住所：https：//arxiv.org/pdf/2309.08872.pdf
- 論文githubアドレス：
- ミーティング：
- 動機：文書がLLMの限られたコンテキストウィンドウに適していない場合、関連するコンテキストを取得するためにさまざまな戦略を展開できます。
- 論文方法：
- ドキュメントメタデータを生成：ドキュメントの構造要素を抽出し、それらを読み取り可能なメタデータに変換します。
- LLMベースの分類：ドキュメントから正確なコンテンツ（ページ、セクション、取得コンテンツ）を選択するためのクエリLLM。
- 取得したコンテンツを使用して回答します。質問と取得したコンテンツに基づいて回答を生成します。
Ragtruth：信頼できる検索強化言語モデルを開発するための変換された言語のコーパス
ペーパータイトル：Ragtruth：信頼できる検索された高級言語モデルを開発するための幻覚コーパス
紙の住所：https：//arxiv.org/pdf/2401.00396
関連フィールド：モデル評価、データセット構造
githubアドレス：
ミーティング：
紙の方法：この記事では、LLMアプリケーションの標準的なRAGフレームワークのさまざまな分野の単語レベルの幻想とタスクの分析に専念するコーパスであるRagtruthを紹介します。 Ragtruthには、RAGを使用して、異なるLLMからの約18,000の自然に生成された応答が含まれています。これらの応答は、幻覚強度の評価を含む、細かく書かれており、手動で注釈が付けられています。この論文は、異なるLLMの幻覚周波数をベンチマークするだけでなく、いくつかの既存の幻覚検出方法の有効性を批判的に評価します。さらに、この論文は、Ragtruthなどの高品質のデータセットを使用して、比較的小さなLLMを微調整し、GPT-4などの最先端の大手言語モデルを使用して既存の迅速なアプローチで幻覚検出の競争力のあるパフォーマンスレベルを達成できることを示しています。
RAGアプリケーションフィールド
医療分野のQA Q＆A
宗教分野のQA Q＆A
- Qasina Religious Field QA Q＆A
- 紙のタイトル：Qasina：宗教的なドメイン質問Sirah Nabawiyahを使用した回答
- 紙の住所：https：//arxiv.org/pdf/2310.08102v1.pdf
- 動機：大規模な言語モデル（LLM）の開発により。 LLMはさまざまな分野に適用できますが、イスラムの宗教分野に適用すると、情報伝達の原則と矛盾します。イスラム教では、情報源は厳密に規制されており、誰がそのソースを説明できるかを説明できます。 LLMが独自の説明に基づいて回答を生成する方法は、タフシーアの概念に似ています。これはイスラムの専門家でも、イスラム教が許可していない人でもありません。 LLMの高い影響力を考えると、この記事の著者は「宗教分野でLLMを評価します」。
- 论文方法：论文提出了问答Sirah Nabawiyah (QASiNa)数据集，这是一个根据印尼语Sirah Nabawiyah 文献编译的新颖数据集，并使用mBERT、XLM-R和IndoBERT验证该数据集，并使用SQuAD v2.0 的印尼语翻译进行微调。
常识领域QA问答
- QADYNAMICS 常识QA问答
- 论文名称：QADYNAMICS: Training Dynamics-Driven Synthetic QA Diagnostic for Zero-Shot Commonsense Question Answering
- 论文地址：https://arxiv.org/pdf/2310.11303v1.pdf
- 论文Github地址：https://github.com/HKUST-KnowComp/QaDynamics
- 动机：Zero-shot常识问答(QA) 要求模型能够进行一般情况的推理。 最先进的方法一般做法是根据常识知识库(CSKB) 构建的QA对，并对语言模型进行微调，使其能够具备更多的常识知识。但在此过程中，QA对构建过程中可能会引入来自CSKB 的噪声，从而生成不符合预期的语法问答对，这会阻碍模型的泛化能力。
- 论文方法：论文提出了**「QADYNAMICS，一种用于QA诊断和改进的动态驱动框架」**。该方法分析了QA对在问答、选项两个方面上的训练动态，通过删除无信息QA对、错误标记、错误选项来简化训练检测组件。
法律领域QA问答
- Long-Form Legal Question Answering 法律QA问答
- 论文名称：Interpretable Long-Form Legal Question Answering with Retrieval-Augmented Large Language Models
- 论文地址:https://arxiv.org/pdf/2309.17050v1.pdf
- 论文Github地址：https://github.com/maastrichtlawtech/lleqa
- 会议：CIKM 2023
- 动机：许多人可能在一生中的某个时刻面临法律纠纷，但他们缺乏对如何解决这些复杂问题的了解，往往使他们变得脆弱。 自然语言处理的进步为通过开发自动化法律援助系统来弥合法律素养差距开辟了新途径。 然而，现有的法律问答（LQA）方法往往范围狭窄，要么局限于特定的法律领域，要么仅限于简短、无信息的回答。
- 论文方法：论文提出了一种端到端的方法， 「旨在利用“先检索后阅读”的管道生成任何成文法问题的长格式答案」 。 为了支持这种方法，引入并发布了长格式法律问答(LLeQA) 数据集，其中包含1,868 个由专家注释的法语法律问题，以及基于相关法律条款的详细答案。
知识图谱领域QA问答
- CHATKBQA: 知识检索QA问答
- 论文名称：CHATKBQA: A GENERATE-THEN-RETRIEVE FRAMEWORK FOR KNOWLEDGE BASE QUESTION ANSWERING WITH FINE-TUNED LARGE LANGUAGE MODELS
- 论文地址:https://arxiv.org/pdf/2310.08975v1.pdf
- 论文Github地址：https://github.com/LHRLAB/ChatKBQA
- ミーティング：
- モチベーション：
- 知识检索效率低下；
- 检索错误影响语义解析结果；
- 先前KBQA方法的复杂性。
- 论文方法：论文提出首先使用微调的LLM生成逻辑形式，然后通过无监督检索方法检索和替换实体、关系，这直接地改进了生成和检索。
任务型领域QA问答
- InstructTODS: 知识检索QA问答
- 论文名称：InstructTODS: Large Language Models for End-to-End Task-Oriented Dialogue Systems
- 论文地址：https://arxiv.org/pdf/2310.08885v1.pdf
- 论文Github地址：https://github.com/WillyHC22/InstructTODS/
- ミーティング：
- 动机：当前，大语言模型(LLM)已用于各种自然语言处理(NLP)任务，但对于任务导向的对话系统（TODS），特别是端到端的TODS的探索仍然存在一定的局限性。
- 论文方法：论文提出了「InstructTODS，该框架可用于Zero-Shot端到端任务导向的对话系统，无需微调即可适应不同的领域」。通过利用LLM，InstructTODS生成代理信念状态(proxy belief state)，将用户意图无缝转换为动态查询，以便与任何知识库进行高效交互。
汽车领域QA问答
- CarExpert: 汽车检索增强QA问答
- 论文名称：CarExpert: Leveraging Large Language Models for In-Car Conversational Question Answering
- 论文地址：https://arxiv.org/pdf/2310.09536v1.pdf
- 论文Github地址：
- ミーティング：
- 动机：大型语言模型（LLM）通过遵循自然语言指令而无需对特定领域的任务和数据进行微调，表现出了卓越的性能。然而，利用LLM进行特定领域的问题回答往往会产生幻觉。此外，由于缺乏对领域和预期输出的认识，LLM可能会生成不适合目标领域的错误答案。
- 论文方法：论文提出了「CarExpert」，车内检索增强会话问答系统利用了LLM的不同任务。具体而言，CarExpert采用LLM来控制输入，为提取和生成回答组件提供特定领域的文档，并控制输出以确保安全和特定领域的答案。
Prompt 系列篇
- 小样本QA问答MINPROMPT
- 论文名称：MINPROMPT: Graph-based Minimal Prompt Data Augmentation for Few-shot Question Answering
- 论文地址：https://arxiv.org/pdf/2310.05007v1.pdf
- 论文Github地址：
- ミーティング：
- 动机：小样本问答（Few-shot QA）旨在少量训练样本的情况下，让模型给出令人满意的回答。 最新的研究进展主要依赖大型语言模型（LLM）。尽管预训练阶段已经让LLM具备了强大的推理能力，但LLM仍需要进行微调以适应特定领域，以达到最佳结果。
- 论文方法：论文提出了「MinPrompt」，一个基于近似图算法和无监督问题生成的开放域QA的最小数据增强框架。 作者将原始文本转换为图形结构，以在不同的事实句子之间建立联系，然后应用图形算法来识别原始文本中最多信息所需的最小句子集。然后，根据识别的句子子集生成问答对，并在选定的句子上训练模型以获得最终模型。 实证结果表明，MinPrompt 能够以高效率实现与基线相当或更好的结果。
LMMs 可解释性篇
LLMs4KG 篇
- ChatKBQA
- 论文名称：ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question Answering with Fine-tuned Large Language Models
- 论文地址：https://arxiv.org/abs/2310.08975
- Github 地址：https://github.com/LHRLAB/ChatKBQA
- ミーティング：
- 动机：利用微调开源大模型进行自然语言问题到逻辑形式的转换，再利用无监督实体关系检索生成图数据库查询语言，实现自然语言的知识图谱问答框架。
- 论文方法：提出了ChatKBQA，这是一种基于微调开源LLMs（大型语言模型），如Llama-2-7B，ChatGLM2-6B和Baichuan2-7B等，的新型生成-检索KBQA框架；
- 首先微调生成逻辑形式，然后对生成的逻辑形式中的实体和关系在知识库中的实体库和关系库分别做检索，避免了以前方法存在的先检索对逻辑形式生成的影响，并提高检索效率；
- 在生成阶段，使用指令微调技术对开源LLMs进行微调，赋予它们感知和生成逻辑形式的能力
LLMs Agents 篇
ロールプレイ
注意
- System 2 Attention
- 论文标题：System 2 Attention (is something you might need too)
- 论文链接：https://arxiv.org/abs/2311.11829
- Github 地址：
- 动机：大型语言模型(LLM)非常强大，但它们仍容易出现简单的错误，这似乎显示出弱的推理能力。例如，不相关的上下文或输入提示中固有的偏好或意见，都可能使它们产生错误判断，在后一种情况下，展现了一种称为阿谀奉承的问题，即模型与输入一致同意。
- 论文方法：论文提出了一种技术方案--System 2 Attention(S2A)，可以让LLM决定输入上下文的重要部分，来生成好的响应。实现这点的方法是：首先诱导LLM重新生成只包含相关部分的输入上下文，然后关注重新生成的上下文以引出最终响应。
- 论文在实验中证明，S2A可以成功重写会降低最终答案质量的上下文，因此论文的方法可以同时提高事实性并减少其响应中的阿谀奉承。
- 未来的研究仍有许多空间。在论文的实验中，采用了零样本提示来实现S2A。其他方法可以通过考虑微调、强化学习或替代提示技术(alternative prompting techniques)来进一步优化论文的方法。成功的S2A还可以压缩回标准LLM生成，例如：通过使用原始提示作为输入和最终改进的S2A响应作为目标进行微调。
検索
如何通过大模型构建“query-doc”？
解释：对搜索数据进行数据增强就是获取更多的“query-doc”对。一种方法是根据query生成假doc，而另一种是根据doc生成假query。
InPars: 基于大型语言模型的信息检索数据扩充
- 论文名称: InPars: Data Augmentation for Information Retrieval using Large Language Models
- 论文地址：https://arxiv.org/abs/2202.05144
- 方法：InPairs利用LLM的上下文学习能力，结合给出的示例，给doc生成了大量的假query，然后通过微调后的语言模型进行结果“过滤”。
InPars-v2: 大型语言模型作为信息检索的有效数据集生成器
- 论文名称: InPars-v2: Large Language Models as Efficient Dataset Generators for Information Retrieval
- 论文地址：https://arxiv.org/abs/2301.01820
- 方法：在inPairs-V2版本中，一个较大的变化是，其利用在检索数据集上微调的T5-3B模型来过滤生成的查询，而不是简单的通过概率进行过滤，以此来提升生成数据的可靠性。
InPairs-Light：高效排名者的成本效益无监督培训
- 论文名称: InPairs-Light：Cost-Effective Unsupervised Training of Efficient Rankers
- 论文地址：https://arxiv.org/abs/2301.02998
- 方法：后续的inPairs-Light版本也对“过滤器”进行了瘦身，参数从30亿降至2亿。
InPairs-Light：从8个例子看Few-shot Dense Retrieval
- 论文名称: Promptagator：Few-shot Dense Retrieval From 8 Examples
- 论文地址：https://arxiv.org/abs/2301.02998
- 方法：PROMPTAGATOR 利用inPairs中“生成-过滤”这一过程，在生成的样本上微调检索器，然后使用该检索器过滤生成的样本。重复这两个步骤直到收敛，以产生高质量的训练集。
UDAPDR：基于LLM提示和重排序的无监督域自适应
- 论文名称: UDAPDR: Unsupervised Domain Adaptation via LLM Prompting and Distillation of Rerankers
- 论文地址：https://arxiv.org/abs/2303.00807
- 动机：在inPairs-V2版本中，研究者意识到请求LLM如chatgpt、gpt4的API进行数据增强会带来高额的成本，开始采用开源的LLM替换API请求方式，但可能会导致增强数据的质量下降。
- 方法：UDAPDR 针对这一问题，先用高质量LLM根据doc生成高质量query，然后用高质量doc-query送入低成本LLM扩充数量，兼顾了成本和效果问题，其过程如图所示。
如何通过大模型标注“query-doc” 正负样例？
通过上述方法虽然能够构建“query-doc”，但是如何辨别真假呢？这个时候可以利用LLM获取query与doc的假label，即让模型帮我判断这条数据是不是正样本，是正样本的概率是多少？
ART：训练Dense Passage Retriever 所需的全部问题
- 论文名称: ART：Questions Are All You Need to Train a Dense Passage Retriever
- 论文地址：https://arxiv.org/abs/2206.10658
- 方法：先将query经过向量编码，然后通过向量检索器选出相关文档，再让模型给每个文档与query的相关性进行打分。这一打分被作为soft label，反馈给之前的passage encoder和question encoder进行更新训练。
ExaRanker：Explanation-Augmented Neural Ranker
- 论文名称: ExaRanker：Explanation-Augmented Neural Ranker
- 论文地址：https://arxiv.org/abs/2206.10658
- 方法：ExaRanker 使用GPT-3.5 为检索数据集生成解释，随后训练一个seq2seq 排名模型来生成相关标签以及给定查询-文档对的相应解释。
ChatGPT-RetrievalQA：为交叉编码器重排器生成合成文档： ChatGPT 与人类专家的比较研究
- 论文名称: ChatGPT-RetrievalQA：Generating Synthetic Documents for Cross-Encoder Re-Rankers: A Comparative Study of ChatGPT and Human Experts
- 论文地址：https://arxiv.org/abs/2305.02320
- 方法：我们研究了生成式大型语言模型(llm)在为交叉编码器重新排序器生成训练数据方面的有用性，该方向是:生成合成文档而不是合成查询。我们引入了一个新的数据集ChatGPT-RetrievalQA，并比较了在llm生成和人工生成数据上微调的模型的有效性。生成式llm生成的数据可用于增强训练数据，特别是在标记数据数量较少的领域。我们基于一个现有的数据集，人类ChatGPT比较语料库(HC3)构建ChatGPT- retrievalqa，该数据集由公共问题集合组成，其中包含来自ChatGPT的人类响应和答案。
- 实验结果：我们在人工生成或chatgpt生成的数据上微调一系列交叉编码器重新排名。我们对MS MARCO DEV、TREC DL'19和TREC DL'20的评估表明，在ChatGPT响应上训练的交叉编码器重新排序模型比在人类响应上训练的模型更有效。在有监督的环境中，人工训练的重新排名者的表现优于法学硕士训练的重新排名者。我们的新发现表明，生成式llm在为神经检索模型生成训练数据方面具有很高的潜力。需要进一步的工作来确定在生成的响应中事实错误信息的影响，并测试我们的发现在开源法学硕士中的普遍性。我们为将来的工作发布数据、代码和交叉编码器检查点。
如何通过大模型改写“query-doc”？
让LLM作为生成模型，根据用户的query写一段文本，将其作为改写结果送入后续的检索模块，以提高最终的检索质量。
如何通过大模型综合利用PRF（伪相关反馈）+GRF（生成相关反馈）？
以上研究都是利用LLM的生成结果作为改写结果的主要内容，我们可以将其看作是一种生成相关反馈（GRF），而不少研究也同时在模型生成或结果后处理阶段加入伪相关反馈（PRF）的方法来改进改写结果的质量。
HyDE:无关联标签的精确Zero-Shot Dense Retrieval
- 论文名称: HyDE：Precise Zero-Shot Dense Retrieval without Relevance Labels
- 论文地址：https://arxiv.org/abs/2212.10496
- 动机：LLM幻觉问题
- 方法：HyDE将LLM生成的结果进行编码，利用向量检索器，与真实的文档库中的候选文档进行相关性匹配，然后利用真实的文档作为改写的结果辅助查询。可以看出，该方法实质上就是利用LLM的输出结果而不是query去召回伪文档。
- アドバンテージ：
- 相比传统的PRF方法，保证了第一次检索的伪文档的相关性；
- 相比Query2doc等方法，又通过结合PRF避免了LLM可能产生幻觉的问题，保证了结果的高度真实性。
- 类似地，LameR则是将PRF这一过程放到了LLM输入之前。
LameR:大型语言模型是强大的零样本检索器
- 论文名称: LameR：Large Language Models are Strong Zero-Shot Retriever
- 论文地址：https://arxiv.org/abs/2304.14233
- 动机：LLM幻觉问题
- 方法：
- アドバンテージ：
Rewrite-Retrieve-Read：针对检索增强的大型语言模型的查询重写
- 论文名称: Rewrite-Retrieve-Read：Query Rewriting for Retrieval-Augmented Large Language Models
- 论文地址：https://arxiv.org/abs/2305.14283
- 动机：LLM幻觉问题
- 方法：Rewrite-Retrieve-Read这一研究则是利用改写去加强检索增强LLM的效果。Rewrite-Retrieve-Read图中从左到右分别是：检索增强LLM、带有改写器的检索增强LLM、带有强化学习改写器的检索增强LLM。其中Rewrite-Retrieve-Read指的是第三个。可以看出，Rewrite-Retrieve-Read方法不仅利用LLM作为改写器增加了其检索增强的效果，还引入了强化学习，通过最终答案的反馈，来训练高质量LLM改写器。
- アドバンテージ：
PRF+GRF:稀疏、稠密和学习稀疏检索的生成和伪相关反馈
- 论文名称: PRF+GRF：Generative and Pseudo-Relevant Feedback for Sparse, Dense and Learned Sparse Retrieval
- 论文地址：https://arxiv.org/abs/2305.07477
- 动机：LLM幻觉问题
- 方法：PRF+GRF直接结合PRF和LLM输出的结果，然后综合加权考虑两者的结果作为改写结果。
- アドバンテージ：
InteR:通过搜索引擎和大型语言模型之间的交互进行知识提炼
- 论文名称: InteR：Knowledge Refinement via Interaction Between Search Engines and Large Language Models
- 论文地址：https://www.researchgate.net/publication/370763983_Knowledge_Refinement_via_Interaction_Between_Search_Engines_and_Large_Language_Models
- 动机：LLM幻觉问题
- 方法：InteR则是一种搜索系统和LLM多轮交互框架，通过多次PRF、LLM输出，达到增强两过程效果的目的。
- アドバンテージ：
如何通过大模型进行召排？
何为召回？
召回（retrive）是搜索系统中的核心模块，可分为基于统计算法的稀疏检索（Sparse Retriever）和基于神经网络的密集检索（Dense Retriever）。
召回存在哪些问题？
- query短且模糊
- doc长且噪声多
- 监督数据标注成本高
- PLM模型仍存在改进空间
如何基于encoder的LLM检索器？
基于encoder的检索器指的是在密集检索中，使用LLM出色的语义能力获取query或doc的向量表示，用向量检索器进行检索召回。
如何基于生成式的LLM检索器？
上面的研究都旨在利用LLM的强大语义编码能力对query、doc等内容进行编码。但在LLM崭露头角之前，就有不少研究致力于构建end2end式的检索模型，成为生成式检索器（Generative Retriever）。相比先编码再检索，生成式方法通过联合编码器和解码器，直接获取要检索的文档标识符
如何通过大模型进行排序？
微调LLM进行相似度计算
在gpt3等超大型参数模型出现之前，不少研究都利用PLM，将排序任务看作相似度计算任务来获得每个query和doc的相似度得分。RankT5就是这样一种模型，他基于T5直接计算查询-文档对的相关分数，并使用pairwise或listwise计算排名损失进行微调。
- RankT5: 用于具有排名损失的文本排名的微调T5
- 论文名称: RankT5：Fine-Tuning T5 for Text Ranking with Ranking Losses
- 论文地址：https://arxiv.org/abs/2202.06991
- モチベーション：
- 方法：RankT5有两种得分计算方法，一种是encoder-decoder结构，另一种则是不需要解码直接根据encoder编码得到排序分数。
- 作者实验证明，两种结构效果上各有胜负，这也侧面表明decoder作用其实不大，蒸馏等操作可以直接对encoder下手。类似的研究还有很多，只是把backbone换为BERT、BART、GPT等即可。
提示LLM
对超大规模LLM进行微调存在成本昂贵的明显问题，不少研究选择利用LLM的提示能力得到query与doc是否相似的答案。
UPR：利用零样本问题生成改进文章检索
- 论文名称: UPR：Improving Passage Retrieval with Zero-Shot Question Generation
- 论文地址：https://aclanthology.org/2022.emnlp-main.249/
- 会议：ACL2022
- 动机：排序的实质是进行query和doc间的相似度计算，这一分数也可以看作是根据query获得doc的概率。
- 方法：UPR利用这一过程的逆向思路，利用prompt提示LLM，针对每一个doc，逐一计算query中各个token的生成概率，并将这一概率作为query和doc的相似度分数。简单理解，就是用LLM根据prompt对每个doc生成对应的query，称为假query。然后将生成后的假query和原query送入语言模型进行打分，计算两者的一个“相似度”。这里的相似度并不是我们熟知的向量相似度，而是“假query复原原query”的概率，其过程如上面公式所示。最后，对这个得分进行排序以获取最终的排序结果。
RankGTP：ChatGPT擅长搜索吗？作为重新排序代理的大型语言模型研究
- 论文名称: RankGTP：Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agent
- 论文地址：https://aclanthology.org/2023.emnlp-main.923/
- 会议：EMNLP2023
- モチベーション：
- 方法：RankGPT和LLR都采用类似list-wise的方式来获取LLM的排序结果。相比point-wise，list-wise的场景下LLM能够关注到更多的doc信息，直接输出文档id的排序结果，且不需要打分模型的参与。为了解决list-wise场景下输入的doc过长的问题，RankGPT采用了滑动窗口的方法，指定k大小的窗口来获取最终top-k的排序结果。
LLR:基于大型语言模型的零射击列表式文档重排序
- 论文名称: LLR：Zero-Shot Listwise Document Reranking with a Large Language Model
- 论文地址：https://aclanthology.org/2023.emnlp-main.923/
- 会议：ACL2023
- モチベーション：
- 方法：
PRP：大型语言模型是具有成对排序提示的有效文本排序器
- 论文名称: PRP：Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting
- 论文地址：https://arxiv.org/pdf/2306.17563.pdf
- ミーティング：
- モチベーション：
- 方法：PRP的作者认为相比其他两种方式，LLM的对比理解能力更强。而且pairwise的方式既支持生成式模型，又支持打分模型，且因为要比较两个对象，可选择的排序算法较多，如堆排序、冒泡排序、快速排序等，整体方式方法较为灵活。
Co-Prompt：通过约束生成的离散提示优化零样本重随机
- 论文名称: Co-Prompt：Discrete Prompt Optimization via Constrained Generation for Zero-shot Re-ranker
- 论文地址：https://aclanthology.org/2023.findings-acl.61.pdf
- 会议：ACL2023
- モチベーション：
- 方法：Co-prompt方法将soft prompt条件生成技术应用至point-wise的LLM排序任务，将PLM作为生成器生成soft prompt，然后通过LLM作为鉴别器鉴别，来条件生成最优的prompt。这一方法可以同样被应用于其他提示LLM的任务中，有效提升LLM的提示效果。
CoT 篇
- 如何提升LLMs：Self-Prompted CoT
- 论文名称：Self-prompted Chain-of-Thought on Large Language Models for Open-domain Multi-hop Reasoning
- 论文地址：https://arxiv.org/pdf/2310.13552.pdf
- モチベーション：
- 开放域多跳推理（ODMR） 局限性：ODMR需要通过明确的推理步骤回答多跳问题，而不依赖于任何提供的上下文。这比有上下文的多跳问答要困难得多，因为模型不能依赖于检索相关段落；
- 链式思考（CoT） 局限性：
- 论文框架：提出了一种自我提示的思维链（SP-CoT）自动化框架，通过大型语言模型（LLMs）自身生成高质量多样化的思维链，用于开放域多轮推理（ODMR）。关键思想是：
- 自动化流水线生成带有多跳问题和推理链的ODMR数据集
- 自适应采样选择多样化的高质量CoTs作为示范
- 通过上下文学习从生成的CoTs中学习自我引导的推理
微调数据工程篇
EMNLP'23大模型时代的数据标注——FreeAL
- 论文名称：FreeAL: Towards Human-Free Active Learning in the Era of Large Language Models[J].
- 论文地址： https://arxiv.org/pdf/2311.15614
- 思路：
- 数据标注依然重要，完全监督、弱监督的小模型在很多场景下比（未精调）大模型强；
- 利用LLM进行标注是完全可行的，小模型可以协同进行过滤、精炼大模型的标签；
- 弱监督学习、主动学习这两个领域，我想依然有活着的价值。
From Quantity to Quality：如何挑选具有增强LLM指令调优潜力的数据样例？
- 论文名称：From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning
- 论文地址：https://arxiv.org/pdf/2308.12032.pdf
- GitHub 地址：https://github.com/MingLiiii/Cherry_LLM
- 动机：如何挑选具有增强LLM指令调优潜力的数据样例？
- 思路：
- Learning from Brief Experience：选取有代表性的训练数据训练LLaMA；
- Evaluating Based on Experience：利用训练好模型计算原始数据中所有IFD指标；
- Retraining from Self-Guided Experience：批量跑得到每个样本的IFD得分，然后选取较高得分（prompt困难样本）的样本，paper中称为cherry samples，用其重新训练模型。
Active Instruction Tuning：怎么更好的选择一个新任务来提高模型泛化性？
- 论文名称：Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks
- 论文地址：https://arxiv.org/pdf/2311.00288.pdf
- GitHub 地址：
- 动机：如何筛选出适合当前给定这个LLM的高质量数据，也就是说高质量是和模型深度绑定的。
- 提出了一个Prompt Uncertainty 思路：假设有一个原始样本对<prompt, response>，然后对prompt做一些扰动得到promot_v1，其中promot_v1还是要保留大部分prompt语义，然后将prompt和promot_v1分别传给模型，分别拿到response的输出，计算得到两者之间的likelihood值，该值即为Prompt Uncertainty。
MoDS: 如何自动筛选高质量数据？
- 论文名称：MoDS: Model-oriented Data Selection for Instruction Tuning
- 论文地址：https://arxiv.org/pdf/2311.15653.pdf
- GitHub 地址：https://github.com/CASIA-LM/MoDS
- 动机：如何筛选出适合当前给定这个LLM的高质量数据，也就是说高质量是和模型深度绑定的。
- “高质量”数据的标准是什么？
- 质量:高质量的prompt以及对应的高质量response可以很好的让模型学会遵循指令；
- 覆盖率: prompt的多样性，越多样性越好；
- 必要性:同一条prompt对不同基座模型的重要度和必要性是不一样的，如果一条prompt对于基座来说已经很好的输出response了，也就是说模型已经很好的遵循prompt了，不需要再训练了，相反则是模型需要的。
- “高质量”数据的如何筛选？
- Quality Evaluation：基于模型打分筛选出高质量的SFT数据；
- Diverse Data Selection for Seed Instrucitons：在这份高质量SFT数据集中继续过滤出一个子集，该子集的多样性要足够好，能表征整个数据集；
- Augmented Data Selection
符尧：别卷大模型训练了，来卷数据吧！
- 论文名称：An Initial Exploration of Theoretical Support for Language Model Data Engineering
- 论文地址：https://yaofu.notion.site/An-Initial-Exploration-of-Theoretical-Support-for-Language-Model-Data-Engineering-Part-1-Pretraini-dc480d9bf7ff4659afd8c9fb738086eb
大模型对代码的记忆痕迹
- 论文名称：Traces of Memorisation in Large Language Models for Code
- 论文地址：https://arxiv.org/pdf/2312.11658
- Github 地址：
- ミーティング：
- 论文方法：该论文主要研究了大语言模型对代码的记忆问题，并比较了代码模型和自然语言模型的记忆率。研究人员构建了自然语言的基准测试集，并通过识别易受攻击的样本构建了代码的基准测试集。他们对多种模型运行了这两个测试集，并进行了数据提取攻击。研究发现，大语言模型对代码也存在数据提取攻击的风险。从可提取的训练数据中，他们成功提取了CodeGen-Mono-16B代码补全模型中的47%数据。研究还发现，随着参数数量的增加，模型记忆的内容也增加，并且模型的预训练数据也容易受到攻击。数据承载者的记忆率高于普通代码或文档，并且不同的模型架构记忆不同的样本。数据泄露具有严重后果，因此该论文敦促研究界采用更广泛的模型和提取技术来进一步调查这一现象，以建立相应的保护措施。
避免语言模型评估中的数据污染：动态测试构建与最新材料
- 论文名称：Avoiding Data Contamination in Language Model Evaluation: Dynamic Test Construction with Latest Materials
- 论文地址：https://arxiv.org/pdf/2312.12343
- Github 地址：
- ミーティング：
- 论文方法：这篇论文提出了最新评估方法（LatestEval），利用最新的文本创建无污染的阅读理解评估，避免数据污染带来的挑战。最新评估通过仅使用最近时间窗口内发布的文本来避免数据污染，并确保不与预训练语言模型的训练语料库重叠。论文开发了一套LatestEval自动化流程，包括：1）收集最新文本；2）识别关键信息；3）构建问题，同时从上下文中删除现有答案，鼓励模型基于剩余上下文推断答案而不是简单复制粘贴。
- 实验结果表明，相对于先前的基准测试，语言模型在最新评估上几乎不表现出记忆行为，这表明了数据污染的风险大大降低，从而导致更可靠的评估。
GeomVerse: 对几何推理的大型模型的系统评估
- 论文名称：GeomVerse: A Systematic Evaluation of Large Models for Geometric Reasoning
- 机构：谷歌研究院、Google DeepMind
- 论文地址：https://arxiv.org/pdf/2312.12241
- Github 地址：
- ミーティング：
- 论文方法：这篇论文通过几何问题的视角评估了视觉语言模型（VLMs）在多个方面上的推理能力。
- 通过在多个深度级别上构建该论文的基准测试，实验结果表明，与以前的基准测试所示的推理能力相比，这些模型在几何学（以及一般情况下需要类似推理的其他主题）方面的能力并不如人们所想的那么强大。这在解决更高深度问题时尤为明显，因为解决更高深度的问题需要较长的推理链而不是额外的记忆知识。该论文在该领域的进一步研究中发布了数据集。
仅用1%的数据完胜全量数据微调模型!
论文名称：One Shot Learning as Instruction Data Prospector for Large Language Models
機構：
作者：Li, Yunshui and Hui, Binyuan and Xia, Xiaobo and Yang, Jiaxi and Yang, Min and Zhang, Lei and Si, Shuzheng and Liu, Junhao and Liu, Tongliang and Huang, Fei and others
论文地址：arxiv.org/pdf/2312.10302.pdf
相关领域：训练数据构建
Github 地址：https://github.com/pldlgb/nuggets
ミーティング：
论文方法：仅用1%的数据完胜全量数据微调模型!#不懂就问有问必答论文中提出了一种名为Nuggets”的方法，意欲从堆积如山的指令微调数据中挖掘出黄金数据。这种方法利用大语言模型(LLM)自身作为数据探索工具，通过One shot learning 或者说是Incontext learning，从庞大的指令数据集中挑选出有益的数据。直观来说，如果某个指令对于某个特定任务的少样本学习(Few shot learning)有帮助，那么这个指令就值得被用于训练。如果这个指令能对多个任务有益，那么它就应该成为主要的数据重点另外，有研究显示，In context learning通过提示(Demonstrations)来隐式微调模型，相当于语言模型在幕后以元优化器的角色进行梯度下降操作。因此，利用在In context learning下的性能来预测指令微调的效果是很有前景的。
高效大模型推理篇
有限内存下的高效大模型推理
- 论文名称：LLM in a flash: Efficient Large Language Model Inference with Limited Memory
- 论文地址：https://arxiv.org/pdf/2312.11514
- Github 地址：
- ミーティング：
- 论文方法：这篇论文主要解决的问题是如何在有限的内存容量下高效地运行超出DRAM容量的大语言模型。通过将模型参数存储在闪存上，并根据闪存内存行为按需将其带入DRAM来解决这一挑战。论文通过构建一个与闪存内存行为相协调的推理成本模型，指导该论文在两个关键领域进行优化：减少从闪存传输的数据量和以更大、更连续的块读取数据。论文介绍了两种主要技术：窗口化策略降低数据传输量，行-列捆绑增加从闪存读取的数据块大小。这些方法使得模型可以在可用DRAM容量的两倍大小下运行，并且与CPU和GPU中的简单加载方法相比，推理速度分别增加了4-5倍和20-25倍。该论文的稀疏意识、上下文适应加载和面向硬件的设计为在内存有限的设备上高效推理大语言模型铺平了道路。
ComplexityNet: 通过学习任务复杂度来提高LLM推理效率
- 论文名称：ComplexityNet: Increasing LLM Inference Efficiency by Learning Task Complexity
- 论文地址：https://arxiv.org/pdf/2312.11511
- Github 地址：
- ミーティング：
- 论文方法：这篇论文主要介绍了ComplexityNet，这是一个专门用于评估任务复杂度的精简语言模型。该模型预测了不同能力的各种语言模型的输出准确性的可能性。作者的初步应用是在Mostly Basic Python Problems (MBPP)数据集上。他们首次创建了一组标签来定义任务复杂度。ComplexityNet在确定任务复杂度方面取得了显著的79%准确率，相比于原始模型的34%准确率有了显著改进。此外，与使用最高复杂度模型相比，ComplexityNet可以有效地减少90%的计算资源使用量，同时保持高达86.7%的代码生成准确率。这项研究表明，通过微调较小的模型来对任务进行分类，可以在使用大型语言模型时在准确性和效率之间取得更平衡的权衡。该论文的发现为优化LLM应用指明了一个有前景的方向，尤其是在资源受限的环境下。
超越Chinchilla-Optimal: 在语言模型缩放定律中考虑推理
- 论文名称：Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws
- 论文地址：https://arxiv.org/pdf/2401.00448
- 相关领域：模型结构改进
- Github 地址：
- ミーティング：
- 论文方法：本论文修改了Chinchilla缩放定律，计算了训练和部署具有给定推理需求和质量的语言模型所需的最佳参数数量和预训练数据大小。研究发现，对于预计存在相当大推理需求（约10亿次请求）的语言模型研究者来说，应该训练比Chinchilla-optimal更小更长的模型。
Understanding LLMs：从训练到推理的全面概述
- 论文名称：Understanding LLMs: A Comprehensive Overview from Training to Inference
- 论文地址：https://arxiv.org/pdf/2401.02038
- 相关领域：模型结构改进、预训练
- 作者：Yiheng Liu, Hao He, Tianle Han
- Github 地址：
- ミーティング：
- 论文方法：这篇论文讨论了大语言模型（LLMs）的训练技术和推理部署技术的演变，并探讨了低成本训练和部署LLMs在未来的发展趋势。训练方面的讨论包括数据预处理、训练架构、预训练任务、并行训练以及与模型微调相关的内容。在推理方面，论文还涵盖了模型压缩、并行计算、内存调度和结构优化等主题。它还探讨了LLMs的应用，并对它们的未来发展提供了见解。
大模型评估篇
大模型预训练篇
TeleChat：一个包含30亿、70亿和120亿参数的大型语言模型集合
- 论文名称：TeleChat Technical Report
- 機構：
- 作者：Zihan Wang, Xinzhang Liu, Shixuan Liu
- 论文地址：arxiv.org/pdf/2401.03804
- 相关领域：模型结构改进、预训练、指令微调、模型评估
- Github 地址：
- ミーティング：
- 论文方法：TeleChat是一个包含30亿、70亿和120亿参数的大型语言模型集合。它包括预训练的语言模型和与人类偏好一致的fine-tuned聊天模型。TeleChat首先在包含英文和中文的各种文本的广泛语料库上进行预训练，包括数万亿个标记。随后，模型通过细调以与人类偏好一致，遵循该论文描述的详细方法。该论文对TeleChat在语言理解、数学、推理、代码生成和基于知识的问答等各种任务中的性能进行评估。
- 实验结果：TeleChat在广泛的公共基准测试中达到了与其他相似规模的开源模型相当的性能。为了支持未来利用LLMs的研究和应用，该论文向公众社区发布了TeleChat 7B和12B变种的fine-tuned模型检查点，以及代码和部分预训练数据。
大模型并不是你所需要的全部
- 论文名称：Large Language Models aren't all that you need
- 机构：印度理工学院
- 作者：Kiran Voderhobli Holla, Chaithanya Kumar, Aryan Singh
- 论文地址：arxiv.org/pdf/2401.00698
- 相关领域：模型结构改进、预训练
- Github 地址：
- ミーティング：
- 论文方法：这篇论文主要探讨了在解决SemEval 2023任务2：多语种复杂命名实体识别方面的架构和系统。作者评估了两种方法，一种是传统的CRF模型，另一种是经过定制头部微调的大型语言模型（LLM），并进行了比较。论文探索了一些新颖的想法，包括：1）衰减辅助损失（具有残差）- 在模型上训练粗粒度命名实体识别的辅助任务，并将该任务作为损失函数的一部分；2）三元标记混合- 在最终的命名实体识别层中，探索了混合相邻标记嵌入的方法；3）任务优化头部- 探索了各种定制头部和学习率用于LLM的最终层。作者还尝试了多个LLM，包括GPT-3，并在最终模型上进行了多种dropout和超参数设置的实验，最终在测试数据上获得了0.67/0.61的micro & macro f1分数。研究结果表明，尽管预训练的LLM相比传统模型带来了很大的性能提升，但通过上述额外的特征/损失/模型工程技术对宏观F1分数的改进是可行的。
TinyLlama: 一个开源的小型语言模型
- 论文名称：TinyLlama: An Open-Source Small Language Model
- 機構：
- 作者：Peiyuan Zhang, Guangtao Zeng, Tianduo Wang
- 论文地址：arxiv.org/pdf/2401.02385
- 相关领域：模型结构改进、预训练
- Github 地址：github.com/jzhang38/TinyLlama
- ミーティング：
- 论文方法：TinyLlama是一个在大约3个时期内在大约1万亿个标记上预训练的紧凑1.1B语言模型。TinyLlama建立在Llama 2的架构和分词器之上，利用了开源社区贡献的各种进展（例如FlashAttention），实现了更好的计算效率。尽管规模相对较小，但TinyLlama在一系列下游任务中展现了显著的性能。它明显优于具有相似规模的现有开源语言模型。该论文的模型检查点和代码公开在GitHub上，网址为https://github.com/jzhang38/TinyLlama。
LLM增强LLM：通过组合扩展能力
- 论文名称：LLM Augmented LLMs: Expanding Capabilities through Composition
- 机构：谷歌研究院、Google DeepMind
- 作者：Rachit Bansal, Bidisha Samanta, Siddharth Dalmia
- 论文地址：arxiv.org/pdf/2401.02412
- 相关领域：模型结构改进、预训练
- Github 地址：
- ミーティング：
- 论文方法：这篇论文主要探讨了在大语言模型的基础上如何通过组合来增强模型能力的问题。通过引入交叉注意力机制，将现有的模型与具有特定任务的模型进行组合，从而实现新的能力。作者提出的CALM方法在多个领域和设置下都适用，并通过将PaLM2-S与在低资源语言上训练的较小模型进行组合，在翻译和算术推理等任务上取得了显著的改进。
LLaMA Pro: 带有块扩展的渐进式LLaMA
- 论文名称：LLaMA Pro: Progressive LLaMA with Block Expansion
- 机构：香港大学、上海交通大学、Tencent PCG实验室
- 作者：Chengyue Wu, Yukang Gan, Yixiao Ge
- 论文地址：arxiv.org/pdf/2401.02415
- 相关领域：模型结构改进、预训练
- Github 地址：
- ミーティング：
- 论文方法：这篇论文介绍了一种新的后预训练方法，通过扩展Transformer模块，仅使用新语料库进行调整，有效提升模型的知识，避免灾难性遗忘。研究者在代码和数学语料库上进行实验，得到了LLaMA Pro-8.3B模型，该模型基于LLaMA2-7B模型初始，在通用任务、编程和数学方面有出色表现。LLaMA Pro及其指令遵循对应模型(LLaMA Pro-Instruct)在各项基准测试中取得了先进的性能，证明其在LLaMA系列和各种任务中具有卓越的优势和推理能力。该研究为融合自然语言和编程语言提供了有价值的洞见，为在不同环境中有效运行的先进语言模型的开发奠定了坚实的基础。
无需注释的病理定位的通用视觉语言预训练
- 论文名称：Generalizable vision-language pre-training for annotation-free pathology localization
- 机构：香港大学、鹏城实验室、中国科学院大学
- 作者：Hao Yang, Hong-Yu Zhou, Cheng Li
- 论文地址：arxiv.org/pdf/2401.02044
- 相关领域：预训练
- Github 地址：
- ミーティング：
- 论文方法：该论文介绍了一种针对无需注释的病理定位的通用视觉语言预训练模型。该模型的核心优势在于其基于图像注释无关的多级语义结构对比学习，将医学报告中的多粒度医学概念与丰富的图像特征全面对齐，以适应观察到的和新出现的未知病理的多样表达。实验证明，该模型在4个不同的外部数据集上验证了其泛化能力，在定位5种不同病理方面优于6种最先进的方法，甚至超过人类基准，表明其适用于复杂的临床环境。
ChartAssistant: 通过图表到表格预训练和多任务指令微调的通用图表多模态语言模型
- 论文名称：ChartAssisstant: A Universal Chart Multimodal Language Model via Chart-to-Table Pre-training and Multitask Instruction Tuning
- 机构：香港大学、南京大学、上海交通大学
- 作者：Fanqing Meng, Wenqi Shao, Quanfeng Lu
- 论文地址：https://arxiv.org/pdf/2401.02384
- 相关领域：预训练、指令微调
- Github 地址：https://github.com/OpenGVLab/ChartAst
- ミーティング：
- 论文方法：这篇论文提出了ChartAssistant，这是一个基于图表的图像语言模型，旨在实现图表理解和推理的通用性。ChartAssistant通过图表到表格解析的预训练和多任务指令遵循的微调，解决了通用多模态模型在泛化和任务特定微调方面的挑战。实验结果显示，与最先进的UniChart方法相比，ChartAssistant在各种图表任务上取得了显著的性能提升，并在实际图表数据上优于OpenAI的GPT-4V(ision)。这篇论文的内容主要是介绍了ChartAssistant的设计与训练方法，并展示了其在图表任务上的性能优势。
DIALIGHT: 利用大模型轻量级开发和评估任务导向对话系统
- 论文名称：DIALIGHT: Lightweight Multilingual Development and Evaluation of Task-Oriented Dialogue Systems with Large Language Models
- 机构：剑桥大学
- 作者：Fanqing Meng, Wenqi Shao, Quanfeng Lu
- 论文地址：https://arxiv.org/pdf/2401.02208
- 相关领域：模型结构改进、预训练
- Github 地址：https://github.com/OpenGVLab/ChartAst
- ミーティング：
- 论文方法：
机器人篇
- Mobile ALOHA：低成本全身远程操作学习双手机器人移动操作
- 论文名称：Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation
- 机构：斯坦福大学
- 作者：Zipeng Fu, Tony Z. Zhao, Chelsea Finn
- 论文地址：https://arxiv.org/pdf/2401.02117
- 相关领域：模型结构改进、预训练
- Github 地址：
- ミーティング：
- 论文方法：本论文介绍了一种学习移动操作任务的系统，该任务需要双手协作和全身控制。使用Mobile ALOHA系统进行数据采集，通过与现有的静态ALOHA数据集联合训练，进行监督式行为克隆，提高了移动操作任务的性能，使得Mobile ALOHA能够自主完成复杂的移动操作任务。通过扩展了移动底盘和全身远程操作界面的ALOHA系统，Mobile ALOHA实现了低成本的整体身体远程操作系统。本论文解决了传统机器人学习中关注的桌面操作的局限性，使得机器人具备了移动和灵活性，可以完成更广泛实用的任务。
强化学习篇
数字人
- 从音频到逼真的人体化：合成对话中的人类
- 论文名称：From Audio to Photoreal Embodiment: Synthesizing Humans in Conversations
- 機構：
- 著者：
- 论文地址：https://arxiv.org/pdf/2401.01885
- 相关领域：
- Github 地址：
- ミーティング：
- 论文方法：该论文提出了一个生成全身逼真的头像的框架，根据双方互动的对话动态进行手势生成。通过语音音频输入，该论文可以输出个体的多种手势动作，包括面部、身体和手部的动作。该论文的方法将向量量化的样本多样性与扩散获得的高频细节相结合，生成更具动态和表现力的动作。该论文使用高度逼真的人体化头像可视化生成的动作，可以表达手势中的重要细微之处（例如冷笑和嘲笑）。为了促进这一研究领域的发展，该论文推出了一种首个多视角对话数据集，可用于逼真重构。实验结果显示，该论文的模型生成适当且多样的手势，优于扩散和向量量化单独的方法。此外，该论文的感知评估凸显了光真度（与网格相比）在准确评估对话手势中细微动作细节方面的重要性。代码和数据集可在网上获得。
Long LLM 篇
MoE 篇
- Mixtral 8x7B: 稀疏专家混合语言模型
- 标题：Mixtral of Experts
- 相关领域：模型结构改进、指令微调
- 機構：
- 作者：Albert Q. Jiang, Alexandre Sablayrolles, Antoine Roux
- 发表时间：2023.09.23
- 论文地址：arxiv.org/pdf/2401.04088
- 相关领域：Transformers
- Github 地址：
- ミーティング：
- 论文方法：这篇论文介绍了Mixtral 8x7B，一种稀疏专家混合语言模型（SMoE）。Mixtral具有与Mistral 7B相同的架构，不同之处在于每个层由8个前馈块（即专家）组成。对于每个令牌，在每个层中，路由网络选择两个专家来处理当前状态并将其输出进行组合。尽管每个令牌只能看到两个专家，但所选择的专家在每个时间步骤可以不同。结果是，每个令牌可以访问470亿个参数，但在推理过程中只使用130亿个活跃参数。Mixtral使用32k令牌的上下文尺寸进行训练，并且在所有评估基准中胜过或与Llama 2 70B和GPT-3.5相匹配。特别是，在数学、代码生成和多语言基准测试中，Mixtral远远优于Llama 2 70B。该论文还提供了一个fine-tuned的模型，Mixtral 8x7B - Instruct，在人类基准测试中超过了GPT-3.5 Turbo、Claude-2.1、Gemini Pro和Llama 2 70B - chat模型。基础模型和指令模型都是在Apache 2.0许可下发布的。
mini LLMs 篇
参照してください
- 文档领域多模态大模型整理https://zhuanlan.zhihu.com/p/673470907
