text_rewritter

テキストライター

LangchainとGPT3を使用して、Chunkで大きなテキストチャンクを書き換えます（以前の変更を覚えています。

理論

テキストは、次のプロンプト（最初の2つの呼び出しで短縮された）で順番に処理されるチャンクにスライスされます。

 You are rewriting a novel, rewrite the full extract according to the instructions:

INSTRUCTIONS:
{instructions}

EXAMPLES OF REWRITINGS FROM OTHER PARTS OF THE TEXT:

{previous_rewrites}

EXTRACT TO REWRITE:
{previous_chunk}
{chunk}

REWRITTEN EXTRACT:
{previous_rewrite}

instructionsはユーザーが提供するプロンプトprevious_rewrites _rewritesは、提供されたチャンクprevious_chunk / previous_rewriteは以前のテキスト（継続性の保証）のチャンクに似ているチャンクが類似している書き直しの例です。 chunkは現在のテキストのチャンクです

使用法

• 依存関係を取得するためにmentalism_index conda envを調達します
• OpenAI APIキーをパスに置きます
• 入力テキストとプロンプトをdataフォルダーに入れます（プロンプトと結果の例が含まれています）
• rewrite.pyを実行します。

良いプロンプトを見つける前に多くの試行を受けることができるので、小さなテキストであなたのプロンプトをテストすることをお勧めします。

潜在的な改善

• オーバーフローのリスクを最小限に抑えながら、テキストサイズの管理を改善して大きなテキストチャンクで実行しようとすることができます（必要なだけ多くの例を提供できます）
• ユーザーが事前に検索インデックスに例の書き換えを追加させます
• 損失を回避し、全体的に実験を整理するために中間結果を保存する
• ベスト3インタラクティブモードを追加します（より良い：ユーザーにお気に入りのバージョンをオプションの4番目のオプションとして書くことができます）