text_rewritter

Penulis ulang teks

Menggunakan Langchain dan GPT3 untuk menulis ulang potongan teks besar dengan potongan (mengingat modifikasi sebelumnya untuk memperhitungkannya).

Teori

Teks diiris menjadi potongan -potongan yang diproses secara berurutan dengan prompt berikut (disingkat untuk dua panggilan pertama):

 You are rewriting a novel, rewrite the full extract according to the instructions:

INSTRUCTIONS:
{instructions}

EXAMPLES OF REWRITINGS FROM OTHER PARTS OF THE TEXT:

{previous_rewrites}

EXTRACT TO REWRITE:
{previous_chunk}
{chunk}

REWRITTEN EXTRACT:
{previous_rewrite}

instructions adalah prompt yang disediakan pengguna previous_rewrites adalah contoh penulisan ulang yang chunknya mirip dengan potongan yang disediakan previous_chunk / previous_rewrite adalah potongan teks sebelumnya (pengasuhan kontinuitas) adalah chunk teks saat ini

Penggunaan

• Sumber mentalism_index conda env untuk mendapatkan dependensi
• Letakkan Kunci API Openai di Path
• Masukkan teks input Anda dan prompt di folder data (berisi contoh -contoh prompt dan hasilnya)
• Jalankan rewrite.py .

Saya sarankan menguji petunjuk Anda pada teks yang lebih kecil karena dapat mengambil banyak uji coba sebelum menemukan prompt yang bagus.

Potensi perbaikan

• Seseorang dapat meningkatkan manajemen ukuran teks untuk mencoba dan menjalankan potongan teks besar sambil meminimalkan risiko overflow (kami dapat memberikan persis sebanyak mungkin contoh yang diperlukan)
• Biarkan pengguna menambahkan contoh penulisan ulang ke indeks pencarian terlebih dahulu
• Menyimpan hasil perantara untuk menghindari kehilangan dan, secara keseluruhan, mengatur percobaan
• Tambahkan Mode Interaktif Best-of-3 (Better: kami dapat membiarkan pengguna menulis versi favorit mereka sebagai opsi ke-4 opsional)