llm prepare

llm-prepare

LLM-Prepare mengonversi struktur dan file direktori proyek yang kompleks menjadi satu file datar atau set file datar, memfasilitasi pemrosesan menggunakan permintaan pembelajaran dalam-konteks (ICL).

Alat Node.js ini secara rekursif memindai direktori proyek berdasarkan argumen yang disediakan (setidaknya direktori). Ini menghasilkan tampilan tata letak yang disederhanakan yang mencakup semua direktori dan file yang cocok. Selain itu, ini menggabungkan tampilan tata letak ini dengan konten teks agregat dari seluruh proyek. Secara default, konten file agregat dilucuti komentar dan whitespace yang tidak perlu. Alat ini mendukung kompresi output untuk mengurangi penggunaan token dan dapat menangani proyek besar dengan memotong output. Contoh permintaan disertakan untuk panduan.

Apa itu Pembelajaran Dalam Konteks (ICL)

In-Context Learning (ICL) memungkinkan model untuk melakukan tugas dengan menafsirkan konteks yang disediakan dalam prompt, menghilangkan kebutuhan untuk pelatihan tambahan atau penyempurnaan.

Pelajari lebih lanjut tentang pembelajaran dalam konteks (ICL)

V0.1.8

• Dapat dikonfigurasi melalui JSON : Gunakan opsi --config untuk memuat file konfigurasi JSON yang berisi argumen dan jalur yang telah ditentukan sebelumnya.

Fitur

• Tampilan Tata Letak : Menyediakan tampilan tata letak ASCII dari proyek Anda.
• Direktori Traversal : Memindai secara rekursif melalui Direktori Proyek.
• Penyaringan File Kustom : Sertakan file berdasarkan pola yang ditentukan.
• Abaikan Dukungan : Secara otomatis menghormati file .ignore untuk mengecualikan file atau direktori tertentu.
• Konsolidasi Output : Menghasilkan tampilan file flat tunggal konsolidasi dari konten file dan struktur direktori.
• Output multifile : Menghasilkan beberapa file datar dari tampilan konsolidasi konten file dan struktur direktori berdasarkan ukuran chunk yang disediakan.
• Secara opsional Lepaskan tampilan tata letak : Hapus tampilan tata letak secara opsional dari output.
• Opsional Sertakan komentar : Opsional sertakan komentar dalam output.

Contoh permintaan

• Tinjauan Kode : Tinjauan Kode Interaktif dengan Insinyur Perangkat Lunak Senior yang disimulasikan.
• Hasilkan Tabel Buat MySQL : Hasilkan Pernyataan CREATE TABLE berdasarkan Konten CSV yang disediakan.
• Pertanyaan dan Jawaban : Sesi tanya jawab interaktif didukung oleh kode proyek Anda.
• Pembuatan ReadMe : Penulis teknis senior yang disimulasikan menghasilkan readme.md berdasarkan kode proyek Anda.
• Komentar Tambahkan Sederhana : Satu set prompt sederhana yang menghasilkan komentar berdasarkan kode proyek Anda (C#, JavaScript, PHP, Python, Ruby, Rust, dan TypeScript).
• Generasi Dokumen Teknis : Penulis teknis senior yang disimulasikan menghasilkan dokumentasi teknis berdasarkan kode proyek Anda.
• Generasi Tes : Pembuatan uji interaktif dengan insinyur perangkat lunak senior yang disimulasikan dan QA yang disimulasikan.

Ditambah lagi ( termasuk petunjuk CSV yang berorientasi CSV ). Semua contoh prompt telah diuji dengan ChatGPT GPT-4.

Dependensi

• Node.js : Skrip berjalan di lingkungan Node.js.
• FS-EXTRA : Perpanjangan modul Node.js fs standar, memberikan metode tambahan dan dukungan janji.
• Abaikan : Digunakan untuk menangani file .ignore mirip dengan .gitignore .
• ISTEXTORBINARY : Menentukan apakah file yang diberikan berisi teks atau data biner.
• Buka : Membuka URL di browser default Anda.
• YARGS : Membantu dalam membangun alat baris perintah interaktif, dengan menguraikan argumen dan menghasilkan antarmuka pengguna yang elegan.
• Yargs/Pembantu : Menyediakan metode utilitas untuk yargs .

Menginstal Node.js

Sebelum menginstal, pastikan Anda memiliki Node.js dan NPM (Node Package Manager) yang diinstal pada sistem Anda. Anda dapat mengunduh dan menginstal Node.js dari situs web resmi Node.js.

Menginstal LLM-Prepare

Untuk menginstal dan menggunakan LLM-Prepare, ikuti langkah-langkah ini:

Kloning Repositori: Mulailah dengan mengkloning repositori yang berisi LLM-Prepare ke mesin lokal Anda.

git clone https://github.com/samestrin/llm-prepare/

Arahkan ke direktori root proyek Anda dan jalankan:

npm install

Untuk membuat perbaikan LLM tersedia dari lokasi mana pun di sistem Anda, Anda perlu menginstalnya secara global. Anda dapat melakukan ini menggunakan NPM.

Jalankan perintah berikut di direktori proyek Anda:

npm link

Ini akan membuat symlink global ke skrip Anda. Sekarang, Anda dapat menjalankan skrip menggunakan llm-prepare dari mana saja di terminal Anda.

Instruksi instalasi khusus platform

MacOS dan Linux

Langkah-langkah instalasi yang disediakan harus berfungsi apa adanya untuk platform macOS dan Linux.

Windows

Untuk Windows, pastikan bahwa Node.js ditambahkan ke jalur Anda selama instalasi. Perintah npm link juga harus berfungsi di Windows PowerShell atau Command Prompt, memungkinkan Anda untuk menjalankan skrip secara global.

Penggunaan

Untuk menjalankan skrip, Anda perlu memberikan satu argumen wajib: jalur ke direktori proyek ( --path-name atau -p ).

Contoh Penggunaan Umum:

Penggunaan Dasar:

Ini akan memproses semua file dalam direktori proyek yang ditentukan, menghormati file .ignore apa pun, dan mengeluarkan konten dan struktur konsolidasi ke konsol Anda. Default pola file ke "*"

llm-prepare -p " /path/to/project "

atau

llm-prepare --path " /path/to/project " 

Tentukan pola file:

Ini akan memproses semua file JavaScript di direktori proyek yang ditentukan, menghormati file .ignore apa pun, dan mengeluarkan konten dan struktur konsolidasi ke konsol Anda.

llm-prepare -p " /path/to/project " -f " *.js " 

Tentukan nama file output:

Ini akan memproses semua file dalam direktori proyek yang ditentukan, menghormati file .ignore apa pun, dan mengeluarkan konten dan struktur konsolidasi ke output.txt .

llm-prepare -p " /path/to/project " -o " output.txt "

Jika Anda tidak spesifik nama file, ini akan memproses semua file dalam direktori proyek yang ditentukan, menghormati file .ignore apa pun, dan menghasilkan konten dan struktur yang terkonsolidasi ke Project.txt . Nama file dihasilkan secara otomatis berdasarkan direktori tingkat atas dalam variabel path-name.

llm-prepare -p " /path/to/project " -o

Anda secara opsional dapat mengatur variabel lingkungan LLM_PREPARE_OUTPUT_DIR . Jika variabel lingkungan LLM_PREPARE_OUTPUT_DIR diatur, file output ditulis ke direktori itu.

Tentukan aturan abaikan khusus (melalui baris perintah):

Jika Anda tidak ingin menyertakan file atau direktori tertentu, Anda dapat menentukan aturan menggunakan --custom-ignore-string .

llm-prepare -p " /path/to/project " -o --custom-ignore-string " *docs*,*test* " 

Tentukan aturan abaikan khusus (menggunakan file):

Jika Anda tidak ingin menyertakan file atau direktori tertentu, Anda dapat menentukan aturan menggunakan --custom-ignore-filename . Gunakan pemformatan file .gitignore.

llm-prepare -p " /path/to/project " -o --custom-ignore-filename " /path/to/.ignorefile " 

Tentukan aturan abaikan khusus (menggunakan file):

Jika Anda tidak ingin menyertakan file atau direktori tertentu, Anda dapat menentukan aturan menggunakan --custom-ignore-filename . Gunakan pemformatan file .gitignore.

llm-prepare -p " /path/to/project " -o --custom-ignore-filename " /path/to/.ignorefile " 

Menggunakan file konfigurasi:

Anda dapat menggunakan file konfigurasi JSON untuk mendahului argumen dan jalur untuk dimasukkan dalam pemrosesan.

Contoh file config.json :

{
  "args" : {
    "output-filename" : " output.txt " ,
    "compress" : true
  },
  "include" : [ " ./src/ " , " ./lib/ " ]
}

Untuk menjalankan skrip dengan file konfigurasi:

llm-prepare -c " config.json " 

Opsi

      --help                    Show help                              [boolean]
  -p, --path                    Path to the project directory[string] [required]
  -f, --file-pattern            Pattern of files to include, e.g., ' .js$ ' or
                                ' * ' for all files        [string] [default: " * " ]
  -o, --output-filename         Output filename                         [string]
  -i, --include-comments        Include comments ? (Default: false)     [boolean]
  -c, --compress                Compress ? (Default: false)             [boolean]
      --chunk-size              Maximum size (in kilobytes) of each file[number]
  -s, --suppress-layout         Suppress layout in output (Default: false)
                                                                       [boolean]
      --default-ignore          Use a custom default ignore file        [string]
      --ignore-gitignore        Ignore .gitignore file in the root of the
                                project directory                      [boolean]
      --show-default-ignore     Show default ignore file               [boolean]
      --show-prompts            Show example prompts in your browser   [boolean]
      --custom-ignore-string    Comma-separated list of ignore patterns [string]
      --custom-ignore-filename  Path to a file containing ignore patterns
                                                                        [string]
      --config                  Path to the config file                 [string]
  -v, --version                 Display the version number             [boolean]

In-Context Learning (ICL)

"Sementara finetuning dengan dataset lengkap masih merupakan opsi yang kuat jika data jauh melebihi panjang konteks, hasil kami menunjukkan bahwa ICL konteks panjang adalah alternatif yang efektif-perdagangan biaya finetuning waktu untuk peningkatan komputasi waktu inferensi. Karena efektivitas dan efisiensi dari banyak model konteks yang sangat panjang.

- Permintaan besar dapat mengungguli fine-tuning untuk LLMS, peneliti menemukan

In-context Learning (ICL) memungkinkan model bahasa besar (LLM) untuk melakukan tugas dengan menafsirkan konteks yang disediakan dalam prompt tanpa pelatihan tambahan atau penyesuaian. Pendekatan ini berbeda secara signifikan dari metode sebelumnya di mana model dilatih secara eksplisit pada tugas tertentu menggunakan dataset yang luas. Sebaliknya, ICL memanfaatkan basis pengetahuan pra-terlatih model-pemahaman komprehensif yang terakumulasi selama fase pelatihan awal yang luas.

Sebagai ukuran token - atau jumlah data yang dapat diproses dan dihasilkan oleh LLM dalam satu contoh - telah meningkat secara dramatis, nilai ICL telah menjadi lebih signifikan. Peningkatan ukuran token ini memungkinkan LLM untuk menangani input dan output yang lebih lama dan lebih kompleks, yang meningkatkan kemampuan mereka untuk memahami dan menghasilkan teks yang canggih.

In-Context Learning (ICL) meminta

In-Context Learning (ICL) meminta panduan model bahasa besar (LLM) dalam melakukan tugas dengan memberikan konteks yang relevan dalam prompt input. Permintaan ini biasanya mencakup contoh, instruksi, atau pola yang membantu model memahami cara menghasilkan respons yang tepat. Berikut adalah beberapa karakteristik dan contoh prompt ICL:

Karakteristik prompt ICL:

• Contoh kontekstual : Berikan contoh dalam prompt untuk menunjukkan format output yang diinginkan.
• Instruksi terperinci : Tawarkan instruksi yang jelas dan terperinci tentang cara memproses input dan menghasilkan output.
• Pola dan Templat : Gunakan pola atau templat yang dapat diikuti oleh model untuk memastikan konsistensi dalam respons.
• Data yang relevan : Sertakan data atau informasi latar belakang yang diperlukan yang membantu model memahami konteks tugas.
• Bimbingan tambahan : Terkadang, panduan langkah demi langkah dimasukkan untuk memimpin model melalui tugas-tugas kompleks.

Menyumbang

Kontribusi untuk proyek ini dipersilakan. Harap bayar repositori dan kirimkan permintaan tarik dengan perubahan atau perbaikan Anda.

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT - lihat file lisensi untuk detailnya.

Membagikan