ollama grid search

การค้นหากริด Ollama: ประเมิน LLMs และพรอมต์หลายครั้งทันที

โครงการนี้ทำให้กระบวนการเลือกรุ่นที่ดีที่สุด, พรอมต์หรือพารามิเตอร์การอนุมานที่ดีที่สุดสำหรับกรณีการใช้งานที่กำหนดช่วยให้คุณวนซ้ำชุดค่าผสมและเพื่อตรวจสอบผลลัพธ์ด้วยสายตา

มันถือว่า Ollama ได้รับการติดตั้งและให้บริการปลายทางไม่ว่าจะใน localhost หรือในเซิร์ฟเวอร์ระยะไกล

นี่คือสิ่งที่การทดลองสำหรับพรอมต์ง่าย ๆ ทดสอบใน 3 รุ่นที่แตกต่างกันดูเหมือนว่า:

(สำหรับการดูขั้นลึกเพิ่มเติมที่กระบวนการประเมินผลที่ได้รับความช่วยเหลือจากเครื่องมือนี้โปรดตรวจสอบ https://dezoito.github.io/2023/12/27/rust-ollama-grid-search.html)

สารบัญ

• การติดตั้ง
• คุณสมบัติ
• แนวคิดการค้นหากริด
• การทดสอบ A/B
• คลังเก็บ
• บันทึกการทดลอง
• คุณสมบัติในอนาคต
• การบริจาค
• การพัฒนา
• การอ้างอิง
• กิตติกรรมประกาศ

การติดตั้ง

ตรวจสอบหน้าเผยแพร่สำหรับโครงการหรือบนแถบด้านข้าง

คุณสมบัติ

• ดึงข้อมูลรุ่นจากเซิร์ฟเวอร์ Ollama ในท้องถิ่นหรือระยะไกลโดยอัตโนมัติ
• วนซ้ำหลายรุ่นที่แตกต่างกันแจ้งและพารามิเตอร์เพื่อสร้างการอนุมาน
• การทดสอบ A/B ที่แตกต่างกันในหลายรุ่นพร้อมกัน
• อนุญาตให้มีการวนซ้ำหลายครั้งสำหรับการรวมกันของพารามิเตอร์แต่ละครั้ง
• อนุญาตให้มีการเกิดขึ้นพร้อมกัน หรือ การอนุมานแบบซิงโครนัสที่ จำกัด (เพื่อป้องกันเซิร์ฟเวอร์สแปม);
• ตัวเลือกพารามิเตอร์การอนุมานและการตอบสนองข้อมูลเมตา (เวลาอนุมาน, โทเค็นและโทเค็น/s);
• การเรียกร้องให้มีการเรียกการอนุมานแต่ละครั้ง
• การเลือกรุ่นสามารถกรองตามชื่อ;
• รายการทดลองที่สามารถดาวน์โหลดได้ในรูปแบบ JSON;
• การทดลองสามารถตรวจสอบได้ในมุมมองที่อ่านได้
• เรียกใช้การทดลองที่ผ่านมาอีกครั้งการโคลนนิ่งหรือแก้ไขพารามิเตอร์ที่ใช้ในอดีต
• การกำหนดเวลาการอนุมานที่กำหนดค่าได้
• พารามิเตอร์เริ่มต้นที่กำหนดเองและพรอมต์ระบบสามารถกำหนดได้ในการตั้งค่า
• ฐานข้อมูลพรอมต์ที่ใช้งานได้อย่างสมบูรณ์พร้อมตัวอย่าง
• สามารถเลือกพรอมต์และ "เติมข้อความอัตโนมัติ" โดยพิมพ์ "/" ในอินพุต

การค้นหากริด (หรือสิ่งที่คล้ายกัน ... )

ในทางเทคนิคคำว่า "Grid Search" หมายถึงการวนซ้ำผ่านชุดของ hyperparams โมเดลที่แตกต่างกันเพื่อเพิ่มประสิทธิภาพของโมเดล แต่มักหมายถึงพารามิเตอร์เช่น batch_size , learning_rate หรือ number_of_epochs ที่ใช้กันทั่วไปในการฝึกอบรม

แต่แนวคิดที่นี่คล้ายกัน:

ให้กำหนดการเลือกแบบจำลองการแจ้งเตือนและการรวมพารามิเตอร์บางอย่าง:

พรอมต์จะถูกส่งหนึ่งครั้งสำหรับ ค่า พารามิเตอร์แต่ละค่าสำหรับแต่ละรุ่นที่เลือกโดยสร้างชุดการตอบสนอง

การทดสอบ A/B

ในทำนองเดียวกันคุณสามารถทำการทดสอบ A/B ได้โดยเลือกรุ่นที่แตกต่างกันและเปรียบเทียบผลลัพธ์สำหรับการรวมกันของพรอมต์/พารามิเตอร์เดียวกันหรือทดสอบพรอมต์ที่แตกต่างกันภายใต้การกำหนดค่าที่คล้ายกัน:

การเปรียบเทียบผลลัพธ์ของพรอมต์ที่แตกต่างกันสำหรับรุ่นเดียวกัน

คลังเก็บ

คุณสามารถบันทึกและจัดการพรอมต์ของคุณ (เราต้องการให้พรอมต์เข้ากันได้กับ WebUI แบบเปิด)

คุณสามารถเติมข้อความ อัตโนมัติได้ โดยพิมพ์ "/" (ได้รับแรงบันดาลใจจาก WebUI แบบเปิดเช่นกัน):

บันทึกการทดลอง

คุณสามารถแสดงรายการตรวจสอบหรือดาวน์โหลดการทดลองของคุณ:

คุณสมบัติในอนาคต

• ผลการให้คะแนนและการกรองตามเกรด
• การนำเข้าการส่งออกและแบ่งปันรายการพรอมต์และไฟล์ทดลอง

การบริจาค

• สำหรับข้อบกพร่องที่ชัดเจนและการสะกดคำผิดโปรดไปข้างหน้าและส่ง PR

• หากคุณต้องการเสนอคุณสมบัติใหม่เปลี่ยนฟังก์ชั่นที่มีอยู่หรือเสนอสิ่งที่ซับซ้อนกว่านี้โปรดเปิดปัญหาสำหรับการสนทนา ก่อนที่ จะทำงานให้เสร็จใน PR

การพัฒนา

1. ตรวจสอบให้แน่ใจว่าคุณติดตั้งสนิม

2. โคลนที่เก็บ (หรือส้อม)

git clone https://github.com/dezoito/ollama-grid-search.git
cd ollama-grid-search

3. ติดตั้งการพึ่งพาส่วนหน้า

    cd < project root >
   # I'm using bun to manage dependencies,
   # but feel free to use yarn or npm
   bun install

4. ตรวจสอบให้แน่ใจว่ามีการกำหนดค่า rust-analyzer ให้เรียกใช้ Clippy เมื่อตรวจสอบรหัส

   หากคุณกำลังเรียกใช้รหัส VS ให้เพิ่มสิ่งนี้ลงในไฟล์ settings.json ของคุณ

   {
      ...
      "rust-analyzer.check.command" : " clippy " ,
   }

   (หรือดีกว่ายังใช้ไฟล์การตั้งค่าที่ให้มาพร้อมกับรหัส)

5. เรียกใช้แอพในโหมดการพัฒนา

    cd < project root > /
   bun tauri dev

6. ไปคว้ากาแฟสักถ้วยเพราะอาจใช้เวลาสักครู่

การอ้างอิง

งานต่อไปนี้และวิทยานิพนธ์ได้อ้างถึงที่เก็บนี้:

Inouye, D & Lindo, L, & Lee, R & Allen, E; วิทยาการคอมพิวเตอร์และวิศวกรรมวิทยานิพนธ์อาวุโส: การปรับแต่งอัตโนมัติใน Lora Hyperparameters Santa Clara University, 2024 https://scholarcommons.scu.edu/cgi/viewcontent.cgi?article=1271&context=cseng_senior

ขอบคุณ!

ขอขอบคุณ @fabianlars, @peperroni21 และ @tomreidnz