Text Dataset Aid Plugin
1.0.1
ใช้ไฟล์ txt เพื่อเป็นที่ตั้งของชุดข้อมูลของคุณ คุณลักษณะในการส่งออก txt ของคุณไปยังไฟล์ JSONL จะถูกเพิ่มในไม่ช้า
การสร้างชุดข้อมูล NLP และการสร้างข้อความนั้นมีผลกระทบอย่างมากและมีศักยภาพที่จะอนุญาตให้นักวิจัยฝึกอบรมโมเดลที่สามารถสร้างข้อความโดยอัตโนมัติ อย่างไรก็ตามการสร้างชุดข้อมูลที่กำหนดเองเป็นกระบวนการที่น่าเบื่อและช้า
เครื่องช่วยชุดข้อมูลข้อความเป็นเครื่องมือที่มีประโยชน์ที่สามารถช่วยในการสร้างชุดข้อมูล finetuning สำหรับรุ่นการสร้างข้อความเช่น GPT-3 ด้วยมือ! สิ่งนี้สามารถทำให้ข้อความที่สร้างขึ้นโดยโมเดลของคุณหลังจาก Finetuning เป็นส่วนบุคคลที่มีรายละเอียดมากขึ้นหรือจัดรูปแบบดีกว่า ปฏิเสธที่จะจัดการกับเมนูผ่านการกำหนดค่า Hotkey!
ปลั๊กอินนี้สามารถใช้เพื่อสร้างข้อมูลการฝึกอบรมสำหรับรุ่น NLP และรุ่นการสร้างข้อความได้อย่างรวดเร็ว สิ่งนี้จะเพิ่มความเร็วในการวิจัยในพื้นที่เหล่านี้รวมถึงทำให้ผู้ปฏิบัติงานฝึกอบรมแบบจำลองเหล่านี้ได้ง่ายขึ้น
ปลั๊กอินชุดข้อมูลข้อมูลข้อความเป็นเครื่องมือที่มีประโยชน์ที่สามารถช่วยในการสร้างชุดข้อมูล finetuning สำหรับรุ่นการสร้างข้อความเช่น GPT-3 ด้วยมือ สิ่งนี้สามารถทำให้ข้อความที่สร้างขึ้นโดยโมเดลของคุณหลังจาก Finetuning เป็นส่วนบุคคลที่มีรายละเอียดมากขึ้นหรือจัดรูปแบบดีกว่า ปฏิเสธที่จะจัดการกับเมนูผ่านการกำหนดค่า Hotkey!
การอัปเดตโมเดลการสร้างข้อความของคุณเองในชุดข้อมูลที่รวบรวมไว้ในขณะที่ทำงานในสมองที่สองของคุณช่วยให้โมเดลของคุณเหมาะกับความต้องการของสมองที่สองของคุณ ปลั๊กอินนี้เหมาะกับการสร้างหรือแก้ไขเวิร์กโฟลว์เนื่องจากลักษณะของคำสั่งภายใน Obsidian หวังว่าคุณจะใช้ปลั๊กอินนี้มากเท่าที่ฉันทำ!
การสร้างแบบจำลองการสร้างข้อความของคุณช่วยให้สามารถสร้างข้อความที่เป็นธรรมชาติและแสดงออกได้มากขึ้น
ทรัพยากรที่ยอดเยี่ยมสำหรับหลักการปรับจูนจาก Microsoft
ฟังก์ชั่นหลักของปลั๊กอินนี้ทำได้ง่ายขึ้นผ่านการใช้โหมด VIM แต่ควรใช้งานได้ทั้งสองกรณี มีคำสั่งสองคำสั่งในปัจจุบัน: (แต่ละคำสั่งเหล่านี้มีฮอตคีย์ที่มีการกำหนดค่าใช้จ่ายจากการขาดสาย)
เมื่อคุณส่งพรอมต์ไปยังชุดข้อมูลหากมีพรอมต์อยู่แล้วปลั๊กอินจะไม่ทำอะไรเลย
เมื่อคุณส่งเสร็จสิ้นไปยังชุดข้อมูลและมีการแจ้งเตือนข้อความจะถูกส่งไปยังชุดข้อมูลเพื่อให้เสร็จสมบูรณ์ไปยังพรอมต์นั้น
เมื่อคุณส่งความสมบูรณ์ไปยังชุดข้อมูลและไม่มีพรอมต์การเลือกข้อความจะถูกแทรกลงในชุดข้อมูลด้วยพรอมต์ที่ว่างเปล่าล่วงหน้าเพื่อเลือกข้อความ
ตัวอย่างของสิ่งนี้
{ "prompt" : " " , "completion" : " Hello can I help you? " }อีกตัวอย่างหนึ่ง
{ "prompt" : " " , "completion" : " Hi, How can I help you today " }ส่งการเลือกเพื่อส่งไปยังไฟล์ชุดข้อมูลของคุณเป็นพรอมต์ส่งการเลือกเพื่อส่งไปยังไฟล์ชุดข้อมูลของคุณเมื่อเสร็จสิ้น
ตัวอย่างชุดข้อมูล finetuning
{ "prompt" : " Company: BHFF insurance n Product: allround insurance n Ad:One stop shop for all your insurance needs! n Supported: " , "completion" : " yes " }
{ "prompt" : " Company: Loft conversion specialists n Product: - n Ad:Straight teeth in weeks! n Supported: " , "completion" : " no " }<vault>/.obsidian/plugins/.obsidian อาจถูกซ่อนไว้ บน MacOS คุณควรจะกด Command+Shift+Dot เพื่อแสดงโฟลเดอร์ใน Finderมีการตั้งค่าหลักสี่รายการที่กำหนดค่าได้ภายในแผงการตั้งค่าของปลั๊กอิน แต่ค่าเริ่มต้นจะถูกตั้งค่าสำหรับรูปแบบยอดนิยมสำหรับชุดข้อมูลสำหรับรุ่นการสร้างข้อความที่เรียกว่า JSONL
| ชื่อการตั้งค่า | คำอธิบาย | ค่าเริ่มต้น |
|---|---|---|
| คำนำหน้าสำหรับพรอมต์ | นี่คือสตริงที่เตรียมไว้ล่วงหน้าไปยังพรอมต์เมื่อส่งไปยังชุดข้อมูล | {"prompt": |
| คำต่อท้ายสำหรับพรอมต์ | นี่คือสตริงที่ผนวกเข้ากับพรอมต์เมื่อส่งไปยังชุดข้อมูล | , |
| คำนำหน้าสำหรับการเสร็จสิ้น | นี่คือสตริงที่เตรียมไว้ให้เสร็จสมบูรณ์เมื่อส่งไปยังชุดข้อมูล | "completion": |
| คำต่อท้ายสำหรับเสร็จสิ้น | นี่คือสตริงที่ผนวกเข้ากับความสมบูรณ์เมื่อส่งไปยังชุดข้อมูล | }n |
ช่วยในการพัฒนา
การสร้างเวอร์ชันใหม่:
git tag -a 1.0.1 -m " 1.0.1 "
git push origin 1.0.1แรงบันดาลใจจากประสิทธิภาพและการดึงดูดความสนใจของการปรับแต่งรูปแบบภาษาของคุณเองปลั๊กอินนี้ช่วยให้คุณสามารถสร้างชุดข้อมูลจากบันทึกย่อของคุณในรูปแบบของพรอมต์และการตอบกลับ จัดรูปแบบข้อความตามข้อกำหนดของ OpenAI โดยอัตโนมัติสำหรับรุ่น finetuning เช่น GPT3
ปลั๊กอินนี้แชร์ simularities กับปลั๊กอิน textTransporter ที่ทำโดย tfthacker
ทำด้วย❤โดย Conner Ohnesorge
