หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด


https://datadreamer.dev

แจ้ง สร้างข้อมูลสังเคราะห์ โมเดลรถไฟและแนวตั้ง


DataDreamer เป็นไลบรารี Python โอเพนซอร์ซที่ทรงพลังสำหรับการแจ้งเตือนการสร้างข้อมูลสังเคราะห์และเวิร์กโฟลว์การฝึกอบรม มันถูกออกแบบมาให้เรียบง่ายมีประสิทธิภาพมากและเกรดการวิจัย

การติดตั้ง 

pip3 install datadreamer.dev
demo.py ผลของ demo.py



ดูสคริปต์ตัวอย่างเต็มรูปแบบ



ดูชุดข้อมูลสังเคราะห์และโมเดลที่ผ่านการฝึกอบรม

สำหรับการสาธิตและสูตรอาหารเพิ่มเติมดูหน้าการท่องเที่ยวอย่างรวดเร็ว

ด้วย DataDreamer คุณสามารถ:

  • สร้างเวิร์กโฟลว์การแจ้งเตือน : สร้างและเรียกใช้ขั้นตอนหลายขั้นตอนที่ซับซ้อนพร้อมการแจ้งเวิร์กโฟลว์ได้อย่างง่ายดายด้วยโอเพนซอร์สหลักหรือ LLM ที่ใช้ API
  • สร้างชุดข้อมูลสังเคราะห์ : สร้างชุดข้อมูลสังเคราะห์สำหรับงานนวนิยายหรือเพิ่มชุดข้อมูลที่มีอยู่ด้วย LLMS
  • โมเดลรถไฟ : โมเดลจัดตำแหน่ง รุ่นปรับแต่ง โมเดลการปรับแต่ง โมเดลกลั่น ฝึกอบรมข้อมูลที่มีอยู่หรือข้อมูลสังเคราะห์
  • ... เรียนรู้เพิ่มเติมเกี่ยวกับสิ่งที่เป็นไปได้ในคู่มือภาพรวม

DataDreamer คือ:

  • - ง่าย : ง่ายและเข้าถึงได้ง่ายในการใช้กับค่าเริ่มต้นที่สมเหตุสมผล แต่มีประสิทธิภาพพร้อมรองรับเทคนิคการตกเลือดขอบ
  • - เกรดวิจัย : สร้างขึ้นสำหรับนักวิจัยโดยนักวิจัย แต่สามารถเข้าถึงได้ทุกคน มุ่งเน้นไปที่ความถูกต้องแนวทางปฏิบัติที่ดีที่สุดและการทำซ้ำ
  • ? ️ มีประสิทธิภาพ : การแคชเชิงรุกและความสามารถในการกลับมาทำงานในตัว สนับสนุนเทคนิคต่าง ๆ เช่นการวัดปริมาณการฝึกอบรมที่มีประสิทธิภาพพารามิเตอร์ (LORA) และอื่น ๆ
  • ทำซ้ำได้ : เวิร์กโฟลว์ที่สร้างด้วย DataDreamer นั้นสามารถแชร์ได้ง่ายทำซ้ำและขยายได้
  • - ทำให้การแบ่งปันง่าย : ชุดข้อมูลการเผยแพร่และโมเดลนั้นง่าย สร้างการ์ดข้อมูลและการ์ดรุ่นโดยอัตโนมัติด้วยข้อมูลเมตา สร้างรายการการอ้างอิงใด ๆ ที่จำเป็น
  • ... เรียนรู้เพิ่มเติมเกี่ยวกับแรงจูงใจและหลักการออกแบบที่อยู่เบื้องหลัง DataDreamer

การอ้างอิง

กรุณาอ้างอิงกระดาษ dataDreamer: 

 @misc { patel2024datadreamer ,
      title = { DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows } , 
      author = { Ajay Patel and Colin Raffel and Chris Callison-Burch } ,
      year = { 2024 } ,
      eprint = { 2402.10379 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL }
}

ติดต่อ

โปรดติดต่อเราทางอีเมล ([email protected]) หรือบน Discord หากคุณมีคำถามความคิดเห็นหรือข้อเสนอแนะใด ๆ


ลิขสิทธิ์© 2024, Ajay Patel ปล่อยภายใต้ใบอนุญาต MIT

ขอขอบคุณผู้ดูแลที่ Hugging Face และ Litellm ที่ยอมรับการมีส่วนร่วมที่จำเป็นสำหรับ DataDreamer และให้การสนับสนุนต้นน้ำ

การระดมทุนกิตติกรรมประกาศ

ODNI, IARPA: งานวิจัยนี้ได้รับการสนับสนุนบางส่วนโดยสำนักงานผู้อำนวยการหน่วยข่าวกรองแห่งชาติ (ODNI) กิจกรรมโครงการวิจัยขั้นสูงของหน่วยข่าวกรอง (IARPA) ผ่านทางสัญญาโครงการที่หายไป #2022-22072200005 มุมมองและข้อสรุปที่มีอยู่ในที่นี้เป็นของผู้เขียนและไม่ควรตีความว่าจำเป็นต้องเป็นตัวแทนของนโยบายอย่างเป็นทางการไม่ว่าจะเป็นการแสดงหรือโดยนัยของ Odni, IARPA หรือรัฐบาลสหรัฐฯ รัฐบาลสหรัฐฯได้รับอนุญาตให้ทำซ้ำและจัดจำหน่ายซ้ำเพื่อวัตถุประสงค์ของรัฐบาลแม้จะมีคำอธิบายประกอบลิขสิทธิ์ใด ๆ ในนั้น

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด