backprompt

backprompt

backprompt จัดเตรียมโครงสร้างข้อมูลซึ่งช่วยให้ผู้ใช้สามารถสร้างพรอมต์แบบไดนามิกในขณะที่หลีกเลี่ยงการคำนวณ LLM ซ้ำ ๆ

แรงจูงใจ

ในงานขนาดใหญ่จำนวนมากที่ดำเนินการโดย LLMS มีการใช้พรอมต์เฉพาะหลายครั้ง-ครั้งเดียวสำหรับแต่ละอินสแตนซ์ของงาน ในกรณีเช่นนี้จำนวนการคำนวณที่ดำเนินการโดยการโทร LLM ในอนาคตสามารถลดลงได้โดยการแคชและใช้การแสดงของ LLM อีกครั้ง

backprompt ใช้ความคิดที่รู้จักกันดีในขั้นตอนต่อไปโดยการแคชการเป็นตัวแทน LLM ของข้อความ กลาง ในพรอมต์ การแคชระดับกลางอาจมีประโยชน์เมื่อต้องการปรับพรอมต์แบบไดนามิกโดยไม่ต้องคำนวณการเป็นตัวแทนของ LLM อีกครั้ง backprompt บทคัดย่อกระบวนการที่ซับซ้อนของการก่อสร้างที่รวดเร็วและการแคชเป็นการต่อการต่อสายแบบธรรมดา

การใช้งาน

ดู demos/minimal_example.ipynb สำหรับกรณีการใช้งานที่สมจริงยิ่งขึ้น นี่คือการสาธิตของเล่น:

 from transformers import AutoModelForCausalLM , AutoTokenizer
from backprompt import Text

# Load a GPT model and its tokenizer
model_name = 'gpt2'
model = AutoModelForCausalLM . from_pretrained ( model_name )
tokenizer = AutoTokenizer . from_pretrained ( model_name )
if tokenizer . pad_token is None :
    tokenizer . pad_token = tokenizer . eos_token
mt = ( model , tokenizer )

# Wrap strings in Text and construct them via concatenation
context = Text ( 'Hello there.' , mt )
choices = [ Text ( ' Senator' , mt ), Text ( ' General' , mt )]
endings = [ Text ( ' Amidala' , mt ), Text ( ' Kenobi...' , mt )]

texts = [ context + choice + ending for choice in choices for ending in endings ]
print ( texts [ - 1 ]. string )
# Hello there. General Kenobi...

# Get next-token logits by calling every text obj
# The punchline is that you don't have to worry about repeated computation
for text in texts :
    text ()

texts [ - 1 ]. model_repr [ 1 ]. logits [:, - 1 , :]

การติดตั้ง

 python -m pip install git+https://github.com/kddubey/backprompt.git

มันทำงานอย่างไร

หากคุณรู้ว่า backprop ทำงานอย่างไร (ดูวิดีโอ YouTube นี้) และโดยทั่วไปแล้วคุณรู้ว่ารูปแบบภาษาแบบอัตโนมัติแบบถอดรหัสได้ทำงานอย่างไร (ดูวิดีโอ YouTube นี้) คุณจะรู้ว่า backprompt ทำงานอย่างไร :-)

การเปรียบเทียบ:

• backprop → "ระดับกลาง" การไล่ระดับสีของฟังก์ชั่น
  backprompt →คีย์บล็อกความสนใจและค่า
• backprop →การไล่ระดับสีของฟังก์ชั่น
  backprompt → token logits
• backprop →กฎโซ่
  backprompt →การต่อกันของเทนเซอร์

TODO: การสร้างภาพกราฟ

การทดสอบ

TODO: ขยายกรณีทดสอบ

 pytest

โทดอส

วิจัย

• ความซับซ้อนในการคำนวณของการใช้คีย์และค่าที่ผ่านมา WRT # โทเค็นคืออะไร?
• การแจ้งเตือนไม่กี่ครั้งแสดงความเป็นอิสระที่น่าสนใจหรือไม่? ถ้าเป็นเช่นนั้นเราสามารถสร้างพรอมต์โดยใช้ตัวอย่างที่แตกต่างกันได้ทันที

รหัส

• ขยายการทดสอบ
  • LMS อัตโนมัติมากขึ้น
  • การแยกสตริงเพิ่มเติม
• การสร้างภาพกราฟ
• อนุญาตให้มีการเป็นตัวแทนแช่แข็ง / ความเป็นอิสระที่กำหนดเองในกราฟ
• การแบตช์
• โหมดกระตือรือร้น
• ModelRepr Dataclass เพื่อความสะดวก
  • เพิ่มและอัปเดตแอตทริบิวต์ token_logprobs ไปยัง OBJ เอาต์พุต LM
  • โดยค่าเริ่มต้นให้เก็บโทเค็นของโทเค็นสุดท้าย (ไม่ใช่แพด) ไว้ใน OBJ เอาต์พุต LM เอาต์พุต
• เอกสาร?