AI_Coding

AI輔助編碼和LLM提示工程

介紹

該存儲庫提供了與AI輔助編碼，自回歸大型語言模型（LLM）和高級及時工程技術相關的資源和演示。

涵蓋的主題：

1. AI輔助編碼
2. 自回歸大型語言模型（LLMS）
3. 及時工程201

---

AI輔助編碼

存儲庫包含jupyter筆記本（ AI_ASSISTED_CODING.ipynb ），該筆記本使用語言模型演示了AI輔助編碼技術。

---

自回歸語言模型

自回歸的LLM基於輸入文本預測下一個單詞，並作為概率內核進行操作。

關鍵概念：

• 下一個字預測：給定前綴，該模型生成了最有可能的下一個單詞。
• 隨機性質：給定的輸入可能會產生從概率分佈中採樣的不同輸出，這可能導致不一致或幻覺。
• 概率計算：語言模型基於先前的觀察結果將概率分配給單詞序列。

大型語言模型的類型：

1. BASE LLM（預培訓）：在大型文本語料庫中接受培訓，以預測句子中的下一個單詞。
2. 指導調整的LLM（微調）：優化以遵循說明並使用以下技術提高響應精度：
   • 監督微調（SFT）
   • 通過人為反饋（RLHF）的加強學習
   • 直接優先優化（DPO）

---

採樣和參數

控制模型輸出的關鍵參數：

• 溫度：控制隨機性（較高的值=更多的創造力，較低的值=更確定性的響應）。
• TOP-P（核採樣）：限制對最可能的子集的限制選擇。
• logprobs：對調試和置信分析的日誌概率分數。
• 處罰：
  • 頻率懲罰：減少頻繁單詞的重複。
  • 存在懲罰：通過避免重複的短語來鼓勵各種產出。
• 最大令牌：限制響應長度。
• 停止序列：定義停止文本生成的令牌序列。
• n＆best_of：控制生成的完成數。

---

及時工程201

存儲庫包括一個jupyter筆記本電腦（ PROMPT_ENGINEERING.ipynb ），展示了llms的及時優化技術。

核心主題：

• 了解模型行為：微調提示實現所需的響應。
• 控制創造力和準確性：調整結構化，相干和相關輸出的參數。
• 調試模型響應：使用日誌概率來完善提示。

---

演示和用法

要探索概念，請運行提供的Jupyter筆記本：

1. AI_ASSISTED_CODING.ipynb - AI輔助編碼演示。
2. PROMPT_ENGINEERING.ipynb - 高級及時工程策略。

---

參考

• 深度學習。
• Stanford NLP（CS224N）
• AI工程研究

有關貢獻，請打開拉動請求或在此存儲庫中創建問題。愉快的編碼！