nanoChatGPT

納米攝影

一條準則Nanogpt，但在會話數據上進行了填充

更新中的所有更新
COLAB鏈接
要查看其帽甲矽酸鹽，請前往colab鏈接，只需運行git clone ， pip install和prepare.py --init_from=huggingface

特徵

• 中型數據集（〜700MB），充滿了各種對話和一些算術

• 在擁抱面上可用的模型和數據集

• （充其量），它可以就各種主題與您交談，並在主題之間平穩切換

• GPT-2-MEDIUM 3.53億參數

• 對GPU的推斷非常快

• 用戶聊天

• chat.py具有類似於OpenAI API停止的功能，在一個單詞之後刪除所有內容

• 設置上下文開始對話，為聊天機器人創造全新的個性

  !python chat.py --init_from=huggingface --context=""

它如何工作？

這是Nanogpt的叉子，但是接受了聊天機器人的數據格式，例如chatgpt，其格式受到oasst-pythia-12b啟發

 <human> ... <endOfText>
<Bot> ... <endOfText>
<human> ... <endOfText>
<Bot> ... <endOfText>
<human> ... <endOfText>
<Bot> ... <endOfText>

問題 /毒品

• 數學和邏輯推理

  • 雖然大多數是該模型的範圍，但這是對未來模型的範圍，但兩個主要選項是檢測數學並運行後端代碼，或者使用數學鍊鍊訓練模型，以免更可行，對於邏輯推理，我可能會嘗試合併諸如garage-bAInd/Open-Platypus等數據集，等等。

• 沒有內存/回憶

  • 儘管此模型的範圍可能不超出範圍，但對於將來的模型來說，這是許多模型，您可以詢問您只是在談論什麼或總結上面的對話。當嘗試使用此模型進行嘗試時：

     Human: Dogecoin is cool 
    Bot: indeed, very shibe
    Human: what were we just talking about?
    Bot: me and a friend gave up on mining, but now I can
    

    如我們所見，它繼續以挖掘的句子繼續進行，確認它理解上下文（GPT2信息），但沒有回憶的能力。我懷疑這與模型數據有關，並且如果我要餵養數據，例如短篇下語呼叫和摘要數據，它將獲得這些能力

任何可以為回購做出貢獻的人，請這樣做，歡迎所有貢獻，只需在數據集中添加一點並擴展數據集將是驚人的。

限制

我沒有製作構成這些數據的數據轉儲/工作庫，也無法解釋任何偏見，因為數據集自我基於可能存在或可能沒有偏見的真實人的對話。該模型是用於學術研究目的的，並不是針對任何重要或高風險場景。不要遵循其建議

數據中有什麼

• 人格室（不用於商業用途）
• Twitter轉儲語料庫
• Ubuntu對話框語料庫
• 聊天機器人競技場對話（不適合商業用途）
• Parlai同理心聊天（不適合商業用途）
• Hackernews傾倒語料庫
• Babylm挑戰語音數據（不確定，但可能不是用於商業用途）
• Eleuthier AI算術數據集
• OASST-1的一小部分

出於商業目的，只需通過input36.txt將文件input1.txt取

引用

 @misc{zheng2023judging,
      title={Judging LLM-as-a-judge with MT-Bench and Chatbot Arena}, 
      author={Lianmin Zheng and Wei-Lin Chiang and Ying Sheng and Siyuan Zhuang and Zhanghao Wu and Yonghao Zhuang and Zi Lin and Zhuohan Li and Dacheng Li and Eric. P Xing and Hao Zhang and Joseph E. Gonzalez and Ion Stoica},
      year={2023},
      eprint={2306.05685},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}