llm prepare下載llm prepare源代碼下載

llm prepare

Ai源碼

v1.0.18

下載

llm prepare

LLM-Prepare將復雜的項目目錄結構和文件轉換為單個平面文件或一組平面文件，從而促進了使用內在學習（ICL）提示的處理。

此NODE.JS工具根據提供的參數（至少一個目錄）遞歸掃描項目目錄。它生成了簡化的佈局視圖，其中包括所有目錄和匹配文件。此外，它將這種佈局視圖與整個項目的匯總文本內容結合在一起。默認情況下，匯總的文件內容被剝奪了註釋和不必要的空格。該工具支持輸出壓縮以減少令牌使用，並可以通過分解輸出來處理大型項目。包括示例提示以供指導。

什麼是文化學習（ICL）

內部文化學習（ICL）使模型能夠通過解釋提示中提供的上下文來執行任務，從而消除了需要進行其他培訓或微調。

了解有關文章學習（ICL）的更多信息

V0.1.8

可通過JSON配置：使用--config選項加載包含預定義參數和包括的路徑的JSON配置文件。

特徵

佈局視圖：提供項目的ASCII佈局視圖。
目錄遍歷：通過項目目錄進行遞歸掃描。
自定義文件過濾：基於指定模式包含文件。
忽略支持：自動尊重.ignore文件以排除特定的文件或目錄。
輸出合併：生成一個單一的平面文件合併文件內容和目錄結構的視圖。
多重輸出：基於提供的塊大小的文件內容和目錄結構的合併視圖生成多個平面文件。
可選地刪除佈局視圖：可選地從輸出中刪除佈局視圖。
選項包括註釋：在輸出中可選包括註釋。

示例提示

代碼審查：與模擬高級軟件工程師的交互式代碼審查。
生成MySQL創建表：基於您提供的CSV內容生成MySQL CREATE TABLE語句。
問答：由您的項目代碼提供支持的交互式問答環節。
README Generation ：模擬的高級技術作者根據您的項目代碼生成了readme.md。
簡單添加註釋：一組簡單提示，這些提示基於您的項目代碼（C＃，JavaScript，PHP，Python，Ruby，Ruby，Rust和Typescript）生成註釋。
技術文檔生成：模擬的高級技術作者根據您的項目代碼生成技術文檔。
測試生成：與模擬的高級軟件工程師和模擬質量保證的交互式測試生成。

再加上更多（包括面向CSV的新提示）。所有示例提示均已使用CHATGPT GPT-4測試。

依賴性

node.js ：腳本在node.js環境中運行。
FS-EXTRA ：標準Node.js fs模塊的擴展，提供其他方法和承諾支持。
忽略：用於處理類似於.gitignore的.ignore文件。
IstextorBinary ：確定給定文件是否包含文本或二進制數據。
打開：在您的默認瀏覽器中打開URL。
Yargs ：通過解析參數並生成優雅的用戶界面來幫助構建交互式命令行工具。
紗線/幫助者：為yargs提供實用方法。

安裝node.js

在安裝之前，請確保系統上安裝了NODE.JS和NPM（節點軟件包管理器）。您可以從node.js官方網站下載並安裝node.js。

安裝LLM Prepare

要安裝和使用LLM-Prepare，請按照以下步驟：

克隆存儲庫：首先將包含llm prepare的存儲庫克隆到您的本地計算機。

git clone https://github.com/samestrin/llm-prepare/

導航到項目的根目錄並運行：

npm install

要使系統上的任何位置提供LLM Prepare，您需要在全球安裝它。您可以使用NPM執行此操作。

在項目目錄中運行以下命令：

npm link

這將為您的腳本創建一個全局符號鏈接。現在，您可以使用終端中任何地方的llm-prepare運行腳本。

特定於平台的安裝說明

MacOS和Linux

提供的安裝步驟應適用於MACOS和Linux平台。

視窗

對於Windows，請確保在安裝過程中將Node.js添加到您的路徑中。 npm link命令也應在Windows PowerShell或命令提示符中工作，使您可以在全球運行腳本。

用法

要運行腳本，您需要提供一個強制性參數：項目目錄的路徑（ --path-name或-p ）。

常見用法示例：

基本用法：

這將處理指定的項目目錄中的所有文件，尊重任何.ignore文件，並將合併的內容和結構輸出到您的控制台。將文件模式默認為“*”

llm-prepare -p " /path/to/project "

或者

llm-prepare --path " /path/to/project "

指定文件模式：

這將處理指定項目目錄中的所有JavaScript文件，尊重任何.ignore文件，並將合併的內容和結構輸出到您的控制台。

llm-prepare -p " /path/to/project " -f " *.js "

指定輸出文件名：

這將處理指定的項目目錄中的所有文件，尊重任何.ignore文件，並將合併的內容和結構輸出到output.txt 。

llm-prepare -p " /path/to/project " -o " output.txt "

如果您不具體一個文件名，則將處理指定的項目目錄中的所有文件，尊重任何.ignore文件，並輸出project.txt的合併內容和結構。該文件名是根據路徑名變量中的頂級目錄自動生成的。

llm-prepare -p " /path/to/project " -o

您可以選擇設置llm_prepare_output_dir環境變量。如果設置了llm_prepare_output_dir環境變量，則輸出文件將寫入該目錄。

指定自定義忽略規則（通過命令行）：

如果您不想包含特定的文件或目錄，則可以使用--custom-ignore-string指定規則。

llm-prepare -p " /path/to/project " -o --custom-ignore-string " *docs*,*test* "

指定自定義忽略規則（使用文件）：

如果您不想包含特定的文件或目錄，則可以使用外部和--custom-ignore-filename指定規則。使用.gitignore文件格式。

llm-prepare -p " /path/to/project " -o --custom-ignore-filename " /path/to/.ignorefile "

指定自定義忽略規則（使用文件）：

如果您不想包含特定的文件或目錄，則可以使用外部和--custom-ignore-filename指定規則。使用.gitignore文件格式。

llm-prepare -p " /path/to/project " -o --custom-ignore-filename " /path/to/.ignorefile "

使用配置文件：

您可以使用JSON配置文件預先定義要包含在處理中的參數和路徑。

示例config.json文件：

{
  "args" : {
    "output-filename" : " output.txt " ,
    "compress" : true
  },
  "include" : [ " ./src/ " , " ./lib/ " ]
}

用配置文件運行腳本：

llm-prepare -c " config.json "

選項

      --help                    Show help                              [boolean]
  -p, --path                    Path to the project directory[string] [required]
  -f, --file-pattern            Pattern of files to include, e.g., ' .js$ ' or
                                ' * ' for all files        [string] [default: " * " ]
  -o, --output-filename         Output filename                         [string]
  -i, --include-comments        Include comments ? (Default: false)     [boolean]
  -c, --compress                Compress ? (Default: false)             [boolean]
      --chunk-size              Maximum size (in kilobytes) of each file[number]
  -s, --suppress-layout         Suppress layout in output (Default: false)
                                                                       [boolean]
      --default-ignore          Use a custom default ignore file        [string]
      --ignore-gitignore        Ignore .gitignore file in the root of the
                                project directory                      [boolean]
      --show-default-ignore     Show default ignore file               [boolean]
      --show-prompts            Show example prompts in your browser   [boolean]
      --custom-ignore-string    Comma-separated list of ignore patterns [string]
      --custom-ignore-filename  Path to a file containing ignore patterns
                                                                        [string]
      --config                  Path to the config file                 [string]
  -v, --version                 Display the version number             [boolean]

內在學習（ICL）

“雖然使用完整數據集的芬口仍然是一個強大的選擇，如果數據大大超過了上下文的長度，我們的結果表明，長篇小說ICL是一種有效的替代方案 - 增加推進時間計算的較高的交易登錄時間成本。隨著使用非常長的模型上下文長度的有效性和效率增加，我們相信長距離ICL將成為許多任務的強大工具。”
- 研究人員發現，很大的提示可以勝過LLM的微調

內部文化學習（ICL）允許大型語言模型（LLM）通過解釋提示中提供的上下文而無需進行其他培訓或微調來執行任務。這種方法與以前使用大量數據集對特定任務進行明確培訓的模型的先前方法顯著不同。取而代之的是，ICL利用該模型的預訓練的知識庫，這是在其最初廣泛的培訓階段積累的全面理解。

由於令牌大小或LLM可以在單個實例中處理和生成的數據量顯著增加，因此ICL的價值變得更加重要。令牌尺寸的增加使LLM可以處理更長，更複雜的輸入和輸出，從而增強其理解和生成複雜文本的能力。