llm memory

LLM에서 소수의 기억의 인정, 리콜 및 유지

이 저장소에는 다음 논문에서보고 된 결과를 재현하기위한 코드가 포함되어 있습니다.

Orhan AE (2023) 큰 언어 모델에서 소수의 기억의 인식, 리콜 및 유지. ARXIV : 2303.17557.

이 저장소에는 3 개의 Python 파일 train.py , test.py , generate.py (Huggingface Caital Language Modeling 예제에서 수정)가 모델을 훈련시키고 (또는 Finetune) 각각 인식 테스트를 실행하고 리콜 테스트를 실행합니다.

사용 예제

이 파일에 대한 일부 사용 예는 다음과 같습니다.

• FINETUNE 4 GPU (총 배치 크기는 4x4 = 16 문장)에 1 개의 epoch (1 노출)에 대해 seen_data_0.json 의 연구 문장이있는 gpt-j-6B 모델을 FINETUNE HUGGINGFACE를 사용하여 프레임 워크 (여기서 예제 구성 파일 참조) :

 accelerate launch - - config_file accelerate_config . yaml - - num_cpu_threads_per_process 4 train . py 
    - - model_name_or_path "EleutherAI/gpt-j-6B" 
    - - train_file "data/llm-experiment-data/expt1/seen_data_0.json" 
    - - per_device_train_batch_size 4 
    - - learning_rate 0.00001 
    - - output_dir OUTPUT_DIR 
    - - save_prefix INFORMATIVE_SAVE_PREFIX 
    - - block_size 128 
    - - num_train_epochs 1 
    - - overwrite_cache

• seen_data_0.json 의 연구 문장과 unseen_data_0.json 의 호일로 모델에서 인식 테스트를 실행하십시오.

 python - u test . py 
    - - model_name_or_path MODEL_PATH 
    - - seen_file "data/llm-experiment-data/expt1/seen_data_0.json" 
    - - unseen_file "data/llm-experiment-data/expt1/unseen_data_0.json" 
    - - per_device_eval_batch_size 1 
    - - output_dir OUTPUT_DIR 
    - - save_prefix INFORMATIVE_SAVE_PREFIX 
    - - block_size 128 
    - - overwrite_cache

• seen_data_0.json 의 연구 문장으로 모델로 리콜 테스트를 실행하십시오.

 python - u generate . py 
    - - model_name_or_path MODEL_PATH 
    - - seen_file "data/llm-experiment-data/expt1/seen_data_0.json" 
    - - per_device_eval_batch_size 1 
    - - output_dir OUTPUT_DIR 
    - - save_prefix INFORMATIVE_SAVE_PREFIX 
    - - block_size 128 
    - - overwrite_cache

생식

scripts 폴더에는이 세 파일을 사용하여 논문에보고 된 모든 실험을 재현하기위한 SLURM 스크립트가 포함되어 있습니다. data 폴더에는 실험에 사용 된 모든 실험 데이터가 포함되어 있습니다. utils 폴더에는 실험 데이터를 생성하는 데 사용 된 유틸리티 기능이 포함되어 있습니다. 논문에보고 된 모든 인식, 리콜 및 보존 실험의 결과는이 Huggingface 데이터 세트 저장소에서 제공됩니다.