Accelerate launch로 실행한 학습 코드 상에서 deepspeed의 config 정보들을 활용하고 싶을 때가 있어서 찾아봤다.
training_args = TrainingArguments()
# TrainingArguments 객체 생성 과정에서 accelerate_config.yaml, deepspeed_config.json
# 정보들이 training_args에 저장된다.
# accelerate_config.yaml의 deepspeed config 내용: training_args.deepspeed_plugin
# deepspeed config.json 내용: training_args.deepspeed_plugin.hf_ds_config.config'개발' 카테고리의 다른 글
| [Transformers] IterableDatasetShard의 동작 (1) | 2023.12.19 |
|---|---|
| [PyTorch] IterableDataset의 split (0) | 2023.12.18 |
| RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn (0) | 2023.12.15 |
| LLaMA2 LoRA 적용과 tokenizer의 padding_side (1) | 2023.12.15 |
| NotImplementedError: Cannot copy out of meta tensor; no data! (0) | 2023.12.15 |