Accelerate library 환경에서 FSDP를 이용해 distributed learning을 해보고 있는 중에
"NotImplementedError: Cannot copy out of meta tensor; no data!" 에러가 나서 해결 방안을 찾아봤다.
해결 방안: config 파일의 "fsdp_cpu_ram_efficient_loading" 값을 false로 하면 된다.
참고 링크:
'개발' 카테고리의 다른 글
| RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn (0) | 2023.12.15 |
|---|---|
| LLaMA2 LoRA 적용과 tokenizer의 padding_side (1) | 2023.12.15 |
| Karabiner로 윈도우 용 키보드의 한영키를 맥에 적용시키기 (0) | 2023.10.12 |
| Pytorch backward_hook에서 얻을 수 있는 gradient의 의미 (0) | 2022.12.05 |
| Screen과 matplotlib의 호환성 (0) | 2022.12.01 |
