본문 바로가기

개발

NotImplementedError: Cannot copy out of meta tensor; no data!

 

Accelerate library 환경에서 FSDP를 이용해 distributed learning을 해보고 있는 중에

"NotImplementedError: Cannot copy out of meta tensor; no data!" 에러가 나서 해결 방안을 찾아봤다.

 

해결 방안: config 파일의 "fsdp_cpu_ram_efficient_loading" 값을 false로 하면 된다.

 

 

참고 링크:

https://github.com/huggingface/transformers/issues/26510