본문 바로가기

docker4

[Docker container 에러 해결] RuntimeError: DataLoader worker is killed by signal: Bus error. 발생 오류RuntimeError: DataLoader worker (pid 293) is killed by signal: Bus error. It is possible that dataloader's workers are out of shared memory. Please try to raise your shared memory limit.  해결 방법Docker container 실행 환경 내에서, 도커로 컨테이너를 생성하게 되면 호스트와 컨테이너는 공유하는 메모리 공간이 생기게 되는데 이 공간에 여유가 없어서 발생하는 에러이다. 해결 방법은 크게 두 가지가 있다.1. Docker container 실행 시, "--shm-size" 옵션 추가로 충분히 넉넉한 메모리 공유2. "ipc=host"로 설정 2024. 8. 23.
로컬 - Docker container 사이 파일 이동 로컬에서 도커 컨테이너로, 혹은 도커 컨테이너에서 로컬로 파일을 이동하고 싶을 때가 있다!매우 간단한 명령어 docker cp를 통해 파일 이동을 수행할 수 있다. 컨테이너 안의 파일을 로컬로 복사이름 [container_name]을 가진 컨테이너의 경로 /path/to/the/data.txt 를 가진 텍스트 파일을 로컬 경로 ~/data/에 복사하는 명령어이다. docker cp [container_name]:/path/to/the/data.txt ~/data/  로컬의 파일을 컨테이너 안으로 복사위의 명령어를 간단하게 뒤집어주기만 하면 된다. 당연히 전송하고자 하는 파일은 그 파일까지의 경로를 적어줘야 하고, 파일을 받는 쪽에서는 파일이 저장될 위치의 디렉토리 경로를 작성해주면 된다.docker cp.. 2024. 8. 23.
Docker를 통해 Ubuntu 16.04, Python 3.7 환경 구축하기 환경 구성을 해야 하는데 패키지 충돌 및 구버전 지원 중단 등의 문제로 인해 애를 먹다 드디어 해결할 수 있다는 silver line이 보여서 작성하게 된 글... 환경 설정연구 수행을 위해서 다음의 환경을 구성해야만 했다:CUDA 9.0Python 3PyTorch 0.4.1 호환되는 환경을 찾아본 결과 (공식 홈페이지에서 검색할 수 있다), 최종적으로 다음의 환경으로 구성해야 했다:Ubuntu 16.04 또는 17.04 (CUDA 9.0와 호환되는 Ubuntu 버전)Python 3.7 이상 (실행해야할 코드 내에 3.7 이상에서만 사용되는 구문이 들어가 있음)PyTorch 0.4.1CUDA 9.0cuDNN 7.0 이상 (CUDA 9.0과 호환되는 버전)더보기버전 체크 방법https://developer.. 2024. 7. 8.
Ubuntu에 Docker 및 NVIDIA 도구 설치 및 사용 방법 아무리 생각해도  docker가 아니면 연구를 진행할 수 없다고 판단했다... Docker 설치 방법1. 필요한 패키지 설치:sudo apt-get updatesudo apt-get install \ ca-certificates \ curl \ gnupg \ lsb-release 2. GPG 키 추가:필요한 디렉토리를 생성하고, GPG 키를 추가한다.sudo mkdir -p /etc/apt/keyringscurl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg 3. Docker 리포지토리 설정:Docker의 공식 리포지토리를 설정한다.echo \ .. 2024. 7. 5.