분류 전체보기38 [Docker container 에러 해결] RuntimeError: DataLoader worker is killed by signal: Bus error. 발생 오류RuntimeError: DataLoader worker (pid 293) is killed by signal: Bus error. It is possible that dataloader's workers are out of shared memory. Please try to raise your shared memory limit. 해결 방법Docker container 실행 환경 내에서, 도커로 컨테이너를 생성하게 되면 호스트와 컨테이너는 공유하는 메모리 공간이 생기게 되는데 이 공간에 여유가 없어서 발생하는 에러이다. 해결 방법은 크게 두 가지가 있다.1. Docker container 실행 시, "--shm-size" 옵션 추가로 충분히 넉넉한 메모리 공유2. "ipc=host"로 설정 2024. 8. 23. 로컬 - Docker container 사이 파일 이동 로컬에서 도커 컨테이너로, 혹은 도커 컨테이너에서 로컬로 파일을 이동하고 싶을 때가 있다!매우 간단한 명령어 docker cp를 통해 파일 이동을 수행할 수 있다. 컨테이너 안의 파일을 로컬로 복사이름 [container_name]을 가진 컨테이너의 경로 /path/to/the/data.txt 를 가진 텍스트 파일을 로컬 경로 ~/data/에 복사하는 명령어이다. docker cp [container_name]:/path/to/the/data.txt ~/data/ 로컬의 파일을 컨테이너 안으로 복사위의 명령어를 간단하게 뒤집어주기만 하면 된다. 당연히 전송하고자 하는 파일은 그 파일까지의 경로를 적어줘야 하고, 파일을 받는 쪽에서는 파일이 저장될 위치의 디렉토리 경로를 작성해주면 된다.docker cp.. 2024. 8. 23. CUDA 호환성 확인 및 설치 방법 (총정리) 본디 연구에서 환경 설정이 가장 어렵다는 말은 들어왔지만... 정말 쉽지 않다.따라서 CUDA 환경 구축에 있었던 어려움을 모두 해소해줄 통합 CUDA 설치 방법을 작성해보고자 한다!계속 업데이트 해나갈 생각이다. 해당 글은 Nvidia driver는 이미 설치되어 있는 상황을 가정하고 진행된다. 마지막 업데이트 일시: 2024년 7월 16일 준비 과정설치 전 나의 환경 세팅에 대해 알아가야 한다.나의 GPU 정보 얻기: 모델 명, driver 정보 등Driver 정보에 따른 사용 가능한 CUDA 탐색https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#cuda-major-component-versionsGPU capability에 따.. 2024. 7. 16. Ubuntu 기반 Docker를 통한 환경 구축 방법 기본 환경Ubuntu 22.04RTX 4090 1개참고 코드https://github.com/jz462/Large-Scale-VRD.pytorch?tab=readme-ov-file GitHub - jz462/Large-Scale-VRD.pytorch: Implementation for the AAAI2019 paper "Large-scale Visual Relationship Understanding"Implementation for the AAAI2019 paper "Large-scale Visual Relationship Understanding" - jz462/Large-Scale-VRD.pytorchgithub.com 1. Docker file를 통해 기본 환경 구축Base image 탐색http.. 2024. 7. 8. 나만의 환경으로 docker image 만들기 드디어 문제를 해결했다...! 나만의 환경에 대한 docker file은 다음과 같다.# Base imageFROM nvidia/cuda:11.4.3-cudnn8-devel-ubuntu18.04# Install necessary dependenciesRUN apt-get update && apt-get install -y \ build-essential \ cmake \ git \ curl \ vim \ wget \ ca-certificates \ libjpeg-dev \ libpng-dev \ software-properties-common \ && rm -rf /var/lib/apt/lists/*# Install Python 3.7 and p.. 2024. 7. 8. Docker를 통해 Ubuntu 16.04, Python 3.7 환경 구축하기 환경 구성을 해야 하는데 패키지 충돌 및 구버전 지원 중단 등의 문제로 인해 애를 먹다 드디어 해결할 수 있다는 silver line이 보여서 작성하게 된 글... 환경 설정연구 수행을 위해서 다음의 환경을 구성해야만 했다:CUDA 9.0Python 3PyTorch 0.4.1 호환되는 환경을 찾아본 결과 (공식 홈페이지에서 검색할 수 있다), 최종적으로 다음의 환경으로 구성해야 했다:Ubuntu 16.04 또는 17.04 (CUDA 9.0와 호환되는 Ubuntu 버전)Python 3.7 이상 (실행해야할 코드 내에 3.7 이상에서만 사용되는 구문이 들어가 있음)PyTorch 0.4.1CUDA 9.0cuDNN 7.0 이상 (CUDA 9.0과 호환되는 버전)더보기버전 체크 방법https://developer.. 2024. 7. 8. Ubuntu에 Docker 및 NVIDIA 도구 설치 및 사용 방법 아무리 생각해도 docker가 아니면 연구를 진행할 수 없다고 판단했다... Docker 설치 방법1. 필요한 패키지 설치:sudo apt-get updatesudo apt-get install \ ca-certificates \ curl \ gnupg \ lsb-release 2. GPG 키 추가:필요한 디렉토리를 생성하고, GPG 키를 추가한다.sudo mkdir -p /etc/apt/keyringscurl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg 3. Docker 리포지토리 설정:Docker의 공식 리포지토리를 설정한다.echo \ .. 2024. 7. 5. [연구] 도움되는 사이트 정리 CUDA, cuDNN 제거 방법https://deepdeepit.tistory.com/190 Ubuntu CUDA CuDNN 완전 제거직업(?) 특성 상 Ubuntu에 CUDA 및 CuDNN 환경을 세팅하고 초기화할 일이 많다 매번 찾아보고, 실패하고 다시 시도하고 할 일이 많아 확실하게 성공한 케이스를 정리한다. 참고로, 필자의 환경은 Ubuntudeepdeepit.tistory.com 2024. 7. 4. CUDA 프로그래밍을 위한 Nvidia Driver, CUDA Toolkit, cuDNN 설치 및 GPU 사용 방법 서버에서 CUDA를 사용하기 위해 CUDA 설치를 진행해주었다.사용한 GPU는 RTX 4090 x 1 이다. 1. NVIDIA Driver 설치먼저 NVIDIA Driver를 설치해준다. Ubuntu 메뉴에서 Software & updates로 들어간다.추가 드라이버(Additional Drivers)로 들어가면 사용할 수 있는 여러 드라이버가 나올 것이다. 그중 가장 위에 (독점, 확인함)으로 표시되어 있는 드라이버를 선택하면 된다.선택 후, 바뀐 내용 적용(Apply Changes)를 선택하여 설치를 완료해주면 된다.Software & Updates > Additional Drivers > Using NVIDIA drivier (proprietary, tested) > Apply Changes > C.. 2024. 7. 4. 이전 1 2 3 4 5 다음
