티스토리

L Etranger
검색하기

블로그 홈

L Etranger

mydaydream.tistory.com/m

일상 기록

구독자
0
방명록 방문하기

주요 글 목록

  • [Docker container 에러 해결] RuntimeError: DataLoader worker is killed by signal: Bus error. 발생 오류RuntimeError: DataLoader worker (pid 293) is killed by signal: Bus error. It is possible that dataloader's workers are out of shared memory. Please try to raise your shared memory limit.  해결 방법Docker container 실행 환경 내에서, 도커로 컨테이너를 생성하게 되면 호스트와 컨테이너는 공유하는 메모리 공간이 생기게 되는데 이 공간에 여유가 없어서 발생하는 에러이다. 해결 방법은 크게 두 가지가 있다.1. Docker container 실행 시, "--shm-size" 옵션 추가로 충분히 넉넉한 메모리 공유2. "ipc=host"로 설정 공감수 0 댓글수 0 2024. 8. 23.
  • 로컬 - Docker container 사이 파일 이동 로컬에서 도커 컨테이너로, 혹은 도커 컨테이너에서 로컬로 파일을 이동하고 싶을 때가 있다!매우 간단한 명령어 docker cp를 통해 파일 이동을 수행할 수 있다. 컨테이너 안의 파일을 로컬로 복사이름 [container_name]을 가진 컨테이너의 경로 /path/to/the/data.txt 를 가진 텍스트 파일을 로컬 경로 ~/data/에 복사하는 명령어이다. docker cp [container_name]:/path/to/the/data.txt ~/data/  로컬의 파일을 컨테이너 안으로 복사위의 명령어를 간단하게 뒤집어주기만 하면 된다. 당연히 전송하고자 하는 파일은 그 파일까지의 경로를 적어줘야 하고, 파일을 받는 쪽에서는 파일이 저장될 위치의 디렉토리 경로를 작성해주면 된다.docker cp.. 공감수 0 댓글수 0 2024. 8. 23.
  • CUDA 호환성 확인 및 설치 방법 (총정리) 본디 연구에서 환경 설정이 가장 어렵다는 말은 들어왔지만... 정말 쉽지 않다.따라서 CUDA 환경 구축에 있었던 어려움을 모두 해소해줄 통합 CUDA 설치 방법을 작성해보고자 한다!계속 업데이트 해나갈 생각이다. 해당 글은 Nvidia driver는 이미 설치되어 있는 상황을 가정하고 진행된다. 마지막 업데이트 일시: 2024년 7월 16일   준비 과정설치 전 나의 환경 세팅에 대해 알아가야 한다.나의 GPU 정보 얻기: 모델 명, driver 정보 등Driver 정보에 따른 사용 가능한 CUDA 탐색https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#cuda-major-component-versionsGPU capability에 따.. 공감수 1 댓글수 2 2024. 7. 16.
  • Ubuntu 기반 Docker를 통한 환경 구축 방법 기본 환경Ubuntu 22.04RTX 4090 1개참고 코드https://github.com/jz462/Large-Scale-VRD.pytorch?tab=readme-ov-file GitHub - jz462/Large-Scale-VRD.pytorch: Implementation for the AAAI2019 paper "Large-scale Visual Relationship Understanding"Implementation for the AAAI2019 paper "Large-scale Visual Relationship Understanding" - jz462/Large-Scale-VRD.pytorchgithub.com 1. Docker file를 통해 기본 환경 구축Base image 탐색http.. 공감수 0 댓글수 0 2024. 7. 8.
  • 나만의 환경으로 docker image 만들기 드디어 문제를 해결했다...! 나만의 환경에 대한 docker file은 다음과 같다.# Base imageFROM nvidia/cuda:11.4.3-cudnn8-devel-ubuntu18.04# Install necessary dependenciesRUN apt-get update && apt-get install -y \ build-essential \ cmake \ git \ curl \ vim \ wget \ ca-certificates \ libjpeg-dev \ libpng-dev \ software-properties-common \ && rm -rf /var/lib/apt/lists/*# Install Python 3.7 and p.. 공감수 1 댓글수 1 2024. 7. 8.
  • Docker를 통해 Ubuntu 16.04, Python 3.7 환경 구축하기 환경 구성을 해야 하는데 패키지 충돌 및 구버전 지원 중단 등의 문제로 인해 애를 먹다 드디어 해결할 수 있다는 silver line이 보여서 작성하게 된 글... 환경 설정연구 수행을 위해서 다음의 환경을 구성해야만 했다:CUDA 9.0Python 3PyTorch 0.4.1 호환되는 환경을 찾아본 결과 (공식 홈페이지에서 검색할 수 있다), 최종적으로 다음의 환경으로 구성해야 했다:Ubuntu 16.04 또는 17.04 (CUDA 9.0와 호환되는 Ubuntu 버전)Python 3.7 이상 (실행해야할 코드 내에 3.7 이상에서만 사용되는 구문이 들어가 있음)PyTorch 0.4.1CUDA 9.0cuDNN 7.0 이상 (CUDA 9.0과 호환되는 버전)더보기버전 체크 방법https://developer.. 공감수 1 댓글수 1 2024. 7. 8.
  • Ubuntu에 Docker 및 NVIDIA 도구 설치 및 사용 방법 아무리 생각해도  docker가 아니면 연구를 진행할 수 없다고 판단했다... Docker 설치 방법1. 필요한 패키지 설치:sudo apt-get updatesudo apt-get install \ ca-certificates \ curl \ gnupg \ lsb-release 2. GPG 키 추가:필요한 디렉토리를 생성하고, GPG 키를 추가한다.sudo mkdir -p /etc/apt/keyringscurl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg 3. Docker 리포지토리 설정:Docker의 공식 리포지토리를 설정한다.echo \ .. 공감수 0 댓글수 1 2024. 7. 5.
  • [연구] 도움되는 사이트 정리 CUDA, cuDNN 제거 방법https://deepdeepit.tistory.com/190 Ubuntu CUDA CuDNN 완전 제거직업(?) 특성 상 Ubuntu에 CUDA 및 CuDNN 환경을 세팅하고 초기화할 일이 많다 매번 찾아보고, 실패하고 다시 시도하고 할 일이 많아 확실하게 성공한 케이스를 정리한다. 참고로, 필자의 환경은 Ubuntudeepdeepit.tistory.com 공감수 0 댓글수 0 2024. 7. 4.
  • CUDA 프로그래밍을 위한 Nvidia Driver, CUDA Toolkit, cuDNN 설치 및 GPU 사용 방법 서버에서 CUDA를 사용하기 위해 CUDA 설치를 진행해주었다.사용한 GPU는 RTX 4090 x 1 이다. 1. NVIDIA Driver 설치먼저 NVIDIA Driver를 설치해준다. Ubuntu 메뉴에서 Software & updates로 들어간다.추가 드라이버(Additional Drivers)로 들어가면 사용할 수 있는 여러 드라이버가 나올 것이다. 그중 가장 위에 (독점, 확인함)으로 표시되어 있는 드라이버를 선택하면 된다.선택 후, 바뀐 내용 적용(Apply Changes)를 선택하여 설치를 완료해주면 된다.Software & Updates > Additional Drivers > Using NVIDIA drivier (proprietary, tested) > Apply Changes > C.. 공감수 0 댓글수 0 2024. 7. 4.
  • 논문 리뷰 목록 Semantic communication  Scene graphImage to the scene graphhttps://github.com/jz462/Large-Scale-VRD.pytorch GitHub - jz462/Large-Scale-VRD.pytorch: Implementation for the AAAI2019 paper "Large-scale Visual Relationship Understanding"Implementation for the AAAI2019 paper "Large-scale Visual Relationship Understanding" - jz462/Large-Scale-VRD.pytorchgithub.com Scene graph to the imagehttps://githu.. 공감수 0 댓글수 0 2024. 7. 3.
  • Scene Graph Perturbations with VG dataset 환경Ubuntu 18.04VS codePython 3.8.10PyTorch 2.3.0 + cu 121VG dataset in the external SDD참조 문헌Code: https://github.com/bknyaz/sgg?tab=readme-ov-file= 1.2 with improved zero and few-shot ge" data-og-description="Train Scene Graph Generation for Visual Genome and GQA in PyTorch >= 1.2 with improved zero and few-shot generalization. - GitHub - bknyaz/sgg: Train Scene Graph Generation for Visual Genome.. 공감수 0 댓글수 0 2024. 4. 29.
  • ION DID operation 및 resolution 이전 포스팅에서는 ION 환경을 구축하였다. 이번에는 이를 사용하여 DID를 만들어 볼 예정이다. 1. DID Operation ION의 CLI를 사용하여 DID를 만들 것이다. 이전에 먼저 Testnet Bitcoin을 얻어야 한다. Bitcoin의 blockchain으로 앵커링을 하는데 수수료가 필요하여 faucet으로 testnet bitcoin을 송금 받는다. sidetreeDefaultWallet의 주소로 송금하면 된다. 주소를 모르겠으면 다음의 명령어를 통해 받아올 수 있다. ./bin/bitcoin-cli getaddressesbylabel "sidetreeDefaultWallet" 만약 주소가 없다는 에러가 뜬다면 다음 명령어를 통해 새로 생성하자. ./bin/bitcoin-cli getn.. 공감수 0 댓글수 1 2024. 3. 15.
  • ION 설치 방법 MS사의 ION 설치를 진행하면서 이후 설치가 또 필요할 경우를 고려하여 정리해두었다. DID의 구현인 ION을 Bitcoin Core testnet 상에서 사용하는 방법이다. ION은 Bitcoin Core, IPFS, MongoDB에 의존성을 가지고 실행된다. 아래 정리된 내용은 Ubuntu 기준의 설치 방법이다. 구축 환경 2024년 3월 14일 기준으로 아래와 같이 진행하였다. ION은 여러 패키지에 의존성이 있어, 그때마다 버전에 맞게 약간의 수정 사항이 생길 듯하다. Hardware 아래는 공식 문서에서 권장하는 최소 권장 사양이다. i5 processor (2017+ models) 6GB of RAM 1TB of storage 위의 권장 사항에 맞추어 진행해주었다. 스토리지를 위해 1TB의 .. 공감수 0 댓글수 0 2024. 3. 15.
  • [Linux/Ubuntu] 디스크 (HDD, SSD)로 용량 추가하기 Bitcoin Core를 통해 Block을 다운로드 받다 보니 home 디렉토리의 용량이 차 더 이상 프로그램을 실행할 수 없게 되었다. 따라서 Disk를 추가해주고자 했는데, gparted 패키지조차 다운로드 받을 공간이 충분치 않았다... gparted 패키지를 다운로드 받으려 하면 아래의 오류가 발생했다. E: You don't have enough free space in /var/cache/apt/archives/. 몇 시간 동안 해결 방안을 강구하다가 마침내 성공하여 글로 과정을 정리하였다. 1. 조금의 공간을 얻기 위한 발악 1MB의 남은 공간도 없었기 때문에 gparted 패키지조차 설치할 수 없었다. 따라서 이거라도 설치할 조금의 공간을 만들어야 한다. 가장 좋은 방법은 log 파일을 삭.. 공감수 1 댓글수 0 2024. 3. 11.
  • Flickr8k, Conceptual Captions 3M, Visual Genome 데이터 세트 세상엔 여러 데이터 세트가 있고, 활용 방안도 가지각색이다. Flickr8k, Conceptual Captions 3M (CC3M), Visual Genome (VG)에 대해서 정리해보자. Flickr8k 이미지에 대한 캡션이 있는 데이터 세트이다. 총 8,091장의 이미지로 구성되어 있다. 각 이미지 당 5개의 캡션이 있다. 캡션은 이미지에 대한 설명을 제공한다. 크기는 2.07 GB로 비교적 작은 크기의 데이터 세트이다. 캡션은 human annotation으로 모두 사실만이 적혀있다. 데이터 세트 다운로드 사이트 https://www.kaggle.com/datasets/adityajn105/flickr8k Flickr 8k Dataset Flickr8k Dataset for image caption.. 공감수 0 댓글수 1 2024. 2. 29.
  • CC3M 데이터 세트 다운로드 대용량 데이터 세트인 CC3M 데이터 세트는 웹 크롤링을 통해 데이터 세트를 다운로드 받는다. 보통 다운로드 받는 데에 하루에서 이틀 정도가 소요된다고 하니... 충분한 용량과 인내의 마음을 다지고 다운로드를 진행하면 되겠다. (교수님이 다운로드 받아보라고 하셔서.... 어쩔 수 없이 다운로드 받게 되었다...) 이때...! Windows말고 Ubuntu를 사용하는 것이 좋다... 처음에는 Windows에서 진행했는데, 이후에 설치해야 할 패키지인 magic이 Ubuntu 환경에서만 돌아가는 패키지이다. Windows를 위해서는 따로 dll 파일을 통해 작업을 해줘야하는데, 결국 경로 오류 등 제대로 파일이 실행되지 않아... VirtualBox를 통해 Ubuntu 환경을 구축했다. (Windows에 m.. 공감수 0 댓글수 1 2024. 2. 26.
  • [Error] VirtualBox Document is empty 오류 해결 VirtualBox Document is empty라는 에러 창이 뜨면 실행이 안되는 문제가 발생했다. 1. 작업 관리자 열기 작업 관리자를 열어 실행 중인 VirtualBox 작업이 있다면 종료한다 (또는 PC를 다시 시작한다). 2. 파일 탐색기를 통해 위치 이동 파일 탐색기에 에러 팝업 창에 뜬 경로를 복사하여 이동한다. 위의 에러 같은 경우에는 C:\Users\user\.VirtualBox\ 로 이동한다. 3. 파일 이름 수정하기 VirtualBox.xml 을 VirtualBox.OLD로 수정하고, VirtualBox.xml-prev 는 VirtualBox.xml으로 수정한다. 4. VirtualBox 실행 다시 실행해보면 정상적으로 실행되는 것을 확인할 수 있다. Reference https:/.. 공감수 0 댓글수 0 2024. 2. 26.
  • Windows에서 VirtualBox 설치 및 가상 머신 생성과 실행 도저히 Windows로는 연구하기가 어려울 것 같아서 VirtualBox를 설치하기로 했다... USB에서 Linux가 있어서 멀티 부팅을 사용해도 되기는 하는데, 리소스를 공유하기 위해서 VirtualBox를 사용하기로 했다. 1. VirtualBox 다운로드 1) VirtualBox platform packages 공식 사이트에서 접속하여 바이너리를 다운로드 받는다. https://www.virtualbox.org/wiki/Downloads Downloads – Oracle VM VirtualBox Download VirtualBox Here you will find links to VirtualBox binaries and its source code. VirtualBox binaries By do.. 공감수 0 댓글수 0 2024. 2. 26.
  • Zero-Shot image 출력 연구는 PyCharm에서 진행하고 있는 중이다. CoLab, CLion 등 시도해봤지만 PyCharm이 가장 나은 것 같아서 PyCharm으로 계속 수행하기로 결정했다. Dataset와 Dataloader 부분의 코드를 작성했다. 프로젝트의 구조는 아래 사진과 같다. Install package 필요한 package를 설치해준다. 가상환경에서 진행을 하고 있어서 대부분의 패키지는 설치되어 있지 않다. 아래 코드를 돌리는데 필요한 package만 일단 적어두었다. # Terminal pip install opencv-python pip install seaborn Environmental setup import os import cv2 import torch import numpy as np import .. 공감수 0 댓글수 0 2024. 2. 21.
  • [연구 일지] SGG를 위한 Visual Genome Dataset 정리 방법 데이터 세트 관리가 너무 어렵다... 1. Visual Genome Dataset 다운로드 https://homes.cs.washington.edu/~ranjay/visualgenome/api.html VisualGenome homes.cs.washington.edu part 1 (9.2 GB), part 2 (5.47 GB), meta data (17.62 MB)를 받으면 된다. Task에 따라 다운로드 받을 데이터는 달라지겠지만 대부분의 SGG 논문에서는 이 세 개를 활용하는 것 같다. 각각 압축을 풀어준 후에 하나의 파일에 병합하여 저장하면 된다. 데이터가 크다보니 압축을 풀 때, UI에서 진행하는 것보다 코드로 진행하는 것이 에러 없이 잘 열리는 것을 확인했다. # pwd: ~/Sem-USRP/s.. 공감수 0 댓글수 0 2024. 2. 19.
  • [연구 일지] Blob Blob이란? Binary Large Object의 약자로 큰 객체를 binary (이진수) 형태로 저장하는 데에 사용된다. 독립체 (entity)로 된 이진수의 집합이라고 볼 수 있다. 이미지, 비디오, 사운드부터 프로젝트, 애플리케이션, 실행 파일 (런타임)까지 모든 것을 하나의 객체로 보고 이진수로 저장하게 된다. 이를 이진수로 된 객체라고 한다. 어떠한 객체를 이진화 (serialize) 시켜서 저장하거나 불러온다는 것은 이러한 객체를 하나의 '상수'로서 이용하겠다는 뜻이 될 수도 있다. 즉, 어떠한 코드를 컴파일한 뒤에 생기는 실행 파일(.exe)은 코드의 수정 없이 단일 객체로서 프로세스를 수행할 것이다. 데이터베이스 영역에서 Blob은 지속적으로 유지되는 상수 데이터로 볼 수 있다. 인공 지.. 공감수 0 댓글수 1 2024. 2. 11.
  • [연구 일지] Cython compile 이번 Semantic communication에 대해 연구를 하면서 연구 과정을 하나하나 정리해볼 예정이다. 기록을 해두면 나중에 필요할 때 참고도 가능하고, 내 연구 정리에도 도움이 될 것 같아 시작하게 되었다. 1. PyCharm Professional 설치 https://www.jetbrains.com/ko-kr/pycharm/download/?section=windows PyCharm 다운로드: JetBrains가 만든 전문 개발자용 Python IDE www.jetbrains.com 연구는 PyCharm Professional에서 수행 중이다. 학교 이메일이 있으면 무료로 사용 가능하니 이메일 인증을 통해 사용하면 된다. 원래는 무료 버전인 Community를 사용하다가 여러 부분(Jupyter.. 공감수 0 댓글수 0 2024. 2. 8.
  • Visual Genome Dataset 다운로드: Hugging Face 사용 직접 데이터 세트를 다운로드 받는 것은 꽤 불편하고 수고롭다. 따라서 많이 사용되는 데이터 세트 다운로드 방법은 Hugging Face이다. Hugging Face란? Hugging Face는 자연어 처리와 Machine Learning 분야에서 모델과 데이터 세트를 공유하고 사용할 수 있도록 하는 온라인 플랫폼 및 커뮤니티이다. 이 플랫폼은 다양한 사전 훈련된 언어 모델, 텍스트 데이터 세트, 관련된 툴을 제공하여 연구자와 개발자들이 최신 기술을 쉽게 활용할 수 있도록 도와준다. Hugging Face에서는 특히 'transformers' 라이브러리를 통해 다양한 사전 훈련된 언어 모델에 접근할 수 있다. 이 라이브러리는 GPT, BERT, T5 등과 같은 최신의 언어 모델들을 쉽게 사용할 수 있도록 .. 공감수 0 댓글수 0 2024. 2. 6.
  • Visual Genome Dataset 다운로드 방법 연구를 위해 데이터 세트를 다운로드 받는 과정에서 어려움을 겪어 (만료된 페이지가 많아...) 나중을 위해 정리해두기로 했다. 1. 공식 사이트로 이동 https://homes.cs.washington.edu/~ranjay/visualgenome/api.html VisualGenome homes.cs.washington.edu 2. 데이터 세트 다운로드 위의 링크로 들어가면 아래와 같이 다운로드 페이지가 나온다. 다운로드 가능한 목록이 굉장히 많은데 그 중에서 사용할 것은 비정제 데이터이다: images part 1 images part 2 image meta data 내가 해결하고자 하는 문제에 맞게 나머지 데이터들도 다운로드 받으면 된다. 공식 사이트에서 바로 다운로드 받아도 되고 코드로 다운로드 받.. 공감수 0 댓글수 1 2024. 2. 6.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.