DataSet3 Flickr8k, Conceptual Captions 3M, Visual Genome 데이터 세트 세상엔 여러 데이터 세트가 있고, 활용 방안도 가지각색이다. Flickr8k, Conceptual Captions 3M (CC3M), Visual Genome (VG)에 대해서 정리해보자. Flickr8k 이미지에 대한 캡션이 있는 데이터 세트이다. 총 8,091장의 이미지로 구성되어 있다. 각 이미지 당 5개의 캡션이 있다. 캡션은 이미지에 대한 설명을 제공한다. 크기는 2.07 GB로 비교적 작은 크기의 데이터 세트이다. 캡션은 human annotation으로 모두 사실만이 적혀있다. 데이터 세트 다운로드 사이트 https://www.kaggle.com/datasets/adityajn105/flickr8k Flickr 8k Dataset Flickr8k Dataset for image caption.. 2024. 2. 29. CC3M 데이터 세트 다운로드 대용량 데이터 세트인 CC3M 데이터 세트는 웹 크롤링을 통해 데이터 세트를 다운로드 받는다. 보통 다운로드 받는 데에 하루에서 이틀 정도가 소요된다고 하니... 충분한 용량과 인내의 마음을 다지고 다운로드를 진행하면 되겠다. (교수님이 다운로드 받아보라고 하셔서.... 어쩔 수 없이 다운로드 받게 되었다...) 이때...! Windows말고 Ubuntu를 사용하는 것이 좋다... 처음에는 Windows에서 진행했는데, 이후에 설치해야 할 패키지인 magic이 Ubuntu 환경에서만 돌아가는 패키지이다. Windows를 위해서는 따로 dll 파일을 통해 작업을 해줘야하는데, 결국 경로 오류 등 제대로 파일이 실행되지 않아... VirtualBox를 통해 Ubuntu 환경을 구축했다. (Windows에 m.. 2024. 2. 26. Visual Genome Dataset 다운로드 방법 연구를 위해 데이터 세트를 다운로드 받는 과정에서 어려움을 겪어 (만료된 페이지가 많아...) 나중을 위해 정리해두기로 했다. 1. 공식 사이트로 이동 https://homes.cs.washington.edu/~ranjay/visualgenome/api.html VisualGenome homes.cs.washington.edu 2. 데이터 세트 다운로드 위의 링크로 들어가면 아래와 같이 다운로드 페이지가 나온다. 다운로드 가능한 목록이 굉장히 많은데 그 중에서 사용할 것은 비정제 데이터이다: images part 1 images part 2 image meta data 내가 해결하고자 하는 문제에 맞게 나머지 데이터들도 다운로드 받으면 된다. 공식 사이트에서 바로 다운로드 받아도 되고 코드로 다운로드 받.. 2024. 2. 6. 이전 1 다음
