열정35 인공 신경망의 생체 영감 인공 신경망은 생체 신경망과 간접적으로 연관되어 있다. 인공 신경망의 개발에 영감을 준 뇌 기능의 특징을 간략하게 알아보자. 뇌는 뉴런이라고 하는 요소들로 구성되어 있으며, 상당히 많은 수의 뉴런이 고도로 연결되어 있다. 뉴런은 세 가지 주요 구성요소인 수상돌기 dendrites, 세포체 cell body, 축삭 axon으로 이뤄져 있다. 수상돌기는 전기적 신호를 세포체로 운반하는 신경 섬유 수용 네트워크로 나뭇가지 모양을 하고 있다. 세포체는 들어오는 신호를 효과적으로 합산하고 임계치에 도달하면 발화한다. 축삭은 세포체에서 다른 뉴런으로 신호를 운반하는 기다란 섬유다. 뉴런의 축삭과 다른 뉴런의 수상돌기 사이의 접점을 시냅스 synapse라고 한다. 뉴런의 배열과 시냅스의 강도는 신경망의 기능을 결정하.. 2024. 2. 19. 인공 신경망의 역사 기술의 발전에는 '개념 (concept)'과 '구현 (implementation)'이 반드시 필요하다. 기술이 발전하려면 개념이 있어야 하고, 개념이 있더라도 시스템 구현 방법이 없다면 기술을 성숙시킬 수 없다. 신경망의 역사는 개념의 혁신과 구현의 발전을 통해 진행됐다. 하지만 이러한 진보는 꾸준히 진화한다기보다는 간헐적으로 일어난다. 19세기 후반에서 20세기 초반에 신경망 분야의 기반이 되는 연구가 일부 진행됐다. 주로 헤르만 폰 헬름홀츠 (Hermann von Helmholtz), 에른스트 마흐 (Ernst Mach), 이반 파블로프 (Ivan Pavlov) 같은 과학자에 의해 물리학, 심리학, 신경 생리학 분야의 학제 간 연구로 이루어졌다. 학습, 시각, 조건 반사 등의 일반적인 이론을 강조했고.. 2024. 2. 19. [연구 일지] SGG를 위한 Visual Genome Dataset 정리 방법 데이터 세트 관리가 너무 어렵다... 1. Visual Genome Dataset 다운로드 https://homes.cs.washington.edu/~ranjay/visualgenome/api.html VisualGenome homes.cs.washington.edu part 1 (9.2 GB), part 2 (5.47 GB), meta data (17.62 MB)를 받으면 된다. Task에 따라 다운로드 받을 데이터는 달라지겠지만 대부분의 SGG 논문에서는 이 세 개를 활용하는 것 같다. 각각 압축을 풀어준 후에 하나의 파일에 병합하여 저장하면 된다. 데이터가 크다보니 압축을 풀 때, UI에서 진행하는 것보다 코드로 진행하는 것이 에러 없이 잘 열리는 것을 확인했다. # pwd: ~/Sem-USRP/s.. 2024. 2. 19. [연구 일지] Blob Blob이란? Binary Large Object의 약자로 큰 객체를 binary (이진수) 형태로 저장하는 데에 사용된다. 독립체 (entity)로 된 이진수의 집합이라고 볼 수 있다. 이미지, 비디오, 사운드부터 프로젝트, 애플리케이션, 실행 파일 (런타임)까지 모든 것을 하나의 객체로 보고 이진수로 저장하게 된다. 이를 이진수로 된 객체라고 한다. 어떠한 객체를 이진화 (serialize) 시켜서 저장하거나 불러온다는 것은 이러한 객체를 하나의 '상수'로서 이용하겠다는 뜻이 될 수도 있다. 즉, 어떠한 코드를 컴파일한 뒤에 생기는 실행 파일(.exe)은 코드의 수정 없이 단일 객체로서 프로세스를 수행할 것이다. 데이터베이스 영역에서 Blob은 지속적으로 유지되는 상수 데이터로 볼 수 있다. 인공 지.. 2024. 2. 11. [연구 일지] Cython compile 이번 Semantic communication에 대해 연구를 하면서 연구 과정을 하나하나 정리해볼 예정이다. 기록을 해두면 나중에 필요할 때 참고도 가능하고, 내 연구 정리에도 도움이 될 것 같아 시작하게 되었다. 1. PyCharm Professional 설치 https://www.jetbrains.com/ko-kr/pycharm/download/?section=windows PyCharm 다운로드: JetBrains가 만든 전문 개발자용 Python IDE www.jetbrains.com 연구는 PyCharm Professional에서 수행 중이다. 학교 이메일이 있으면 무료로 사용 가능하니 이메일 인증을 통해 사용하면 된다. 원래는 무료 버전인 Community를 사용하다가 여러 부분(Jupyter.. 2024. 2. 8. Visual Genome Dataset 다운로드: Hugging Face 사용 직접 데이터 세트를 다운로드 받는 것은 꽤 불편하고 수고롭다. 따라서 많이 사용되는 데이터 세트 다운로드 방법은 Hugging Face이다. Hugging Face란? Hugging Face는 자연어 처리와 Machine Learning 분야에서 모델과 데이터 세트를 공유하고 사용할 수 있도록 하는 온라인 플랫폼 및 커뮤니티이다. 이 플랫폼은 다양한 사전 훈련된 언어 모델, 텍스트 데이터 세트, 관련된 툴을 제공하여 연구자와 개발자들이 최신 기술을 쉽게 활용할 수 있도록 도와준다. Hugging Face에서는 특히 'transformers' 라이브러리를 통해 다양한 사전 훈련된 언어 모델에 접근할 수 있다. 이 라이브러리는 GPT, BERT, T5 등과 같은 최신의 언어 모델들을 쉽게 사용할 수 있도록 .. 2024. 2. 6. Visual Genome Dataset 다운로드 방법 연구를 위해 데이터 세트를 다운로드 받는 과정에서 어려움을 겪어 (만료된 페이지가 많아...) 나중을 위해 정리해두기로 했다. 1. 공식 사이트로 이동 https://homes.cs.washington.edu/~ranjay/visualgenome/api.html VisualGenome homes.cs.washington.edu 2. 데이터 세트 다운로드 위의 링크로 들어가면 아래와 같이 다운로드 페이지가 나온다. 다운로드 가능한 목록이 굉장히 많은데 그 중에서 사용할 것은 비정제 데이터이다: images part 1 images part 2 image meta data 내가 해결하고자 하는 문제에 맞게 나머지 데이터들도 다운로드 받으면 된다. 공식 사이트에서 바로 다운로드 받아도 되고 코드로 다운로드 받.. 2024. 2. 6. Anaconda 가상 환경에서 Jupyter notebook 실행 먼저 Anaconda가 없다면 Anaconda부터 설치해야 한다. 이미 설치했다면 이 부분은 생략하면 된다. 1. Anaconda 설치 https://docs.anaconda.com/free/anaconda/install/index.html Installation — Anaconda documentation Installation Review the system requirements listed below before installing Anaconda Distribution. If you don’t want the hundreds of packages included with Anaconda, install Miniconda, a mini version of Anaconda that includes .. 2024. 2. 6. 이전 1 2 3 4 다음
