본문 바로가기

분류 전체보기38

네트워크 구조 2024.02.20 - [열정/개인 공부] - 뉴런 모델 뉴런 모델 단일 입력 뉴런 (single-input neuron) 스칼라 입력 p가 스칼라 가중치 (weight) w와 곱해지고, 다른 스칼라 입력 1은 편향 (bias 또는 offset) b와 더해진다. 이 둘은 합산기 (summer)에 전달되어 합해진다. 합산 mydaydream.tistory.com 위의 포스팅을 통해 뉴런을 정의했다. 하지만 일반적으로 입력이 여러 개라도 하나의 뉴런으로는 충분치 않다. 계층 (layer)에서 병렬로 작동하는 뉴런이 5~10개 정도 필요할 수 있다. 뉴런 계층 S개 뉴런 단층 네트워크 (single-layer network)를 아래 그림에서 볼 수 있다. R개 입력은 각 뉴런에 연결되며, 가중치 행렬은 S개 .. 2024. 2. 20.
뉴런 모델 단일 입력 뉴런 (single-input neuron) 스칼라 입력 p가 스칼라 가중치 (weight) w와 곱해지고, 다른 스칼라 입력 1은 편향 (bias 또는 offset) b와 더해진다. 이 둘은 합산기 (summer)에 전달되어 합해진다. 합산기 출력 (또는 네트 입력 net input) n은 스칼라 뉴런 출력 a를 생성하는 전달 함수 (transfer function) 또는 활성화 함수 (activation function) f로 들어간다. 이때, w와 b는 모두 조정 가능한 (adjustable) 뉴런의 스칼라 파라미터이다. 일반적으로 전달 함수는 뉴런의 입력/출력 관계가 특정 목표를 충족하도록 설계자가 선택하며, 파라미터 w와 b는 학습 규칙에 의해 조정된다. 전달 함수 (transfer .. 2024. 2. 20.
인공 신경망의 생체 영감 인공 신경망은 생체 신경망과 간접적으로 연관되어 있다. 인공 신경망의 개발에 영감을 준 뇌 기능의 특징을 간략하게 알아보자. 뇌는 뉴런이라고 하는 요소들로 구성되어 있으며, 상당히 많은 수의 뉴런이 고도로 연결되어 있다. 뉴런은 세 가지 주요 구성요소인 수상돌기 dendrites, 세포체 cell body, 축삭 axon으로 이뤄져 있다. 수상돌기는 전기적 신호를 세포체로 운반하는 신경 섬유 수용 네트워크로 나뭇가지 모양을 하고 있다. 세포체는 들어오는 신호를 효과적으로 합산하고 임계치에 도달하면 발화한다. 축삭은 세포체에서 다른 뉴런으로 신호를 운반하는 기다란 섬유다. 뉴런의 축삭과 다른 뉴런의 수상돌기 사이의 접점을 시냅스 synapse라고 한다. 뉴런의 배열과 시냅스의 강도는 신경망의 기능을 결정하.. 2024. 2. 19.
인공 신경망의 역사 기술의 발전에는 '개념 (concept)'과 '구현 (implementation)'이 반드시 필요하다. 기술이 발전하려면 개념이 있어야 하고, 개념이 있더라도 시스템 구현 방법이 없다면 기술을 성숙시킬 수 없다. 신경망의 역사는 개념의 혁신과 구현의 발전을 통해 진행됐다. 하지만 이러한 진보는 꾸준히 진화한다기보다는 간헐적으로 일어난다. 19세기 후반에서 20세기 초반에 신경망 분야의 기반이 되는 연구가 일부 진행됐다. 주로 헤르만 폰 헬름홀츠 (Hermann von Helmholtz), 에른스트 마흐 (Ernst Mach), 이반 파블로프 (Ivan Pavlov) 같은 과학자에 의해 물리학, 심리학, 신경 생리학 분야의 학제 간 연구로 이루어졌다. 학습, 시각, 조건 반사 등의 일반적인 이론을 강조했고.. 2024. 2. 19.
[연구 일지] SGG를 위한 Visual Genome Dataset 정리 방법 데이터 세트 관리가 너무 어렵다... 1. Visual Genome Dataset 다운로드 https://homes.cs.washington.edu/~ranjay/visualgenome/api.html VisualGenome homes.cs.washington.edu part 1 (9.2 GB), part 2 (5.47 GB), meta data (17.62 MB)를 받으면 된다. Task에 따라 다운로드 받을 데이터는 달라지겠지만 대부분의 SGG 논문에서는 이 세 개를 활용하는 것 같다. 각각 압축을 풀어준 후에 하나의 파일에 병합하여 저장하면 된다. 데이터가 크다보니 압축을 풀 때, UI에서 진행하는 것보다 코드로 진행하는 것이 에러 없이 잘 열리는 것을 확인했다. # pwd: ~/Sem-USRP/s.. 2024. 2. 19.
이기적 유전자 (The Selfish Gene), 리처드 도킨스 리처드 도킨스의 명저, 를 읽어 보았다. 항상 들어오기만 하다가 드디어 읽어 보게 되었다. 안타깝게도(?) 리처드 도킨스는 이 책으로 인해 몇 십 년 간 해명을 해오듯이 살아 오셨을 듯 하다. (책의 앞 부분에는 개정판 서문 등 짤막한 글이 있는데, 그러한 일들이 들끓었음을 느낄 수 있었다.) 지동설이나 의 자연 선택 등으로 미루어 봤을 때, 세계의 사상과 가치관에 반하는 생각을 말하는 것은 거친 반발을 불러오는 것 같다. 모든 사람은 이기적으로 태어났다. 이 이기주의를 만들어내는 단위는 유전자라고 볼 수 있다. 즉 유전자를 인간 뿐만 아니라 다른 동식물을 만들어 낸 주원인으로 본다. 도킨스는 진화의 주체를 개체나 종이 아닌 유전자라고 본다. 여기서 유전자는 염기 서열의 작은 부분이라고 정의하였고, 이 .. 2024. 2. 14.
[연구 일지] Blob Blob이란? Binary Large Object의 약자로 큰 객체를 binary (이진수) 형태로 저장하는 데에 사용된다. 독립체 (entity)로 된 이진수의 집합이라고 볼 수 있다. 이미지, 비디오, 사운드부터 프로젝트, 애플리케이션, 실행 파일 (런타임)까지 모든 것을 하나의 객체로 보고 이진수로 저장하게 된다. 이를 이진수로 된 객체라고 한다. 어떠한 객체를 이진화 (serialize) 시켜서 저장하거나 불러온다는 것은 이러한 객체를 하나의 '상수'로서 이용하겠다는 뜻이 될 수도 있다. 즉, 어떠한 코드를 컴파일한 뒤에 생기는 실행 파일(.exe)은 코드의 수정 없이 단일 객체로서 프로세스를 수행할 것이다. 데이터베이스 영역에서 Blob은 지속적으로 유지되는 상수 데이터로 볼 수 있다. 인공 지.. 2024. 2. 11.
[연구 일지] Cython compile 이번 Semantic communication에 대해 연구를 하면서 연구 과정을 하나하나 정리해볼 예정이다. 기록을 해두면 나중에 필요할 때 참고도 가능하고, 내 연구 정리에도 도움이 될 것 같아 시작하게 되었다. 1. PyCharm Professional 설치 https://www.jetbrains.com/ko-kr/pycharm/download/?section=windows PyCharm 다운로드: JetBrains가 만든 전문 개발자용 Python IDE www.jetbrains.com 연구는 PyCharm Professional에서 수행 중이다. 학교 이메일이 있으면 무료로 사용 가능하니 이메일 인증을 통해 사용하면 된다. 원래는 무료 버전인 Community를 사용하다가 여러 부분(Jupyter.. 2024. 2. 8.
Visual Genome Dataset 다운로드: Hugging Face 사용 직접 데이터 세트를 다운로드 받는 것은 꽤 불편하고 수고롭다. 따라서 많이 사용되는 데이터 세트 다운로드 방법은 Hugging Face이다. Hugging Face란? Hugging Face는 자연어 처리와 Machine Learning 분야에서 모델과 데이터 세트를 공유하고 사용할 수 있도록 하는 온라인 플랫폼 및 커뮤니티이다. 이 플랫폼은 다양한 사전 훈련된 언어 모델, 텍스트 데이터 세트, 관련된 툴을 제공하여 연구자와 개발자들이 최신 기술을 쉽게 활용할 수 있도록 도와준다. Hugging Face에서는 특히 'transformers' 라이브러리를 통해 다양한 사전 훈련된 언어 모델에 접근할 수 있다. 이 라이브러리는 GPT, BERT, T5 등과 같은 최신의 언어 모델들을 쉽게 사용할 수 있도록 .. 2024. 2. 6.

티스토리툴바