Local connectivity, Global connectivity  Local connectivity: 인접한 데이터만 input으로 받는 것. -> 파라미터 절약      weight sharing: weight를 hidden unit마다 다르게 가져가지 않고 사용. 즉, pixel마다 같은 필터를 사용. -> 파라미터 절약          https://gofo-coding.tistory.com/entry/CNN-Local-Connectivity-Weight-Sharing

Related Work 많은 수의 출력 카테고리를 수용할 수 있도록 확장하는 것은 어려운 문제며, 두 번째 문제는 입력과 출력의 일대일 매핑을 학습하는데 초점을 맞췄다는 것이다. 예를 들어 이미지 라벨링의 경우 주어진 이미지에 적절하게 적용될 수 있는 다양한 태그가 있을 수 있으며, 서로 다른 annoatator가 동일한 이미지를 설명하기 위해 서로 다른 용어를 사용할 수 있다. 첫 번째 문제를 해결하는 데 도움이 되는 한 가지 방법은 다른 모달리티의 추가 정보를 활용하는 것이다. 예를 들어, 자연어 말뭉치를 사용하여 기하학적 관계가 연관있는 label에 대한 vector representation을 학습하는 것이다. 이러한 space에서 예측할 때, 예측 오류가 발생해도 여전히 진실에 근접하는 경우가 ..

해당 포스팅은 Autoencoder를 가지고 궁금한 점을 테스트하며 기록해놓은 글이며, Autoencoder에 대한 설명은 거의 존재 하지 않는다. 해당 오토인코더를 구현할 때 참고하였던 코드는 데이콘 포스팅이다. 그 외 여러 방식으로 신경망을 구성해보며 테스트 한 내용들도 포함되어 있다. 구현 코드 Autencoder.py import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D from matplotlib import cm from random import sample import torch import torch.nn as nn import torch.nn.functional as F impor..