dive in

[Transformer의 출현 배경]기존의 순환 신경망(RNN)은 입력 및 출력 시퀀스를 시간 단계(time step)에 따라 순차적으로 처리한다. 이러한 특성 때문에 모든 시간 단계의 출력을 동시에 병렬로 계산할 수 없고, 반드시 이전 단계가 계산된 후에야 다음 단계의 연산이 가능하다. 이로 인해 계산 속도가 느려질 수 밖에 없다. 또한, 긴 시퀀스를 처리하기 위해서는 각 시간 단계의 중간 상태(hidden state)와 그래디언트(gradient)를 모두 저장해야한다. 이는 순환 모델의 구조적 특성 때문인데, RNN은 현재 시간 단계의 출력을 계산할 때, 반드시 이전 시간 단계의 hidden state를 입력으로 받아야 한다. 즉, 각 시간 단계의 출력이 이전 단계의 상태에 의존하는 구조이기 때문에,..

통계학에서 가설(Hypothesis)이란 검증을 하고자 하는 주장, 논제를 말한다. 통계적 추론의 방법으로 많이 사용되는 가설 검정은 모집단, 모수에 대한 가설을 세우고 그 가설이 사실인지 사실이 아닌지를 확인하는 방법론을 말한다. 귀무가설 Null hypothesis라고도 하며 기호로는 $H_{0}$라고 표기한다. 가설 검정의 대상이 되는 가설로 설정한 가설이 진실이 아닐 것이라고 생각해 처음부터 버릴 것을 예상하는 가설이다. 대립가설 Alternative hypothesis라고 하며 기호로 $H_{1}$라고 표기한다. 귀무가설이 기각되면 채택되는 가설로 연구자가 연구를 통해 입증 또는 증명되기를 기대하는 예상이나 주장을 말한다. 예를 들어서 비염에 A라는 약이 효과가 있다는 것을 증명하고자 할 때 귀..

* 전향적 연구(Prospective Study) - 현재의 시점으로부터 관찰 대상자(환자)의 상태 변화를 기록하면서 추적 관찰하는 것을 말한다. - 앞으로 일어날 상태에 대해 추적관찰을 실시하기 때문에 신뢰도가 높다 - 관찰 대상자를 대상으로 여러 요인들을 통제를 실시하기 때문에 시간과 비용이 많이 드는 단점이 존재한다. - 예를 들면, A라는 질병이 발병하였을 때 신약을 사용한 그룹과 사용하지 않은 그룹를 추적 관찰하는 것이 해당한다. * 후향적 연구(Retrospective Study) - 현재의 시점으로부터 과거에 발생한 기록들을 거꾸로 추척하여 조사하는 것을 말한다. - 연구에서 종속변수의 원인으로 추정하는 독립변수가 관찰 대상자에게 이미 발생했기 때문에 요인들의 통제가 불가능하고, 그렇기 때문..

https://www.scaler.com/topics/pytorch/map-style-vs-itetrable-datasets/ Map-style Dataset vs Iterable-style Dataset - Scaler Topics In this article by Scaler Topics, we structurally understand map style vs iterable style datasets in detail and code examples of each of them. www.scaler.com https://think-tech.tistory.com/33 [PyTorch] Dataset Types 정리 (Map-style datasets, Iterable-style datasets) 파이..