흔한학생

🔷Word EmbeddingWord Embedding 은 단어를 다차원 공간에서 벡터로 표현하는 방법이다. 벡터 간의 거리와 방향은 해당 단어 간의 유사성과 관계를 반영한다.워드 임베딩이 필요한 이유는 자연어를 컴퓨터에서 처리할 수 있도록 하기 위해서이다. 다만 기존에는 단어를 기계가 이해할 있도록 표현하기 위해 원 핫 인코딩 방식을 사용했는데, 각 단어는 특정 차원의 희소 벡터로 표현된다. 이러한 방법은 단어의 개수만큼 차원이 늘어나며 의미 정보가 부족하고 단어 간 관계를 파악하기 힘들었다. 워드 임베딩은 신경망이나 머신러닝으로 훈련되는 밀집된 벡터이다. 밀집된 벡터란 희소 벡터와 비교해 차원이 단어의 개수로 정해지지 않고, 값 또한 실수로 표현된다. 워드 임베딩을 통해서는 단어의 의미가 보존된다. ..

RNN 모델은 sequential data를 다루는 데 특화된 모델이리고 했다. sequential task 중에는 translation이 있다. 하지만 RNN을 활용하여 translation을 수행할 때에는 결과가 그다지 좋지 못하다. 훈련 데이터에서 벗어난 out of vocabulary words 이거나 train - test domain miss match롱텀의 context 정보의 해석 문제 의미가 불명확한 low resource 단어 등등의 문제가 있기 때문이다. 이러한 문제를 해결하기 위해 나온 모델이 attention 모델이다.📌Attention model기존 오토인코더 기반 RNN 모델의 문제점 기존 RNN 구조인코더 RNN: 입력 단어를 받아 인코딩을 하는 RNN 구조, hidden ..