Jaydub Blog

UNITER: UNiversal Image-TExt Representation Learning 0.초록 image-text 공동 임베딩은 대부분의 Vision-and-Language(V+L)태스크의 기반이다. 이때 멀티모달 인풋들은 시각적 그리고 언어적 이해를 위해 동시에 처리된다. 해당 논문에서 저자는 UNITER를 소개한다. 데이터셋(COCO, Visual Genome, Conceptual Captions, and SBU Captions) UNITER는 다양한(이질적인) 다운스트림 V+L 태스크를 가능하게 한다. 저자는 네 가지 사전 훈련 태스크를 고안했다 Masked Language Modeling(MLM) Masked Region Modeling (MRM, with three variants) I..

GPT-1 Improving Language Understanding by Generative Pre-Training (2018) 0.초록 자연어 이해는 다양한 범위의 태스크로 구성되어 있다.(Textual Entailment, 질의응답, 의미론적 유사성 평가, 문서 분류 등) 라벨링이 되지 않은 거대한 텍스트 데이터는 충분히 많지만 특정 태스크를 위한 라벨링된 데이터는 희소하다. 저자는 이런 세부 태스크에 대한 성능은 다양한 라벨링되지 않은 언어 데이터에서 generative pre-training 이후 각 세부 태스크에 대한 discriminative fine-tuning으로 구현될 수 있다고 소개한다. 이전 논문과는 달리, 모델 구조에 최소한의 변화를 주면서 태스크 맞춤형 입력 변환을 사용하여 fi..

Recurrent neural network based language model(2010) 딥러닝 이전의 전통적인 Language Model 딥러닝이 등장하기전 전통적인 언어 모델이다. 통계적 언어 모델로 SLM이라고 한다. 해당 모델을 알기 전에 조건부 확률의 연쇄 법칙(Chain Rule)을 알아야 하는데 이는 아래 식과 같다. P(x_1,x_2,x_3,...x_n)=P(x_1)P(x_2|x_1)...P(x_n|x_1x_2...x_{n-1}) 예를 들어 문장 “I like dogs and cats”을 생성할 때 해당 문장이 생성될 확률은 다음과 같다. P(I,like,dogs ,and, cats)=P(I)P(like|I)P(dogs|I,like)P(and|I,like,dogs)P(cats|I,lik..