Machine Learning (6) 썸네일형 리스트형 Stanford CS224N Lec10 (Winter 2021) Lecture 9 : Prompting, Reinforcement Learning from Human Feedback강의 목차IntroZero shot and Few shot in context-learningInstruction FinetuningReinforcement Learning from Human Feedback1. Intro지금까지 수 많은 데이터를 학습하면서, 빈칸을 예측하거나 다음 단어 예측과 같은 간단한 task를 수행했다. 모델은 자연스럽게 문법 구조, 지시어 해석, 감정 등과 같은 언어적 패턴을 배울 수 있었다. 이번 강의에서는 더 나아가, 세상의 데이터 및 텍스트를 학습하면서 인간의 신념, 행동, 지식을 내재화한 'rudimentary world model' 즉, 세계를 모방하는.. Stanford CS224N Lec9 (Winter 2021) Lecture 9 : Pretraining강의 목차A brief note on Subword ModelingMotivating model pretraining from word embeddingsModel Pretraining three waysDecodersEncodersEncoder - DecodersWhat do we think pretraining is teaching? 1. A brief note on Subword Modeling이전강의들에서 알아본 word vector모델들은 (ex.word2vec) 유일한 finite한 단어 집합 vocabulary를 가정했다. 즉 데이터를 보고 어던 단어들을 사전에 넣을지 정한 뒤, 그 단어들로만 'word embedding'을 학습하였다. 하지만 여.. Stanford CS224N Lec7 (Winter 2021) Lecture 7: Translation, Seq2Seq, Attention a new task : Machine Translationnew neural architecture : sequence to sequencenew neural technique : Attention (~Lec8)1. a new task : Machine TranslationMachine Translation(MT)란?'the task of translating a sentence x from one language(the source language) to a sentence y in another language(the target language)즉, 우리가 흔히 생각하는 언어간의 번역 작업을 컴퓨터에서 하는 것을 의미한다... Stanford CS224N Lec4 (Winter 2021) Lecture 4: Dependency Parsing강의 목차Syntactic Structure: Consistency and Dependency Dependency Grammar and TreebanksTransition-based dependency parsingNeural dependency parsing (~Lec5)1. Syntactic Structure: Consistency and Dependency우리가 언어로 의사소통을 할 때, 단순히 단어들을 아무렇게나 나열하는 'word salad'를 내뱉는 것은 아니다.예를 들어 “whatever, leaking, kitchen, tap(뭐, 새는, 부엌, 수도꼭지)” 같은 단어만 늘어놓고, 상대방이 알아서 의미를 조합하라고 맡기는 건 아니다. 우리.. LSTM - Long Short Term Memory Based Recurrent Neural Network Architectures For Large Vocabulary Speech Recognition Review aa bb ccc dddd Contents0. Abstract1. Introduction2. LSTM Architectures3. Experiments4. Conclusion5. My Conclusion0. AbstractLong Short-Term Memory(LSTM)은 기존 RNN 모델이 갖는 기울기 소실 문제를 해결하기 위해 고안된 순환 신경망(RNN)구조이다. RNN은 기존 feedforward neural network와는 다르게, 순환 연결을 가져 sequential data를 다루는데 용이하다. 그러나, DNN과는 다르게, RNN(기존의)은 작은 양의 정보만을 다룰 수 있다는 단점이 있었다.(여기서 DNN은 우리가 흔히 아는 multi-layer neural network; Deep Neu.. Improving Language Understanding by Generative Pre-Training(GPT -1) Review https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdfOpenAI에서 만든 GPT(Generative Pre-trained Transformer)의 시초가 되는 논문으로, GPT-1에 해당한다. 이후, GPT1 -> GPT-2 → GPT-3 → GPT-4으로 발전되어서 오늘날의 GPT가 완성되었다. GPT1부터 천천히 공부해보자!!Contents0. Abstract1. Introduction2.Related Work3. Framework4.Experiments5. Analysis6. Conclusion7. My Conclusion 0. AbstractNLU(Natural Language Und.. 이전 1 다음
