인공지능

출처 :  https://kyull-it.tistory.com/212

출처: https://ffighting.net/deep-learning-paper-review/deep-learning-paper-guide/deep-learning-paper-guide/

 

NLP
* RNN 계열의 Model들 : 고정된 크기의 context vector 사용 / 단어의 순서를 학습
1. RNN : Recurrent neural network based language model (2010) (처음 등장은 1986)
2. LSTM : Long Short Term Memory Recurrent Neural Network Architectures for Large Scale Acoustic Modeling (2014) (처음 등장은 1997)
3. GRU :  Learning Phrase Representation using RNN Encoder-Decoder for Stistical Machine Translation (2014)
4. Seq2Seq : Sequence to Sequence Learning with Neural Networks (2014)

* Attention Mechanism 등장 : 입력 시퀀스 전체에서 정보 추출하는 방향으로 발전 (Context Vector 고정되지 않음)
5. Attention : Neural Machine Translation by Jointly Learning to Align and Translate (2015)
6. Transformer : Attention is All You Need (2017)

* Word Embedding : 단어를 임의의 벡터로 표현하는 방식  
7. Word2Vec : Efficient Estimation of Word Representations in Vector Space (2013)
8. GloVe : Global Vectors for Word Representation (2014)
9. FastText : Enriching Word Vectors with Subword Information (2016)
10. ELMo : Deep contextualized word representations (2018)

* Transformer Architecture 기반의 Pretrained Language Model들 / 단어의 순서(위치 정보/Positional Encoding 등)를 한번에 넣어 병렬로 처리 
11. GPT-1 : Improving Language Understanding by Generative Pre-Training (2018)
12. BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding (2018)
13. GPT-2 : Language Models are Unsupervised Multitask Learners (2018)
14. RoBERTa : RoBERTa: A Robustly Optimized BERT Pretraining Approach (2019)
15. ALBERT: A Lite BERT for Self-supervised Learning of Language Representations (2019)
16. ELECTRA : Pre-training Text Encoders as Discriminators Rather Than Generators (2020)
17. XLNet : Generalized Autoregressive Pretraining for Language Understanding (2019)

CV
1. ImageNet Classification with Deep Convolutional Neural Networks(AlexNet)
2. Going deeper with convolutions(Inception-v1)
3. Rethinking the Inception Architecture for Computer Vision (Inception-v2~3)
4. Deep Residual Learning for Image Recognition (ResNet)
(skip connection 을 처음 제시한 논문)
5. Squeeze and Excitation Network(SENet)
(Channel Attention 을 처음 제시한 논문)
6. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks(EfficientNet)
7. You Only Look Once: Unified, Real-Time Object Detection
(object detection 의 시작. 현재까지도 YoLO 는 지속적으로 버전업데이트를 하고 있으며 매우 좋은 성능을 보인다.)
8. Generative Adversarial Networks(GAN)
9. Rich feature hierarchies for accurate object detection and semantic segmentation

 

 

출처:

https://jeahun10717.tistory.com/64

[DL / CV] Computer Vision 논문 공부 순서 정리

https://asidefine.tistory.com/180

NLP 논문 공부 순서 (2023.12 업데이트)