생각하는 아져씨

오늘은 귀여운 친칠라 논문에 대해 리뷰해보겠습니다. 1. Introduction 최근 5000억개의 파라미터를 가지는 LLM이 많이 공개되었다. 또한 Large Autoregressive 트랜스포머 모델들은 Zero-shot, Few-shot, Fine-tuning 같은 프로토콜을 활용해 다양한 task에서도 좋은 성능을 보여주고 있다. 이런 LLM을 학습시키는데 상당한 컴퓨팅 예산이 들기 때문에, 모델 사이즈에 따른 컴퓨팅 비용을 고려해야 한다. 더군다나 이렇게 큰 모델은 현실적으로 1번 정도 학습할 수 있기 때문에 주어진 컴퓨팅 예산 안에서 최적의 모델을 정확하게 평가할 수 있는 것이 매우 중요하다. Kaplan et al.(2020)의 논문에서 이 문제에 대해 다뤘다. 모델의 파라미터 수와 성능의 ..

2022년 EMNLP에 게재된 논문으로, 요즘 Chat-GPT 같이 거대 언어 모델을 만들고 사용하는데 있어서 꼭 필요한 개인정보 위험에 관한 내용을 담고 있습니다. 연구를 하면서 성능을 높이는 논문을 주로 읽어왔는데, 이렇게 흥미로운 주제를 다루는 논문도 꼭 필요한 것 같습니다. 느낀점 졸업 논문을 준비하다보니 논문 스터디 업로드를 미루게 되었습니다. 오랜만에 재미있는 논문을 읽게되어서 뇌가 살아나는 느낌입니다. 앞으로 최신 연구 트렌드를 잘 따라갈 수 있도록 더 열심히 공부하기 다짐합니다. 논문을 읽으면서 새로운 트렌드, 개념도 얻었습니다. 제가 이해한 바를 정리했으며, 자세한 개념은 다른 분들의 글을 참고했습니다 :) 개요 Pre-Trained Language Models(PLMs)이 개인정보를 ..

2003년 논문으로 지금 최신 논문들을 나오게 한 흐름에 있는 논문입니다. 그때 당시 컴퓨팅 파워가 지금보다 좋지 않기 때문에 퀄리티 있는 실험은 진행하지 못했다고 합니다. 이 논문의 핵심은 실험 부분 보다 방법론이 중요하므로, 방법론 위주로 살펴보았습니다. 느낀점 저는 논문을 읽을 때 한번에 이해하자 보다는 먼저 1회독을 한 후에 그 다음부터 모르는 것을 살펴보면서 논문을 이해해야겠다 주의 입니다. 주로 2016년 이후의 최신 논문만 읽어오다가 2003년에 나온 논문을 읽으면서 느낀점은 제가 기초가 정말 부족하다는 것이었습니다. 내가 왜 최신 논문의 "어떤 부분"을 이해하지 못했는지 알았습니다. 그건 바로 기본기가 없었기 때문이죠...🤣 그래서 이 논문은 다시 한번 저의 NLP 지식 부족에 대한 경각심..