생각하는 아져씨

앤드류 응 교수님의 강의를 듣고 정리한 글임을 알려드립니다. Generative AI with LLMs In Generative AI with Large Language Models (LLMs), created in partnership with AWS, you’ll learn the fundamentals of how generative AI works, and how to deploy it in real-world applications. Week 1주차 초반을 듣고 있는데 아직까지는 자세한 내용보다는 제목처럼 Introduction의 느낌이 강합니다. Week 2 까지는 들어봐야 어떤 분들에게 도움이 되는 강의일 지 생각할 수 있을 것 같네요😉 강의를 듣고 간략하게 정리한 내용을 적었습니다. LLM..

Generative AI와 Large Languaged Model이 활발하게 연구되는 이 시점에서, 앤드류 응 교수님의 education 회사인 Deeplearning.AI에서 제공하는 이 강의를 찾게되었다. Generative AI with LLMs In Generative AI with Large Language Models (LLMs), created in partnership with AWS, you’ll learn the fundamentals of how generative AI works, and how to deploy it in real-world applications. 끊임없이 나오는 LLM과 머릿속에 있는 LM 지식들이 복잡하게 얽히면서 Generative AI의 Lifecycle을..

역전파란? 인공 신경망을 최적화 하는 과정에서 미분은 필수적인 요소인데 파이토치는 최적화 과정인 역전파(backpropagation)를 쉽게 할 수 있도록 자동 미분 계산을 제공한다. 자동 미분 준비하기 자동 미분을 하기 위해서는 텐서를 기준으로 모든 연산들을 추적할 수 있어야 한다. 그것이 바로 requires_grad = True 옵션이다. requires_grad = True 해당 텐서를 기준으로 모든 연산들을 추적할 수 있게 하는 옵션이다. (x 기준으로 미분을 할 수 있도록 만들어주는 장치) x = torch.ones(2,2, requires_grad=True) print(x) >> tensor([[1., 1.], [1., 1.]], requires_grad=True) 예를 들어 다음의 계산이 ..

텐서란 텐서(Tensor)는 파이토치의 기본 단위이며 GPU 연산을 가능하게 한다. 또한 Numpy의 배열과 유사하여 손쉽게 다룰 수 있다. 배열(Array)이나 행렬(Matrix)과 유사한 특수한 자료 구조이다. 텐서를 사용하기 위해서는 다음의 라이브러리가 필요하다. # 라이브러리 불러오기 import torch # Pytorch를 사용하기 위한 기본 라이브러리다. numpy와 유사한 함수를 제공해준다. import numpy as np # Numpy를 사용하기 위한 기본 라이브러리다. 여기서 "as np"는 numpy를 np로 짧게 표기하겠다는 뜻이다. 텐서 만들기 빈 텐서 만들기 # 빈 텐서 생성 x = torch.empty(5,4) # 5x4 행렬 생성 print(x) # 초기화되지 않은 행렬인 ..

2022년 EMNLP에 게재된 논문으로, 요즘 Chat-GPT 같이 거대 언어 모델을 만들고 사용하는데 있어서 꼭 필요한 개인정보 위험에 관한 내용을 담고 있습니다. 연구를 하면서 성능을 높이는 논문을 주로 읽어왔는데, 이렇게 흥미로운 주제를 다루는 논문도 꼭 필요한 것 같습니다. 느낀점 졸업 논문을 준비하다보니 논문 스터디 업로드를 미루게 되었습니다. 오랜만에 재미있는 논문을 읽게되어서 뇌가 살아나는 느낌입니다. 앞으로 최신 연구 트렌드를 잘 따라갈 수 있도록 더 열심히 공부하기 다짐합니다. 논문을 읽으면서 새로운 트렌드, 개념도 얻었습니다. 제가 이해한 바를 정리했으며, 자세한 개념은 다른 분들의 글을 참고했습니다 :) 개요 Pre-Trained Language Models(PLMs)이 개인정보를 ..

2003년 논문으로 지금 최신 논문들을 나오게 한 흐름에 있는 논문입니다. 그때 당시 컴퓨팅 파워가 지금보다 좋지 않기 때문에 퀄리티 있는 실험은 진행하지 못했다고 합니다. 이 논문의 핵심은 실험 부분 보다 방법론이 중요하므로, 방법론 위주로 살펴보았습니다. 느낀점 저는 논문을 읽을 때 한번에 이해하자 보다는 먼저 1회독을 한 후에 그 다음부터 모르는 것을 살펴보면서 논문을 이해해야겠다 주의 입니다. 주로 2016년 이후의 최신 논문만 읽어오다가 2003년에 나온 논문을 읽으면서 느낀점은 제가 기초가 정말 부족하다는 것이었습니다. 내가 왜 최신 논문의 "어떤 부분"을 이해하지 못했는지 알았습니다. 그건 바로 기본기가 없었기 때문이죠...🤣 그래서 이 논문은 다시 한번 저의 NLP 지식 부족에 대한 경각심..