생각하는 아져씨

학부 2학년 때 처음 접했던 네이버 데뷰인데 드디어 나도 가보게 되었다. 학부생 시절 당시 수업과 과제 따라가느라 참여해볼 생각도 못했는데 이제는 신기술이 계속 나오고 발전되니 연구자로서 꼭 참여해야 한다고 생각했다. 운이좋게도 27일(첫째날) 티켓팅에 성공했고 네이버 현직자인 친구와 함께 다녀왔다. 사실 28일에 관심있는 강연이 더 많았지만 27일이라도 성공한게 어딘지... 이번 데뷰는 경쟁이 아주 치열했다고 한다. 예약 메세지를 보여주면 팔찌와 굿즈를 주는데 귀여운 파란색 가방에 물, 초코과자, 키캡3개가 들어있었다. 아침 9시부터 등록 시작이라 일찍 갔는데 아침엔 사람이 없었지만 한세션 끝나고 난뒤 아주 바글바글 했다. 역시 핫한 데뷰 첫째날에는 Naver Search와 추천 시스템에 관한 내용이 ..

역전파란? 인공 신경망을 최적화 하는 과정에서 미분은 필수적인 요소인데 파이토치는 최적화 과정인 역전파(backpropagation)를 쉽게 할 수 있도록 자동 미분 계산을 제공한다. 자동 미분 준비하기 자동 미분을 하기 위해서는 텐서를 기준으로 모든 연산들을 추적할 수 있어야 한다. 그것이 바로 requires_grad = True 옵션이다. requires_grad = True 해당 텐서를 기준으로 모든 연산들을 추적할 수 있게 하는 옵션이다. (x 기준으로 미분을 할 수 있도록 만들어주는 장치) x = torch.ones(2,2, requires_grad=True) print(x) >> tensor([[1., 1.], [1., 1.]], requires_grad=True) 예를 들어 다음의 계산이 ..

텐서란 텐서(Tensor)는 파이토치의 기본 단위이며 GPU 연산을 가능하게 한다. 또한 Numpy의 배열과 유사하여 손쉽게 다룰 수 있다. 배열(Array)이나 행렬(Matrix)과 유사한 특수한 자료 구조이다. 텐서를 사용하기 위해서는 다음의 라이브러리가 필요하다. # 라이브러리 불러오기 import torch # Pytorch를 사용하기 위한 기본 라이브러리다. numpy와 유사한 함수를 제공해준다. import numpy as np # Numpy를 사용하기 위한 기본 라이브러리다. 여기서 "as np"는 numpy를 np로 짧게 표기하겠다는 뜻이다. 텐서 만들기 빈 텐서 만들기 # 빈 텐서 생성 x = torch.empty(5,4) # 5x4 행렬 생성 print(x) # 초기화되지 않은 행렬인 ..

최근 노션은 기록을 하는 메모장을 넘어서 AI의 기능까지 도입해 아주 생산적인 글 작성도 도와줄만큼 많이 발전했다. 이러한 노션은 나에게도 너무 유용하고 스터디, 연구일지, 플래너 등 다양한 곳에 활용하고 있다. 왜? 노션을 티스토리에 바로 업로드 하고 싶어했나? 노션은 단축키가 익숙하고 빠르게 정리가 가능하다. 나에게 노션은 기록의 총 집합 같은 느낌인데, 가끔 티스토리에 업로드하고 싶은 글들이 있다. 그때마다 복사/붙여넣기 했었는데 너무 비효율적이었고 시간 낭비라고 생각했다. 결론부터, Notion을 Tistory에 바로 업로드 하는 방법은?! 어떤 개발자님께서 OpenAPI를 사용해 Notion에 작성한 글을 Tistory에 발행할 수 있는 코드를 구현해놓으셨다. 이미 알고있는 사람은 유용하게 쓰고..

문제 https://www.acmicpc.net/problem/11724 11724번: 연결 요소의 개수 첫째 줄에 정점의 개수 N과 간선의 개수 M이 주어진다. (1 ≤ N ≤ 1,000, 0 ≤ M ≤ N×(N-1)/2) 둘째 줄부터 M개의 줄에 간선의 양 끝점 u와 v가 주어진다. (1 ≤ u, v ≤ N, u ≠ v) 같은 간선은 한 번만 주 www.acmicpc.net 🚦 문제 유형 그래프 탐색 bfs, dfs ✅ 문제 설명 방향이 없는 그래프가 주어졌을 때 연결 요소(Connected Component)의 개수를 구해야 합니다. 정점과 간선의 정보를 얻을 수 있고, 그래프에서 연결된 요소에 대한 정보로 양 끝점인 (u, v)가 주어집니다. (u, v)가 주어지면, (u, v)는 간선으로 연결된..

2022년 EMNLP에 게재된 논문으로, 요즘 Chat-GPT 같이 거대 언어 모델을 만들고 사용하는데 있어서 꼭 필요한 개인정보 위험에 관한 내용을 담고 있습니다. 연구를 하면서 성능을 높이는 논문을 주로 읽어왔는데, 이렇게 흥미로운 주제를 다루는 논문도 꼭 필요한 것 같습니다. 느낀점 졸업 논문을 준비하다보니 논문 스터디 업로드를 미루게 되었습니다. 오랜만에 재미있는 논문을 읽게되어서 뇌가 살아나는 느낌입니다. 앞으로 최신 연구 트렌드를 잘 따라갈 수 있도록 더 열심히 공부하기 다짐합니다. 논문을 읽으면서 새로운 트렌드, 개념도 얻었습니다. 제가 이해한 바를 정리했으며, 자세한 개념은 다른 분들의 글을 참고했습니다 :) 개요 Pre-Trained Language Models(PLMs)이 개인정보를 ..