목록분류 전체보기 (99)

생각하는 아져씨

Instruction Fine-tuning과 Catastrophic Forgetting

앤드류 응 교수님의 강의를 듣고 정리 및 공부한 글임을 알려드립니다. Generative AI with LLMs In Generative AI with Large Language Models (LLMs), created in partnership with AWS, you’ll learn the fundamentals of how generative AI works, and how to deploy it in real-world applications. 오늘은 Single-Task와 Multiple-Task에서 Fine-tuning 하는 과정에 대해 공부해보려고 합니다. LLM은 다양한 Task에도 잘 동작하긴 하지만, 내가 관심 있는 분야 또는 아주 특정한 분야에 한해서 좀 더 좋은 성능을 내고 싶다면,..
Machine & Deep Learning/Generative AI 2023. 9. 13. 10:00
Fine-tuning - Instruction Fine-tuning에 대해서

앤드류 응 교수님의 강의를 듣고 정리 및 공부한 글임을 알려드립니다. Generative AI with LLMs In Generative AI with Large Language Models (LLMs), created in partnership with AWS, you’ll learn the fundamentals of how generative AI works, and how to deploy it in real-world applications. 이번 주는 LLM의 Fine-tuning에 대해서 살펴보려고 합니다. 그중에서도 Instruction fine-tuning과 parameter fine-tuning 이렇게 2가지에 대해 공부해 보겠습니다. Instruction Fine-tuning LLM은..
Machine & Deep Learning/Generative AI 2023. 9. 12. 12:18
Training Compute-Optimal Large Language Models 리뷰

오늘은 귀여운 친칠라 논문에 대해 리뷰해보겠습니다. 1. Introduction 최근 5000억개의 파라미터를 가지는 LLM이 많이 공개되었다. 또한 Large Autoregressive 트랜스포머 모델들은 Zero-shot, Few-shot, Fine-tuning 같은 프로토콜을 활용해 다양한 task에서도 좋은 성능을 보여주고 있다. 이런 LLM을 학습시키는데 상당한 컴퓨팅 예산이 들기 때문에, 모델 사이즈에 따른 컴퓨팅 비용을 고려해야 한다. 더군다나 이렇게 큰 모델은 현실적으로 1번 정도 학습할 수 있기 때문에 주어진 컴퓨팅 예산 안에서 최적의 모델을 정확하게 평가할 수 있는 것이 매우 중요하다. Kaplan et al.(2020)의 논문에서 이 문제에 대해 다뤘다. 모델의 파라미터 수와 성능의 ..
Machine & Deep Learning/NLP Paper 2023. 9. 8. 15:54
[코드트리 챌린지] 격자안에서 완전탐색

문제 https://www.codetree.ai/missions/2/problems/best-place-of-33?&utm_source=clipboard&utm_medium=text 코드트리 | 코딩테스트 준비를 위한 알고리즘 정석 국가대표가 만든 코딩 공부의 가이드북 코딩 왕초보부터 꿈의 직장 코테 합격까지, 국가대표가 엄선한 커리큘럼으로 준비해보세요. www.codetree.ai 코드 N = int(input()) # 격자 크기 maps = [list(map(int, input().split())) for _ in range(N)] def count_coins(x, y): count = 0 for i in range(x, x+3): for j in range(y, y+3): if maps[i][j] ..
Study/Algorithm 2023. 9. 8. 01:57
[한 우물 파기] DP(Dynamic Programming) ☄️

문제 제목 키워드 번호 풀었나요? 퇴사 dp 14501 O 연속합 합이 최대인 부분배열 구하기 1912 O 피보나치 수 1 bottom-up 24416 O 신나는 함수 실행 메모이제이션 9184 01타일 bottom-up 1904 파도반 수열 패턴찾기 + bottom-up 9461 계단 오르기 규칙에 맞게 구현 + bottom - up 2579 1로 만들기 순서가 중요한 DP 1463 RGB거리 구현 및 DP 1149 RGB거리2 구현 및 DP 17404
Study/Algorithm 2023. 9. 7. 11:09
[한 우물 파기] BFS/DFS & 그래프 문제를 풀어보자 ☄️

Easy 문제 제목 키워드 번호 풀었나요? DFS와 BFS DFS & BFS 1260 O 단지번호붙이기 인접행렬 BFS 2667 O 미로찾기 인접행렬 DFS 2178 O 유기농 배추 인접행렬 DFS 1012 O 보물섬 BFS+최단거리 2589 O 효율적인 해킹 빠른 I/O, 배열을 이용한 큐 1325 O 바이러스 인접리스트 2606 O Normal 문제 제목 키워드 번호 풀었나요? 알고리즘 수업 - 깊이 우선 탐색 1 DFS 오름차순 방문 24479 O 알고리즘 수업 - 깊이 우선 탐색 2 DFS 내림차순 방문 24480 O 알고리즘 수업 - 너비 우선 탐색 1 BFS 오름차순 방문 24444 O 알고리즘 수업 - 너비 우선 탐색 2 BFS 내림차순 방문 24445 안전영역 Connected Compon..
Study/Algorithm 2023. 9. 5. 23:53
이전 Prev 1 2 3 4 5 6 ··· 17 Next 다음