생각하는 아져씨

앤드류 응 교수님의 강의를 듣고 정리 및 공부한 글임을 알려드립니다. Generative AI with LLMs In Generative AI with Large Language Models (LLMs), created in partnership with AWS, you’ll learn the fundamentals of how generative AI works, and how to deploy it in real-world applications. LoRA(Low Rank Adaptation) PEFT 중 Reparameterization 테크닉에 속하는 기법으로, 사전학습 모델에 학습이 가능한 Rank decomposition 행렬을 삽입한 것으로 파인튜닝 동안 학습되는 파라미터를 줄이는 전략 오리..

앤드류 응 교수님의 강의를 듣고 정리 및 공부한 글임을 알려드립니다. Generative AI with LLMs In Generative AI with Large Language Models (LLMs), created in partnership with AWS, you’ll learn the fundamentals of how generative AI works, and how to deploy it in real-world applications. LLM의 Full Fine-Tuning은 너무 많은 계산과 메모리가 소요됩니다. 학습 weights와 Optimizer States, Gradients, Forward Activations, Temp memory 등을 계산하고 저장하는데 많은 비용이 필요하..

앤드류 응 교수님의 강의를 듣고 정리 및 공부한 글임을 알려드립니다. Generative AI with LLMs In Generative AI with Large Language Models (LLMs), created in partnership with AWS, you’ll learn the fundamentals of how generative AI works, and how to deploy it in real-world applications. 지금까지 Pre-training과 Fine-tuning을 통해 모델의 성능을 높이는 방법을 공부했습니다. 사전학습 모델을 파인튜닝하면 더 나은 성능을 얻을 수 있음을 확인했는데, 그렇다면 어떻게 “성능 향상”을 얻었다고 확인할 수 있을까요? 이를 위해서 L..

앤드류 응 교수님의 강의를 듣고 정리 및 공부한 글임을 알려드립니다. Generative AI with LLMs In Generative AI with Large Language Models (LLMs), created in partnership with AWS, you’ll learn the fundamentals of how generative AI works, and how to deploy it in real-world applications. 오늘은 Single-Task와 Multiple-Task에서 Fine-tuning 하는 과정에 대해 공부해보려고 합니다. LLM은 다양한 Task에도 잘 동작하긴 하지만, 내가 관심 있는 분야 또는 아주 특정한 분야에 한해서 좀 더 좋은 성능을 내고 싶다면,..

앤드류 응 교수님의 강의를 듣고 정리 및 공부한 글임을 알려드립니다. Generative AI with LLMs In Generative AI with Large Language Models (LLMs), created in partnership with AWS, you’ll learn the fundamentals of how generative AI works, and how to deploy it in real-world applications. 이번 주는 LLM의 Fine-tuning에 대해서 살펴보려고 합니다. 그중에서도 Instruction fine-tuning과 parameter fine-tuning 이렇게 2가지에 대해 공부해 보겠습니다. Instruction Fine-tuning LLM은..

앤드류 응 교수님의 강의를 듣고 정리 및 공부한 글임을 알려드립니다. Generative AI with LLMs In Generative AI with Large Language Models (LLMs), created in partnership with AWS, you’ll learn the fundamentals of how generative AI works, and how to deploy it in real-world applications. 애플리케이션을 개발할 때 일반적으로 LLM을 사용한다면 많은 이점을 얻을 수 있습니다. LLM을 통해 시간도 절약할 수 있을뿐더러 빠르게 프로토타입도 작성해 볼 수 있으니까요.👍 하지만, 응용하려는 분야가 일반적으로 사용하지 않는 언어구조를 가지고 있다면 ..