생각하는 아져씨

앤드류 응 교수님의 강의를 듣고 정리 및 공부한 글임을 알려드립니다. Generative AI with LLMs In Generative AI with Large Language Models (LLMs), created in partnership with AWS, you’ll learn the fundamentals of how generative AI works, and how to deploy it in real-world applications. LoRA(Low Rank Adaptation) PEFT 중 Reparameterization 테크닉에 속하는 기법으로, 사전학습 모델에 학습이 가능한 Rank decomposition 행렬을 삽입한 것으로 파인튜닝 동안 학습되는 파라미터를 줄이는 전략 오리..

앤드류 응 교수님의 강의를 듣고 정리 및 공부한 글임을 알려드립니다. Generative AI with LLMs In Generative AI with Large Language Models (LLMs), created in partnership with AWS, you’ll learn the fundamentals of how generative AI works, and how to deploy it in real-world applications. LLM의 Full Fine-Tuning은 너무 많은 계산과 메모리가 소요됩니다. 학습 weights와 Optimizer States, Gradients, Forward Activations, Temp memory 등을 계산하고 저장하는데 많은 비용이 필요하..