생각하는 아져씨

[Programmers] 단어 변환

azeomi — Wed, 25 Oct 2023 12:54:38 +0900

https://school.programmers.co.kr/learn/courses/30/lessons/43163

프로그래머스

코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요.

programmers.co.kr

접근 방법

문제를 읽다보면, 구현 같지만 구현과 BFS/DFS 알고리즘이 혼합된 것 같다.

문제 속에서 '최소 몇 단계' 라는 말이 있었기 때문에 BFS로 접근하면 되겠구나 생각이 들었다.

BFS는 최단거리가 보장되는 경로를 탐색할 수 있기 때문이다.

그래서 코드 작성하기 전 과정을 적어보면 다음과 같이 풀 수 있다.

  '''
    최소 단계를 거쳐 begin -> target으로 변환
    변환할 때 마다 count + 1
    hit -> cog 로 갈 수 있는 최소 변경 횟수
    graph : hot -> dot 으로 1개씩 변경된다면, 인접리스트로 추가
    hit에서 h가 바뀔때, _it가 words에 있는지 확인 => 없으면, 패스
    hit에서 i가 바뀔때, h_t가 wrords에 있는지 확인, hot, ->있으면 queue에 추가, visited[hot] = True
    hit에서 t가 바뀔때, hi_가 words에 있는지 확인, -> 없으면, 패스
    
    queue .popleft()
    
    hot에서 h가 바뀔때, _ot 있는지 확인, dot, lot -> queue에 추가 (dot, lot) , visited = ture
    hot에서 o가 바뀔때, h_t가 있는지 확인, 업승면 패스
    hot에서 t가 바뀔때, ho가 있는지 확인, (+not visited  여야함) 없으면 패스
    
    queue = (dot, lot)
    queue.popleft
    ... 반복
    -> target 찾으면 종료., 못찾으면 0 리턴
    '''

이걸 그대로 코드로 구현하면 된다.

풀이

from collections import deque
def solution(begin, target, words):
  
    visited = {}
    answer = {}
    for w in words:
        visited[w] = False
        answer[w] = 1
    queue = deque()
    queue.append(begin)
    answer[begin] = 0
    
    while queue:
        begin_w = queue.popleft()  
        if begin_w == target:
            return answer[target]
        for i in range(len(begin_w)):
            tmp = begin_w[:i] + begin_w[i+1:]
            for w in words:
                if (w[:i] + w[i+1:]) == tmp and not visited[w]:    # 1개 알파벳 변경할 수 있다면, queue에 추가
                    queue.append(w)
                    answer[w] += answer[begin_w]
                    visited[w] = True
    
    return 0

[Programmers] 이진 변환 반복하기

azeomi — Wed, 25 Oct 2023 12:51:01 +0900

https://school.programmers.co.kr/learn/courses/30/lessons/70129

프로그래머스

programmers.co.kr

오랜만에 프로그래머스 풀어보기 ✌️

요즘 알고리즘만 풀었더니 구현 문제를 잘 못푸는 것 같아서 연습 겸 풀어본다.

접근 방법

구현이니까 문제에서 하라는 대로 코드를 구현한다.

이진변환 반복하라고 하니까..반복해본다.

이진변환 함수 생각안나서 직접 함수로 구현했다. 다 풀고 찾아보니 아주 간단한 함수였던 것..!

bin()으로 해결하면 된다.

풀이

def solution(s):
    '''
    1. x에서 0 제거
    2. (제거된 s의 길이) -> num, num에 이진변환 -> 문자열
    3. 이진변환이 "1"(문자열) 인지 확인 -> "1"이라면, [제거된 0 개수, 이진변환 횟수] 출력
    '''
    
    bin_cnt = 0 # 이진변환 횟수
    zero_cnt = 0
    
    def to_binary(num):
        s = ''
        while num != 0:
            n = num % 2
            s += str(n)
            num = num // 2
        return s  
    
    while s != '1':
        zero_cnt += len(s) - len(s.replace('0', '')) # 제거된 0 개수
        s = s.replace('0', '')
        bin_num = to_binary(len(s))[::-1]    # 이진 변환, str 타입
        s = bin_num
        bin_cnt += 1
        
    return [bin_cnt, zero_cnt]

LLM의 효율적인 파인튜닝, PEFT 연구는 어떻게 흘러왔을까?

azeomi — Fri, 20 Oct 2023 13:30:59 +0900

"A golden retriever dog is sitting with a keyboard in one hand and a mouse in the other. The background has neon signs like the future smart city. Write the word 'Parameter Efficient Fine Tuning' at the top." Bing Image Creator 사용하여 만들었습니다. DALL-E에서 제공

LLM의 효율적인 파인튜닝인 PEFT 연구의 중요성과 현재까지의 흐름을 정리해보았다.

주로 공부할 땐 노션에 정리한 후 다듬어 블로그에 올리는데, 이번 포스팅은 양이 많아서 노션 링크를 공유한다.

PEFT의 최신 연구 동향에 대해 대략적으로 파악할 수 있도록 요약해봤다. PEFT를 공부하는 분들께 조금이라도 도움이 되었으면 좋겠다.

부족한 부분은 계속해서 보완할 예정이다.

https://www.notion.so/azeomi/LLM-PEFT-182685e9cfc447f7bbb651e7c80eef7d?pvs=4

LLM의 효율적인 파인튜닝, PEFT 연구는 어떻게 흘러왔을까?

Why is the Fine-Tuning LLMs important?

www.notion.so

PEFT, LoRA 입문하기✌️

azeomi — Fri, 20 Oct 2023 12:21:09 +0900

앤드류 응 교수님의 강의를 듣고 정리 및 공부한 글임을 알려드립니다.

Generative AI with LLMs In Generative AI with Large Language Models (LLMs), created in partnership with AWS, you’ll learn the fundamentals of how generative AI works, and how to deploy it in real-world applications.

LoRA(Low Rank Adaptation)

PEFT 중 Reparameterization 테크닉에 속하는 기법으로, 사전학습 모델에 학습이 가능한 Rank decomposition 행렬을 삽입한 것으로 파인튜닝 동안 학습되는 파라미터를 줄이는 전략
- 오리지널 모델의 파라미터를 freezing 하고
- ‘A Pair of Rank Decomposition Matrices’를 오리지널 weights에 주입합니다.
- 그리고 smaller matrices의 weights를 학습합니다.
Rank Decomposition
- 행렬의 차원을 r 만큼 줄이는 행렬과 다시 원래 크기로 키워주는 행렬의 곱으로 나타내는 것을 의미합니다.
- 레이어 중간마다 존재하는 hidden states h에 값을 더해줄 수 있는 파라미터를 추가해 줘서 모델의 출력 값을 원하는 타깃 레이블에 맞게 튜닝하는 것이 LoRA 테크닉입니다.
핵심 포인트는,
- 오리지널 모델의 weights는 Freeze!
- 한 쌍의 rank decomposition matrices를 오리지널 모델의 weights에 주입!

LoRA Example 살펴보기

트랜스포머 아키텍처를 활용해 살펴보겠습니다.

트랜스포머에는 2 종류의 NN이 학습 → Self Attention & Feed forward Network
원래 이 2 파트는 pre-training 시 학습되는 parameter 들로, Full fine-tuning 진행 시 이 부분이 모두 update 됩니다.
하지만! LoRA를 사용하면 모두 update 하지 않아도 됩니다.

1. Original weights freeze : 먼저 오리지널 weights는 고정!

2. Matrix Multiply the low rank matrices : Low Rank Matrices의 행렬곱을 진행

3. Add to original weights : 오리지널 weights에 LoRA Matrices를 더함

4. Update weights : small matrices만 업데이트

LoRA의 장점

LoRA significantly reduces parameters
- 트랜스포머 논문에 따르면, weights 차수가 512 * 64로 총 32,768개의 학습 파라미터 존재합니다.
- rank = 8 인 LoRa를 이용하면, 32,768개의 파라미터를 풀로 업데이트하지 않고, 작은 rank decomposition matrices를 대신 학습할 수 있습니다.
- 즉, B는 5128 = 4,096개, A는 864 = 512개로 총 4,608개 파라미터만 업데이트하면 되는 것이죠.
- 기존보다 86% 감소하게 되고,
- 그렇기 때문에 single gpu에서도 PEFT 가능하다는 장점이 있습니다.
LoRA is flexible
- rank decomposition matrices가 아주 작기 때문 → 각 Task에 대해 fine-tune 할 수 있고, inference 시 weights를 업데이트할 수 있습니다.
- Full fine tuning 시, Task 마다 오리지널 LLM과 동일한 사이즈의 모델이 만들어지면서 → 모델을 저장하고 처리하는데 storage 문제가 발생할 수 있습니다.
- 하지만, LoRA로 공간도 절약하고 flexible 하게 적용이 가능하게 됩니다.

파라미터를 효율적으로 파인튜닝한다?!

azeomi — Fri, 20 Oct 2023 11:47:46 +0900

앤드류 응 교수님의 강의를 듣고 정리 및 공부한 글임을 알려드립니다.

Generative AI with LLMs In Generative AI with Large Language Models (LLMs), created in partnership with AWS, you’ll learn the fundamentals of how generative AI works, and how to deploy it in real-world applications.

LLM의 Full Fine-Tuning은 너무 많은 계산과 메모리가 소요됩니다. 학습 weights와 Optimizer States, Gradients, Forward Activations, Temp memory 등을 계산하고 저장하는데 많은 비용이 필요하기 때문에 일반 소비자의 하드웨어 다루기는 조금 크다는 점이 있습니다.

이와 달리, PEFT(Parameter Efficient Fine-Tuning)은 전체를 업데이트하는 것이 아닌, 파라미터의 일부만 업데이트하는 방식으로, 위 문제를 조금 해결할 수 있습니다.

PEFT는 크게 2가지 방법

PEFT에는 여러 가지 방법이 존재하고 현재까지 많은 갈래로 연구되고 있습니다. 이들을 크게 2가지로 구별해 볼 수 있는데,

모델의 대부분 weights는 고정하고, 극 일부만 Fine-Tuning 하는 방법 → 특정 Layer 또는 Component가 될 수 있습니다.
원래 LLM의 weights는 전혀 건들지 않고, 새로운 Layer 또는 Component를 일부 추가하는 방법

2가지 방법의 공통점이 무엇일까요?

바로 모델의 대부분의 weight가 고정되어 있다는 점입니다. 그래서 학습할 수 있는 weights는 오리지널 LLM의 약 15~20% 정도가 되면서 학습에 필요한 메모리 관리가 쉬워지고, Single GPU에서도 동작이 가능하게 됩니다.

또한 Original LLM이 ‘아주 조금’ 수정되기 때문에 Full Fine-Tuning에서 일어나는 Catastrophic Forgetting이 일어날 가능성이 적어집니다.

어떤 Task에 적용할 때, Full Fine Tuning vs PEFT 비교

1) Full Fine-Tuning

Task에 맞게 파인 튜닝하고 싶다고 가정해 봅니다. LLM을 Task마다 Full Fine-Tuning 하게 되면 오리지널 LLM과 동일 사이즈의 파인튜닝 LLM이 만들어지게 됩니다.

그래서 오리지널 LLM과 동일한 사이즈(그림상 GBs)라서 multiple-task에 대해 파인 튜닝한다면 메모리 저장 문제가 발생할 수 있습니다.

반면 PEFT는 공간도 절약하고 좀 더 Flexible 하다는 장점이 있죠

2) PEFT

PEFT을 통해서 공간을 절약하고 Flexible 하게 multiple-task에 대해 파인튜닝을 적용할 수 있습니다.

각 Task에 대해 PEFT 하면 적은 수의 파라미터만 학습하게 되면서 전체적으로 차지하는 공간이 GBs → MBs로 줄어들게 됩니다.

이렇게 새로운 파라미터를 원래 LLM에 weights와 결합해서 사용하면, Task마다 full fine tuning 할 필요 없이 쉽게 교체 가능해 매우 효율적인 장점도 존재합니다.

PEFT는 굉장히 다양한 방법이 존재하는데, 각 방법마다 Trade-Off가 존재합니다.

그래서 ‘어떤 PEFT가 최고의 방법이다’라고 아직까지 얘기할 순 없는 것 같습니다.

PEFT의 3가지 주요 클래스

크게 3가지 방법론으로 구분됩니다.

1) Selective Methods

오리지널 LLM 파라미터의 일부만 파인튜닝 하는 방법입니다. 업데이트하려는 파라미터를 선택하는 방법이죠. 모델의 특정 Component 또는 Layer 또는 개별 파라미터 등을 선택해서 파인튜닝을 진행하게 됩니다. 각 방법마다 성능이 다르고 컴퓨팅 위에 언급된 Trade-Off가 존재합니다.

2) Reparameterization Methods

오리지널 네트워크 weights의 새로운 Low-Rank Transformations를 생성해서 학습할 파라미터의 수를 줄이는 방법입니다. 대표적으로 유명한 방법으로 LoRA가 있습니다.

3) Additive Methods

오리지널 LLM의 모든 weights는 freeze로 유지한 채, 새로운 학습가능한 Components를 도입해 파인튜닝하는 방법입니다.

이 방법에는 Adpater와 Soft Prompts 방식이 있는데,

Adapter는 모델 구조에 새로운 레이어를 추가하는 방법이고, Soft prompts는 모델 구조는 고정한 채 더 나은 성능을 내기 위해 Input을 조정하는 방법입니다. 보통 Prompt embedding에 파라미터를 추가하거나, Input은 고정하고 embedding weights를 학습하게 됩니다.

머신러닝 복습, 데이터 스케일링이 뭐냐

azeomi — Thu, 19 Oct 2023 22:05:03 +0900

Data Scaling?!

데이터 스케일링은 데이터의 범위와 분포를 조정하는 작업을 의미한다. 이를 통해 모든 특성이 동일한 스케일을 갖게 되며, 모델 학습 과정을 안정화시키고 수렴 속도를 높이며, 이상치의 영향을 줄여 모델의 성능을 개선하는데 도움을 주는 전처리 방법 중 하나이다.

데이터를 분석하다 보면 feature들마다 데이터 값의 범위가 다 제각각임을 볼 수 있다. 만약 범위 차이가 크다면 모델을 학습할 때 0으로 수렴하거나 무한으로 발산할 수 있다는 문제점이 있으므로 데이터 스케일링을 해주는 것이 좋다.

여기를 참고해 총 5가지 데이터 스케일링 방법에 대해 연습했다.

StandardScaler
MinMaxScaler
MaxAbsScaler
RobustScaler
Normalizer

데이터 스케일링을 했을 때 분포가 다름을 확인할 수 있다.

여러 가지 데이터 스케일링을 해보면서 모델의 성능을 살펴봤다.

데이터셋과 알고리즘에 따라 가장 적절한 스케일링 방법이 달라서 그런가 모델의 성능이 달라짐을 확인할 수 있었다.

이점에 유의해서 데이터 스케일링 방법을 선택하면 된다.

머신러닝 복습, 범주형 변수를 인코딩해보자

azeomi — Thu, 19 Oct 2023 21:55:59 +0900

머신러닝에서 범주형 변수를 인코딩해야 하는 이유는 정말 중요하다. 왜냐하면,

머신러닝 모델은 숫자 데이터만 이해할 수 있어서, 범주형 변수를 숫자로 변환해야 한다. 모델에게 맞게 언어를 해석하도록 하는 것이다.
범주형 변수를 인코딩하면 모델이 범주 간의 관계를 파악하고 예측에 활용할 수 있다.
인코딩을 통해, 범주형 변수의 유용한 정보를 보존할 수도 있다. 때론 모델의 성능을 향상해 준다.
원-핫 인코딩과 같은 효과적인 방법을 사용하면, 범주형 변수의 다양한 범주를 이진 형태로 표현할 수 있 고 모델이 이해하기 쉽게 만들어준다.
모델의 예측 정확도를 향상시키고, 데이터 분석 및 예측 프로세스를 더 효과적으로 수행하는 핵심 도구로 범주형 변수의 인코딩은 반드시 고려해야 한다. 말그대로 머신러닝의 비결이다.

그래서 오늘은 범주형 데이터를 인코딩하는 다양한 방법을 연습해본다.

범주형 인코딩 방법은 총 6가지로 여기를 참고했다.

One-Hot Encoding
Label Encoding
Ordinal Encoding
Binary Encoding
Frequency Encoding
Mean Encoding

데이터는 데이콘 블로그를 참고해 만들어 준비했다.

머신러닝 복습, 컬럼을 기준으로 그룹화/집계하기

azeomi — Thu, 19 Oct 2023 21:45:05 +0900

머신러닝에서 모델의 성능을 높이는데 정제된 데이터, 좋은 알고리즘을 사용하는 것도 있지만 무엇보다도 데이터를 목적에 맞게 추출하고 가공하는 것도 중요하다.

오늘은 데이터를 분석할 때 빈번하게 등장하는 groupby, merge, agg를 사용해서 간단한 문제를 연습해봤다.

Problem.

2개의 데이터 프레임이 있다. '년도' 컬럼을 기준으로 그룹화하여 나라명 개수, 행복기대치의 평균/표준편차/중간값을 구해보자.

정답은 다음의 형태를 띄도록 출력해보자.

정답은 다음의 형태를 띄도록 하시오.
|년도|나라명 개수|mean|std|median|
|---|---|---|---|---|
|내용 1|내용 2|내용 3|내용 4|내용 5|
|내용 5|내용 6|내용 7|내용 8|내용 9|
|내용 9|내용 10|내용 11|내용 12|내용13|

데이터는 블로그를 참고해 활용했다.

오리지널 데이터프레임 : 나라명, 점수, 상대GDP, 사회적지원, 행복기대치, 선택의 자유도, 관대함, 부패에 대한인식, 년도
데이터프레임 1 : 나라명, 행복기대치
데이터프레임 2 : 나라명, 점수, 상대GDP, 사회적지원, 선택의 자유도, 관대함, 부패에 대한인식, 년도

문제를 풀기 전, 일단 오리지널 데이터프레임에서 데이터프레임1과 2로 나눴다.

풀이순서는 이렇게 정했다.

df1과 df2를 '나라명' 컬럼 기준으로 병합한다.
완성된 데이터프레임을 '년도' 컬럼 기준으로 그룹화한다. -> 나라명 개수, 행복기대치의 평균, 표준편차, 중간값을 구한다.

그룹화하고 나서 각 컬럼에 대해 어떤 집계를 하고 싶을 때 유용한 함수가 있었다.

바로 agg이다.

딕셔너리 형태로 컬럼에 대해 집계하고 싶은 함수를 매핑해주면 된다.

공식 문서를 보면 많은 함수들이 있다.

grouby를 활용하는 방법은 여기를 참고했다.

BFS/DFS 는 어떤 상황에 적합한거지?!

azeomi — Fri, 13 Oct 2023 12:05:50 +0900

그래프와 BFS/DFS 코딩 테스트를 풀다 보면 어떤 문제는 BFS가 적절하고, 어떤 문제는 DFS 이고 어쩔 땐 둘 다 가능한 경우가 있다.

이 경우를 헷갈리지 않기 위해 상황 별 정리를 해본다.

이 글 에서 그래프의 최단경로를 구하는 방법이 잘 정리되어 있어서 참고했다.

1. BFS

너비 우선 탐색으로, 그래프에서 쓰일 수 있는 탐색 알고리즘이다.

BFS는 '가중치가 없는 그래프의 최단경로를 찾는 경우'에 사용될 수 있다. 그래서 최단거리의 합(또는 길이)를 출력하거나 최단 거리의 경로가 무엇인지 출력하는 문제에 적합하다.

최단거리를 출력하는 방법
- 새로운 노드를 탐색할 때, 그 전 단계의 거리에 +1 을 해주면 된다.
최단거리 경로를 출력하는 방법
- 직접 풀어보고 적기

2. DFS

3. 구현 시 도움되는 것들

최대 거리 또는 최소 거리 출력할 때 count 비교하면서 리스트에 저장하기 (다 저장하지말고)
경로 리스트 출력할 때 print(*list) 하면 값만 출력됨.

[코드트리 챌린지] DFS / 두 방향 탈출 가능 여부 판별하기

azeomi — Wed, 20 Sep 2023 01:36:17 +0900

문제

https://www.codetree.ai/missions/2/problems/determine-escapableness-with-2-ways?&utm_source=clipboard&utm_medium=text

코드트리 | 코딩테스트 준비를 위한 알고리즘 정석

국가대표가 만든 코딩 공부의 가이드북 코딩 왕초보부터 꿈의 직장 코테 합격까지, 국가대표가 엄선한 커리큘럼으로 준비해보세요.

www.codetree.ai

풀이

DFS 기초를 확인할 수 있는 쉬운 문제였다.

마지막 탈출 격자까지 도달했는지 유무를 더 쉽게 확인할 수 있는 방법을 기억하기 위해 기록한다.

내가 짠 방법 : global result 변수를 사용해 매번 만나는 (x, y) 좌표가 탈출 좌표 이면 result를 변경

더 쉬운 방법 : visited[n-1][m-1]이 '1' 인지 '0' 인지 출력하면 됨. 1이면 그 격자까지 도달한 것이기 때문에.

코드

n, m = map(int, input().split())
graph = [list(map(int, input().split())) for _ in range(n)]
visited = [[False]*(m) for _ in range(n)]

dx = [1, 0] # 아래, 오른쪽
dy = [0, 1]
result = 0

def dfs(x, y, visited):
    global result
    visited[x][y] = True    # 방문표시
    if (x, y) == (n-1, m-1):
         result += 1
    for d in range(2):
        nx = x + dx[d]
        ny = y + dy[d]
        
        if nx < 0 or nx >= n or ny < 0 or ny >= m: # 격자를 벗어나면 패스
            continue
        if graph[nx][ny] == 0:  # 뱀이 있는 경우, 패스
            continue
        if not visited[nx][ny]: # 방문하지 않았으면,
            visited[nx][ny] = True 
            dfs(nx, ny, visited)
dfs(0, 0, visited)
print(result)