2022/01/06 연구노트

개인미팅 기록

[1월 4일 화요일]
(논문 1차 피드백)
- ABSTRACT : 앙상블이 딥러닝의 성능을 높이는 이 부분을 원래 의 앙상블 개념으로 설명. (딥러닝 이전에 나왓던 개념 위주로)
- rainforest 개념(랜덤포레스트 같음)
	디시전트리 하나를 정성들여 잘만든거보다
	디시전 트리 여러개 앙상블 -> 성능이 더 좋다는 논문 —> 보통 정답이 단답형 

- 그런데 우리는 rnn 에서 어떻게 앙상블 했다~~ (레인포레스트 전제로)
	각각의 모델은 동일한 구조임
	우리의 기법이 동일 모델을 앙상블 한다는 측면에서 봤을 때
	레인포레스트의 recursive 버전 (RR Forest 같은 느낌?)
	이런 접근으로 가면 어떨까?

- Relative 부분 보완
	일반적 앙상블 관련연구도
	(지금은 시퀀스 앙상블만 있음)

- 본론에서
	우리는 앙상블이 동일모델을 쓰는거다(설명있어야 함)

	항상 좋은건 마지막에 나오는걸로.
	(소프트 보팅만 마지막에)
	다수결을 맨 앞

	앙상블 방법에대한 기술적인 테크닉이 있음 좋음

	Example 넣기 

- 실험결과에서도
	기계번역의 그래프도 넣기
	우리 모델에 대한 설명과 우리가 데이터에 대한 설명도.
	 (일단 있긴 함 말로.)

Rainforest 앙상블의 RNN 버전으로 출발해서 설명하면 좋을 듯

본문에 맨 앞에 전제가 설명이 되어야 한다.
다양한 RNN 모델에도 적용할 수 있다. 이런 느낌으로~
영역을 넓힐 수 있게.

[1월 6일 목요일]
- 레인포레스트 -> 랜덤 포레스트?
- 딥러닝 이전의 앙상블 개념이 물리학중 통계역학에서 나오는 앙상블 개념이 있고, 통계학에서 대수의 법칙과 관련한 앙상블 개념이 있는데

현재 모델 입장에서 자기의 Decision Time에 앙상블이 끼어들지 않음
앙상블이 기본적으로 어떻게 쓰여왔다.
배깅과 부스팅~
CNN 계역은 전통적인 앙상블 구조에 잘 맞는다
RNN 은 전통적인 특성에 잘 맞지 않는다.
RNN도 그렇게 써먹을 수 있다.
그런데 우리는 새롭게 퀘스쳔을 가졌는데
RNN은 시퀀셜한 아웃풋이 재귀적으로 다음 아웃풋에 영향을 미치는데 중간중간 단계에서 앙상블의 결과를 활용하면 성능향상에 더 도움이 되지 않을까 하는 의문점에서 출발한 것
기존의 RNN도 기존의 앙상블 모델에 얼마든지 집어넣을 수 있지만
그걸 중간 단계에서도 집어너으면 더 성능이 더 좋아질수 있지 않을까라는 의문을 갖게되었다.
그래서 중간단계에서 어떻게 앙상블을 활용할 수 있는지 방법론을 제안한다.

중간단계에서 참여를 해야 하나기본적으로 참여하는 모델은 homogeneous (동일구조)이다.

Recursive Reinforest
대신 우린 하나는 택하고 하나는 버림
중간 단계 앙상블을 택하고
기존 앙상블은 모델이 동일할 필요가 없음
근데 우리는 중간중간 단계를 답을 모아야 하기때문에 호모지니어스 모델만 참여시켜야 함
우리는 Heterogenous 환경을 버린것임 

완벽한실험을 하려면
헤테로지니어스와 비교를 해야하긴함

Recursive forest 라는 이름을 붙이는것도 괜찮을 듯