Bull

이 포스팅은 학교수업과 노승은 저자의 "바닥부터 배우는 강화 학습"을 바탕으로 정리하였고 저자의 책에 나오는 TD 예제에서 n-step TD를 구현해보았다. 소스코드 class GridWorld: def __init__(self): self.x = 0 self.y = 0 def step(self, a): if a == 0: self.move_left() elif a == 1: self.move_up() elif a == 2: self.move_right() elif a == 3: self.move_down() reward = -1 done = self.is_done() return (self.x, self.y), reward, done def move_right(self): self.y += 1 if s..

이 포스팅은 학교수업과 노승은 저자의 "바닥부터 배우는 강화 학습"을 바탕으로 정리했다. 학교 수업또한 저자 책을 바탕으로 수업을 받기 때문에 강의자료(요약에 가까운)와 책을 보며 정리했다. 개념 벨만 방정식은 MDP를 수식적으로 쉽게 이해하기 위해 접근한 방정식이다. 또한 밸류를 구할 때 벨만 방정식을 사용해야 한다. 분류는 벨만 기대 방정식, 벨만 최적 방정식 두 가지로 나뉜다. 벨만 기대 방정식 책에서는 벨만 방정식을 단계별로 설명했다. 0단계 $v_π(S_t) = E_π[G_t|S_t]$ $=E_π[R_{t+1} + γR_{t+2} + γ^2R_{t+3} + ···|S_t]$ $= E_π[R_{t+1} + γ(R_{t+2} + γR_{t+3} + ···)|S_t]$ $= E_π[R_{t+1} + ..

이 포스팅은 학교수업과 노승은 저자의 "바닥부터 배우는 강화 학습"을 바탕으로 정리했다. 학교 수업또한 저자 책을 바탕으로 수업을 받기 때문에 강의자료(요약에 가까운)와 책을 보며 정리했다. 개념 MDP는 마르코프 결정 프로세스의 약자로 의사결정 과정을 모델링하는 수학적인 틀을 제공한다. MDP의 Agent와 Reward를 통하여 마지막에 가장 큰 보상을 위한 상태를 찾아나선다. 우선 MDP를 알기위해 MP와 MRP에 대해 설명하겠다. MP (Markov Process) $$MP ≡ (S, P)$$ flow chart를 좀 형편없이 그린 감이 없지않아 있지만... 설명하자면 시작부터 도착까지 확률 P만 존재할 때 위의 그림과 같이 표현할 수 있다. 여기서 P를 전이확률이라고 하며, 이 전이확률을 행렬로 ..

궁금해진 이유 학부 공부중, 딥러닝과 강화학습을 동시에 배우고 있는데 수식중에 bias과 reward는 은닉층에서의 수식에 더하는 개념으로 등장하는데 생김새가 비슷해서 같은 개념인지 헷갈려서 정리한다. 순전파의 Bias(편향) 딥러닝에서 신경망의 각 뉴런은 입력 데이터에 가중치를 곱한 후, 이 결과에 bias를 더하여 최종 출력을 결정한다. Bias는 신경망이 입력 데이터가 없거나 입력에 대한 가중치의 합이 0일 때도 활성화될 수 있게 하는 역할을 한다. 이를 통해 모델의 유연성과 표현력이 향상된다. 순전파는 입력 데이터가 신경망을 통해 전달되어 출력까지 이르는 과정을 말하며, 이 과정에서의 bias는 데이터가 가진 기본적인 편향을 모델에 반영하는 역할을 한다. 강화학습의 MDP의 Reward(보상) 강..