CS STUDY

이번에는 모델을 표현하기 위한 Model 클래스를 새로 만든다. Model 클래스는 Layer 클래스의 기능을 이어받으며 시각화 메서드가 하나 추가된다. from dezero import Layer from dezero import utils import dezero.functions as F import dezero.layers as L class Model(Layer): def plot(self,*inputs,to_file='model.png'): y=self.forward(*inputs) return utils.plot_dot_graph(y,verbose=True,to_file=to_file) 이제 다음과 같은 코드를 작성할 수 있다. MLP 클래스 class MLP(Model): def __ini..

Parameter 클래스 구현 Parameter 클래스는 Variable 클래스와 똑같은 기능을 갖게 한다. 그래서 다음과 같이 구현한다. class Parameter(Variable): pass Parameter 인스턴스와 Variable 인스턴스는 기능은 같지만 구별할 수는 있다. 이와 같이 Parameter 인스턴스와 Variable 인스턴스를 조합하여 계산할 수 있다. Layer 클래스 구현 Layer 클래스는 매개변수를 유지하고 매개변수를 사용하여 변환을 하는 클래스이다. Layer 클래스의 구현은 다음과 같다. from dezero.core import Parameter class Layer: def __init__(self): self._params=set() def __setattr__(s..

DeZero의 linear 함수 이와 같이 입력 x와 매개벼수 W사이에서 행렬 곱을 구하고, 거기에 b를 더한다. 이 변환을 선형 변환 혹은 아핀 변환이라고 한다. 오른쪽 그림은 Function 클래스를 상속하여 Linear 클래스를 구현하는 방식이다. 이 방식에서는 중간 결과가 Variale 인스턴스로 보존되지 않기 때문에 순전파 시 사용하던 중간 데이터는 순전파가 끝나는 즉시 삭제된다. def linear_simple(x,W,b=None): t=matmul(x,W) if b is None: return t y= t + b t.data = None return y 인수 x와 W는 Variable 인스턴스 혹은 ndarray 인스턴스라고 가정한다. ndarray 인스턴스라면 matmul 함수(정확하게는 ..

reshape 함수 구현 class Reshape(Function): def __init__ (self,shape): self.shape=shape def forward(self,x): self.x_shape=x.shape y=x.reshape(self.shape) return y def backward(self,gy): return reshape(gy,self.x_shape) def reshape(x,shape): if x.shape==shape: return as_variable(x) return Reshape(shape)(x) 여기서 reshape(x,shape) 의 x는 ndarray 인스턴스 또는 Variable 인스턴스 중 하나라고 가정한다. 행렬의 전치 class Transpose(Funct..

현재의 DeZero는 미분을 자동으로 계산할 수 있지만 1차 미분 한정이다. 그래서 이번 단계에서는 2차 미분도 자동으로 계산할 수 있도록, 나아가 3차 미분, 4차 미분... 형태의 모든 고차 미분까지 자동으로 계산할 수 있도록 DeZero를 확장할 것이다. 역전파 계산 순전파와 마찬가지로 역전파에도 구체적인 계산 로직이 있다. 하지만 현재의 DeZero는 계산과 관련한 아무런 계산 그래프도 만들지 않는다. 왜냐하면 이 계산에서는 ndarray 인스턴스가 사용되기 때문이다. 만약 역전파를 계산할 때도 '연결'이 만들어진다면 고차 미분을 자동으로 계산할 수 있게 된다. 위 그림은 sin함수의 미분을 구하기 위한 계산 그래프이다. 만약 위와 같은 계산 그래프가 있다면 gx.backward()를 호출하여 g..

최적화란 어떤 함수가 주어졌을 때 그 최솟값(또는 최대값)을 반환하는 '입력(함수의 인수)'을 찾는 일이다. 신경망 학습의 목표도 손실 함수의 출력을 최소화하는 매개변수를 찾는 것이니 최적화 문제에 속한다. 로젠블록 함수 이번에는 로젠블록 함수의 출력이 최소가 되는 x0와 x1을 찾을 것이다. 답부터 말하면 (x0,x1)=(1,1)이다. 미분 계산 가장 먼저 로젠블록 함수의 (x0,x1)=(0.0, 2.0)에서의 미분을 계산해 보자. def rosenbrock(x0,x1): y=100*(x1-x0 **2) **2 + (1-x0) ** 2 return y 이 코드를 실행하면 x0와 x1의 미분을 각각 -2.0과 400.0이라고 나온다. 이때 두 미분값을 모은 값, 즉 (-2.0, 400.0) 벡터를 기울기..

sin 함수 구현 Sin 클래스와 sin 함수는 다음처럼 구현할 수 있다. class Sin(Function): def forward(self,x): y=np.sin(x) return y def backward(self,gy): x=self.inputs[0].data gx=gy * np.cos(x) return gx def sin(x): return Sin()(x) 테일러 급수 이론 Sin 함수의 미분은 다음과 같은 테일러 급수를 이용한 방법으로 계산할 수 있다. 테일러 급수란 어떤 함수를 다항식으로 근사하는 방법으로, 수식으로는 다음과 같다. 여기서 f(x)=sin(x)를 위 식에 적용시켜 보면 다음과 같은 식이 나온다. 위 식에서 보듯 sin 함수는 x의 거듭제곱으로 이루어진 항들이 무한히 계속되는 ..

Mul 클래스 구현 Mul 클래스의 코드는 다음과 같다. class Mul(Function): def forward(self,x0,x1): y=x0 * x1 return y def backward(self,gy): x0,x1=self.inputs[0].data,self.inputs[1].data return gy * x1, gy * x0 def mul(x0,x1): return Mul()(x0,x1) 하지만 이렇게 사용하면 상당히 불편할 것 같다. 연산자 * 를 사용할 수 있게끔 바꿔보겠다. 연산자 오버로드 def __mul__(self,other): return mul(self,other) Variable 클래스에 이 __mul__ 메서드를 추가한다. 이제부터 *를 사용하면 __mul__ 메서드가 다시..

변수 이름 지정 class Variable: def __init__(self,data,name=None): if data is not None: if not isinstance(data,np.ndarray): raise TypeError('{}는 지원하지 않습니다'.format(type(data))) self.data=data self.name=name self.grad=None self.creator=None self.generation=0 # 세대 수를 기록하는 변수 ndarray 인스턴스 변수 variable은 데이터를 담는 상자 역할을 한다. 그러나 사용하는 사람 입장에서 중요한 것은 상자가 아니라 그 안의 데이터 이다. 그래서 Variable이 데이터인 것처럼 보이게 하는 장치, 즉 상자를 투명..

weakref 모듈 파이썬에서는 weakref.ref 함수를 사용하여 약한 참조를 만들 수 있다. 약한 참조란 다른 객체를 참조하되 참조 카운트는 증가시키지 않는 기능이다. 이 weakref 구조를 DeZero에도 도입한다. 먼저 Function이다. import weakref class Function: def __call__(self, *inputs): xs=[x.data for x in inputs] ys=self.forward(*xs) if not isinstance(ys,tuple): ys=(ys,) outputs=[Variable(as_array(y)) for y in ys] self.generation=max([x.generation for x in inputs]) for output in ..