[한빛미디어] 밑바닥부터 시작하는 딥러닝3

 

1. 목차 별 간단 요약

A. 미분 자동계산

 첫 챕터(제1고지라는 말은 너무 번역투인 것 같다..)에서는 딥러닝 프레임워크를 구현하기 위해 가장 기본적인 지식들부터 짚고 넘어간다. 변수, 함수, 미분, 역전파, 테스트 등 비교적 가볍게 읽고 구현하고 넘어갈 수 있는 챕터.

B. 자연스러운 코드로

 여기서부터는 기본적인 기능을 위한 클래스들을 구현한다. 파이썬을 처음 접했을 때는 굳이 함수화를 하고 나서 왜 한 번 더 클래스로 감싸(?) 주는지 이유가 와닿지 않았는데, 클래스로 감싼다기보다는 클래스 자체만의 목적이 함수와는 다르다는 것을 느낄 수 있었다. 이 챕터에서는 클래스를 구현하면서 각 인수에 대한 설명뿐만 아니라 동작 방식, 예외 케이스에 대한 처리, 메모리를 효율적으로 쓰는 방법, import 방법까지 기본적이지만 꼭 알아야 할 내용들을 포함하고 있다.

C. 고차 미분 계산

 모델이 어떤 값을 어디로 넘겨주는지 시각화하기 위해 그래프에 대한 내용과 함수 최적화, 각종 함수의 미분 등 딥러닝 프레임워크를 이해하기 위한 수학적 설명과 구현을 설명한다.

D. 신경망 만들기

 본격적인 구현이 시작되는 파트. 텐서 다루기, 형 변환부터 브로드캐스트, 행렬곱까지 사용되는 연산들을 함수화하기, 신경망을 이루는 Layer 구현하기, loss 계산 함수, 데이터셋 전처리 및 배치화 함수 구현하기를 포함해 마지막으로 샘플 데이터셋을 활용해 간단한 모델 학습을 해볼 수 있는 챕터.

E. DeZero의 도전

 앞 챕터에서 구현한 모든 것을 우리는 dezero 패키지라고 부른다. 이 패키지로 GPU 자원을 활용하기, 모델을 저장하고 읽어오기, dropout 적용하기, test 모드 설정하기, 마지막으로 CNN/RNN/LSTM 등 활용할 수 있는 다양한 기능들을 구현하고 책이 마무리된다. 

2. 스터디 방법

1. 평일 기준 하루에 1 step씩, 각자 책을 읽고 정리한 내용 기록하기 (노션/깃허브 등 상관 없음) 

📌 인증 깃허브 링크

2. 기간: 23.04.03 - 23.07.30

3. 인원:  4명 (E모씨 2명, N모씨, R모씨) 

3. 느낀점

일단 원래 마치기로 계획한 달은 6월이었지만, 각자의 개인 사정으로 인해 한 달의 유예기간을 가지기로 합의해서 극적으로 성공한 스터디라 마음이 굉장히 뿌듯했다❗️ 공부할 자료는 넘쳐나고 시간은 모자란 바쁘다 바빠 현대사회에서 이렇게 마음이 맞아 책 읽는 스터디를 하기 쉽지 않은데 좋은 기회를 준 팀 동료에게 다시 한번 감사..💟

 세상에는 이미 구현되어 있는 유용한 프레임워크가 많지만, 구현 방식을 이해하고 사용하는 것과 그냥 있는 것을 그대로 가져다 쓰는 것은 다르다. 코드가 아무리 잘 짜여있다고 하더라도 내가 필요한 task에 맞춰 작동시키는 것은 정말 어려운 일인데, 이런 말을 귀로만 듣다가 요새 오픈소스 라이브러리를 사용하면서 몸소 느끼게 되었다. DLS3를 끝까지 읽으면서 데이터 사이언티스트 파트에서 사용하고 있는 딥러닝 모델들, 그리고 우리가 아이디어를 내면서 어떻게 구현해야 할지 막막한 부분들을 어느 정도 해소할 수 있었다. 특히 코드로만 봤을 때 이해가 안 되었던 연산들을 어느 단계에서 어떻게 작동시키는지, 왜 그렇게 시키는지 이해할 수 있어서 앞으로 다른 모델을 쓸 때에도 도움이 많이 될 것 같다는 생각이 들었다. 

 step40 까지는 py file들을 하나하나 실행해 가면서 결과값들을 출력해 봤지만 책에는 언급되지 않은 코드가 있어서 중간부터는 실행보다는 흐름 이해에 초점을 맞춰 진행했다. 특히 나는 맥 로컬환경에서 진행했기 때문에 cupy를 쓸 수 없었던 게 아쉬움이라면 아쉬움이다. 그래도 마지막 챕터에서 RNN, LSTM 등 "근본"이 되는 모델들을 간단하게 구현하고 부연설명을 읽을 수 있어서 깔끔한 마루리를 지을 수 있었다. 

 책을 한 바퀴 돌리고 나니 느낀 점은 그저.. 앞으로 더 많은 책을 읽어야겠다.. 더 공부를 많이 해야겠다.. 나도 이렇게 비기너들에게 도움이 되는 책을 언젠가는 써봐야지.. 그리고 뿌듯하다..! 더 썼다간 초등학생 일기처럼 될 것 같으니 끝!