딥린이를 위한 입문 교과서

이책은 어떻게 딥러닝 학습을 시작해야 할지 모르는 딥린이를 위한 입문 교과서이다.
개념, 수식, 실습으로 이어지는 최적의 딥러닝 학습 커리큘럼을 통해 딥러닝에 대한 기본기를 탄탄하게 키워준다.

이 책은 딥러닝을 처음 접하는 독자 또는 딥러닝을 어느 정도 알고 있지만 기초가 부족한 독자를 대상으로 이라고 한다.

딥린이에게는 어려울 수 있지만, 수학... 파이썬의 기초는 딥러닝을 배우는데 필수이다.

이책에서 배우는 내용은 ...

· 개발 환경, 딥러닝의 개념, 파이토치 튜토리얼, 선형 계층, 손실 함수
· 경사하강법, 선형 회귀, 로지스틱 회귀, 심층신경망, 확률적 경사하강법
· 최적화, 오버피팅 방지, 심층신경망으로 분류 문제 해결, 정규화
· 표현 학습, 확률론적 관점, CNN(합성곱신경망), RNN(순환신경망)

이책을 통해서 배울 수 있는 것들은, 딥러닝 개념 및 이론을 배우고, 수식 정리, 실습코드를 통해서 실무 환경에서 실전 같은 프로젝트 연습이라고 하겠다.

딥러닝 개념 및 이론 설명
딥러닝의 기초 개념을 최대한 쉽게 이해할 수 있도록 수학적 표현을 최소화하고 그림 또는 시각화 활용.

기초부터 심화 단계까지 차근차근 접근할 수 있도록 구성, 딥러닝의 여러 진행 방식에 대해 원리와 구조를 체득.

수식 정리
딥러닝을 제대로 공부하기 위해서 수학적 배경지식은 반드시 필요.

딥러닝의 기초 개념 및 이론을 수식을 통해 다시 한번 정리.

실습 코드
앞에서 배운 이론과 수식을 파이토치로 어떻게 구현하는지에 대해 익힘.

이 책의 실습은 GPU 없이 실행이 가능하며, GPU가 있다면 훨씬 더 빠르게 실행할 수 있지만,

GPU 없이도 최대 몇십 분 이내로 실행이 완료되도록 구성되어 있음.

실무 환경에서의 실전 같은 프로젝트 연습
실제 머신러닝 프로젝트를 진행하듯이 파일을 구성하고 CLI 환경에서의 실습 진행

실전처럼 MNIST 분류기 성능을 끌어 올리는 방법과 이를 위한 실험 환경 구축 방법 숙지

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

mkultra1***l2019-11-13

리뷰남기려고 가입함.

4장까지 읽었는데, 더 이상 진행하기 어려워서 리뷰를 남겨본다.

1. '이 책이 다루는 범위'를 보면 자연어 처리 관련 내용을 최대한 다루려고 한다고 써있다.

그러나 4장을 보면, 반 이상은 알아듣기 힘든 내용이다. 처음 보는 라이브러리를 아무런 설명도 없이 코드만 넣어놓으면

책을 뭐하러 샀는지 의문. API보고 그냥 따라하면 될 것을 뭣하러 4만원 가까운 돈 낭비하면서 책을 샀을까?

- 4.6.3. CTK를 활용한 정렬을 보면, 평생 처음 보는 라이브러리고, 실제로 이 코드를 활용해서 어떤 결과를 얻을지도 모르며 (최소한 corpus라도 하나쯤은 넣어주던가!), 주석 조차 없다. API 찾아서 보라는 뜻인가? 돈내고 강의를 들으라는 말인가?

2. 일관성 없는 깃허브 코드.

4장에서 다루는 data_loader들은 이 책의 깃허브에 있는 것이 아니라, 저자의 깃허브에 가야 볼 수 있다.

readme.md 써져 있긴 한데, 그 몇개를 옮기는게 시간이 아까웠나 라는 생각이 드는 건 지울수가 없다. 명확하게 독자를 배려하지 않은 부분이라 생각한다. 더불어 책에다가 소스 코드 제목도 안써줄거면, 뭐하러 깃은 제공하는지 모르겠다. 심지어 몇몇은 깃허브 코드내에 예제 데이터가 있다. 역시나 독자를 배려하지 않는다.

3. 한국어를 다루는 파이토치 책.

한국어를 다루는 책은 거의 못봤다. tensorflow도 몇 개 없는 것 같고, pytorch는 진짜 거의 못봤다. 이 책만 거의 유일한 것 같다.

이는 분명한 장점이다. 그러나 별개로, 독자가 의도한대로 학습이 이루어지는 모르겠다. 전처리 파트를 읽어봐도, 실제 전처리가 어떻게 이루어지는지 전혀 감이 오질 않는다. 이 책을 완독했을 때 내게 남는 것이 얼마나 있을지 의문이라는 생각이 든다.

imaket***l2019-08-12

전문가가 되어가는과정에 볼만한 딥러닝 책

ares***l2019-08-11

자연어 딥러닝 분석이 이렇게 심오할(어려울) 줄이야...

"자연어 딥러닝 분석이 이렇게 심오할(어려울) 줄이야."

책을 처음 읽기 시작하면서부터 가장 먼저 들기 시작한 생각이었다.

책을 읽기 전에는 데이터 분석에 있어서 자연어 처리는 데이터 칼럼 중 영화평이나 서평과 같은 이용자가 직접 입력한 값이 있는 경우 단어수를 세어본다거나 추출된 단어를 기반으로 긍정적인지 부정적인지 알아보는 감성 분석 정도로만 생각했었다.

물론 인공지능을 이용한 번역 등 자연어를 처리하는 분야들도 많이 있고 발전하고 있으나 데이터 분석을 전반적으로 공부하고 있는 나에게는 그저 feature값 중 하나를 처리하기 위한 도구일 뿐 그 이상도 그 이하도 아니었다.

하지만 이 책을 읽으면서 자연어 처리를 다시 생각하게 되었다.

책 초반에는 이미지나 음성에 비해 자연어 처리가 왜 어려운지, 그리고 한국어는 왜 더 어려운지에 대해 설명이 있는데, 딥러닝에 대한 이해가 없다고 하더라도 재미있게 읽을 수 있는 부분인 것 같다.

평소에도 외국인이 배우기에는 한국어는 참 어려운 언어라는 생각을 갖고 있었는데, 외국인뿐만 아니라 기계도 이해하기에도 참 어려운 언어를 운 좋게 모국어로 쓸 수 있어서 다행이란 생각까지 들었다.

스크린샷 2019-08-11 오후 4.01.25.png

책을 자연어 처리 딥러닝을 공부하기 위해 바로 활용하려면, 저자가 책의 특징을 설명할 때 이야기하는 것처럼, 파이썬, 확률과 통계, 딥러닝 기초, 머신러닝 기초 등에 대한 내용은 미리 선행하고 읽어보는 것이 좋을 것 같다.

어려운 개념들인데 기초수학에 관한 내용은 책의 앞부분에 약 20페이지 정도, 그리고 기타 머신러닝/딥러닝 개념들도 흐름에 필요한 정도로만 짧게 설명되어 있다. 처음에는 조금 아쉬운 감이 있었으나, 자연어 처리를 목적으로 책을 읽기 시작한 사람이라면, 이미 기초 선행 과목(?)들은 어느 정도 거치고 왔을 거라고 생각해보니 적절한 구성인 것 같다.

스크린샷 2019-08-11 오후 4.00.52.png

반면에 수집한 코퍼스(말뭉치)에서 불필요한 특수문자, 기호 등을 제거하기 위해 정규 표현식을 사용하여 정제하는 부분들은 꽤 상세히 설명되어 있어서 이 책만으로도 많은 도움이 될 것 같다.

자연어 처리를 전문가가 되기 위해서 이 책을 눈여겨보고 있는 사람이라면, 처음부터 끝까지 이 책을 이해할 수 있다면, 목적을 달성할 수 있다는 생각이 든다. 나처럼 데이터 분석할 때 문장으로 되어 있는 칼럼을 다루기 위해, 또는 그보다 조금 더 깊이 있는 내용이 궁금한 사람이라면 사전처럼 두고 필요할 때마다 부분 부분 찾아서 배우고 익히면 될 것 같다.

kko***l2019-08-09

[도서리뷰] 김기현의 자연어 처리 딥러닝 캠프

kianms10***l2019-08-09

자연어 처리 끝판왕!

newdec***l2019-08-09

김기현의 자연어 처리 딥러닝 캠프-파이토치편

one2***l2019-08-09

김기현의 자연어 처리 딥러닝 캠프

mega***l2019-08-06

기술의 이해에 집중한, 교과서 같은 책

nanhmjj***l2019-08-05

입문 수준의 NLP를 뛰어넘어 최신 심화주제까지

[리뷰] 자연어처리 딥러닝 캠프

05 Aug 2019 in Review on Review, Book, Nlp, Deep, Learning, Camp

개요

본 리뷰는 한빛미디어 출판사 "자연어처리 딥러닝 캠프(김기현 저)"를 읽고 얻은 지식을 정리한 글입니다.

인공지능이 논문을 학습한다면

수학에 뿌리를 둔 통계학. 통계학에 뿌리를 둔 머신러닝. 머신러닝에 뿌리를 둔 딥러닝. 그리고 딥러닝에 뿌리를 둔 NLP가 있다. 자연언어처리라고도 불리는 NLP는 인공지능 기술 중 하나로 기계로 하여금 인간의 언어를 이해할 수 있게 만드는 기술이다. 이 기술이 실현된다면 마치 사람으로 따지면 통역가와 같이 다국어 간의 컴퓨터, 기계를 통한 번역이 가능해진다. 뿐만 아니라 문서 자동분류, 챗봇 등 다양한 응용분야으로의 적용도 가능해진다.

자연 언어 처리(Natural language processing)
자연어 처리(自然語處理) 또는 자연 언어 처리(自然言語處理)는 인간의 언어 현상을 컴퓨터와 같은 기계를 이용해서 모사 할수 있도록 연구하고 이를 구현하는 인공지능의 주요 분야 중 하나다. 자연 언어 처리는 연구 대상이 언어 이기 때문에 당연하게도 언어 자체를 연구하는 언어학과 언어 현상의 내적 기재를 탐구하는 언어 인지 과학과 연관이 깊다. 구현을 위해 수학적 통계적 도구를 많이 활용하며 특히 기계학습 도구를 많이 사용하는 대표적인 분야이다. 정보검색, QA 시스템, 문서 자동 분류, 신문기사 클러스터링, 대화형 Agent 등 다양한 응용이 이루어 지고 있다. - 위키백과 -

이 자체로도 충분히 전도 유망한 기술이지만 필자가 딥러닝 기술 중 NLP에 가장 관심이 많은 이유는 다른데에 있다. 바로 소제목에서 명시한 바와 같이 논문을 학습하게 될 가능성 때문이다.

필자가 보기에 논문은 그야말로 딥러닝의 언어이다. Review 논문은 마치 Graph Theory를 활용하여 구성하기에 딱 좋은 형태이며 학문이 발전해 온 전체 목차를 구성하기 좋고, 대부분 논문의 Abstract에는 Review 논문의 흐름 중 어느 카테고리에 붙어야 어울리는지 힌트를 제공한다. 또 내부 지식은 대부분 귀무가설과 검증에 대한 시행착오가 담겨져 있어 통계학을 원류로 하는 현 딥러닝 모델이 인식하기에 적합한 지식 구조로 이루어져 있다.

딥러닝이 핫이슈이긴 해도 현재까지는 적용되는 범위가 한정되어있는데 주로 이미지, 음성, 영상 인식 등에 국한되어있다. 이 분야들의 공통점은 자연 그대로가 아닌 1차 가공을 거친 데이터를 피처로 활용한다는 점이다. 신호처리 등 그간의 학문분야에서 심도 있게 연구되어 온 축적된 지식이 있기에 딥러닝 모델이 인식하기 좋은 형태로 변환하거나 특징을 추출, 선택, 변환할 수 있는 것이다. (보다 자세히 다룬 내용은 필자의 블로그 “통계학 vs 컴퓨터공학, 멋대로 써보는 Data Science 미래에 대한 소고(小考)-세상 모든 논문들을 딥러닝이 이해할 수 있게” 부분을 참고하시기 바란다.)

이런 측면에서 볼 때 NLP는 목적 그 자체가 될 수도 있으나, 세상의 거의 모든 분야의 데이터를 딥러닝이 이해하기 쉽고 좋은 성능을 낼 수 있도록 Feature생성 혹은 전처리 역할을 담당하는 일종의 중간 Layer로 활용될 가능성이 크지 않을까 생각한다. DQN 등 Reinforcement Learning과 결합하여 논문을 이해하고 구현체를 만들 수 있는 날이 온다면 세상은 대 격변을 맞을 것이라 생각한다. 때문에 필자는 NLP를 활용하여 논문을 학습할 수 있는 모델을 설계하거나 이를 뒷받침하는 연구를 하고 싶다는 꿈이 있다.

NLP를 배우는데 있어 본 도서의 장점

NLP 기술이 왜 중요한지 그리고 미래에 얼마나 유망한지 위 장에서 간단하게 언급하였다. 그렇다면 NLP 기술은 어떻게 익혀야 할까? 적어도 한국어와 관련된 자연어 처리라면 이 책이 해답 중에 하나라고 말하고 싶다. 그간 시중에 출간된 NLP 서적은 흔했지만 깊이가 너무 얕았다. 이와 관련하여 본 도서가 가지는 특출난 장점이 몇가지 있어서 소개해 본다.

일단, 한국어 NLP를 다룬다.
- 한국어에는 다른 언어에 비해 다음과 같이 자연어 처리를 어렵게 만드는 요소가 있다.
  - 교착어 : 접사가 붙어 의미와 문법적 기능이 정해진다. (예: 잡히시었겠더라)
  - 띄어쓰기 : 표준이 계속 변한다.
  - 평서문과 의문문 : 동일한 문장구조를 가진다.
  - 주어생략 : 명사를 중요시하는 영어와는 달리 동사를 중요시한다.
  - 한자(漢字) 기반의 언어 : 표음문자의 특징인 중의성 문제(예: 건널제, 끌제, 제목제)
- 대부분의 장에서 영어 기반의 NLP 기술과 수학적 근간을 설명한 후 한글에 적용해보며 특수성을 언급하고 해결책을 제시한다.
깊이가 있다. (재미는 입문서급이다.)
- NLP 초보자라면 언어모델링도 쉽지않은데 이 책은 그 이상의 심화주제를 소개한다.
- 듀얼리티, 전이학습, NMT시스템 구축 등은 그간 https://arxiv.org에서 접하면서 이해가 까다로웠던 부분인데 비교적 최신 기술을 학습하고 그 결과를 공유해주려는 저자의 배려가 돋보였다. 이런 심화 내용에 대한 개념을 잡을 수 있었던 것이 필자에게는 가장 큰 소득이었다.
다양한 전처리 기법 및 정규표현식의 소개
- 그간의 전처리에서 겪었던 시행착오를 한방에 깔끔하게 정리해주었다.
- 아래 그림과 같이 알기쉬운 도식을 통해 정규표현식 또한 엑기스를 뽑아 전수해준다.
기계번역을 정면돌파한다.
- 그간 시중의 NLP 서적이 마음에 안들었던 이유는 크게 한국어, 번역 두 부분이었다.
- 특히 기계번역은 난이도가 높아 다른 서적에서 잘 언급하지 않는데 이 책은 과감히 기계번역을 시도한다.
수학을 정면돌파한다.
- 확률변수부터 MLE, MSE까지 직관적으로 설명한다. 문제를 푸는 수학이 아닌 어디에 왜 써야하는지의 관점으로 접근한다.
- 아래 그림은 몬테카를로 샘플링에 관한 설명이다. 기본 수학을 떼신 분이라면 꽤 깔끔하게 직관적으로 설명하는 저자의 능력 덕분에 그간 복잡하게 엉켜있던 수학의 개념이 쉽게 정리되는 것을 느끼실 수 있을 것이다.
- 아래 그림은 벡터유사도에 관한 설명이다. 쉽게 설명한다는 핑계로 수식을 열거하지 않는 책들이 많은데 그렇게 쉽게 얻은 지식은 희미한 개념으로만 남을 뿐 다른 분야에 적용할 때 그 한계를 드러내기 마련이다. 가급적 간명한 설명을 통해 하나도 근본 원리를 놓치지 않으려는 저자의 시도가 마음에 들었다.
기타
- 그 외에도 패스트캠퍼스의 검증된 강의를 기반으로 한다는 점
- Pytorch와 친숙해질 기회라는 점
- 저자의 GitHub에 완성도 높은 구현체가 공개되어 있다는 점이 장점이라고 할 수 있겠다.

내용의 깊이, 구성, 저자의 열정 뭐 하나 떨어지는 구석없이 잘 만들어진 책이라는 생각이 들었다.

누가 읽어야 하는가?

한국어 NLP, 전처리에 고민이 깊었던 분
NLP 기술 전체를 한 눈에 알기쉽게 정리하고 싶은 분
NLP 입문 서적 수준을 넘어서고 싶으신 분
그 외 필자와 같은 NLP ~~빠돌이~~ 분들

책의 구성 및 요약

이 책은 크게 네 부분으로 구성되며, 각 장에서 다루는 내용을 요약해 보았다.

1. NLP 학습을 위한 준비운동(0 ~ 3장)
- 딥러닝 및 NLP의 개요, 기술의 발전과정
- 기초수학에 대한 내공쌓기
- 개발실습환경 구축 및 Pytorch 기본문법 학습
2. NLP 기초체력 다지기(4 ~ 7장)
- 정규표현식 등 전처리의 다양한 기술 학습
- 원핫인코딩, TF-IDF, 벡터유사도, 중의성 해소 등 NLP 입문서 수준의 주요 개념 정리
- word2vec 등 단어임베딩 및 시퀀스 모델링, 텍스트 분류 등 중급 내공 쌓기
3. 기계번역(9장 ~ 11장)
- SRILM, NNLM 등 언어모델의 활용법 및 n-gram실습
- seq2seq, 어텐션 등을 활용한 신경망 기계번역
- 다국어 신경망 및 트랜스 포머 등 심화주제 소개
4. __심화주제(12장 ~ 15장)
- 강화학습 적용 및 자연어 생성
- 듀얼리티, NMT 시스템 구축, 전이학습 등 최신기술 소개

요약하며…

언제나 그렇듯이 이런 양서는 왜 늦게 나오는지 모르겠다. 그동안 다른책에 낭비된 시간이 아깝기 때문일까. 꽤 어려운 주제들을 언급하고 있는데 반해 솔직히 꽤 재미있게 읽었다. 물론 정독하고 수식까지 음미하려면 꽤 많은 시간이 소요될 것 같다. 책을 읽으며 가장 인상 깊었던 점은 수준높은 주제를, 저자가 그동안 공부하고 노력하고 연구했던 지식들 전부를, 어떻게든 한정된 지면안에 간결하게 쏟고자하는 노력이 느껴졌다는 점이다. 수학, 통계학 등 기초 체력이 잘 다져진 분들에게는 NLP 기술이 잘 집대성된 양서를 만났다는 느낌이 들 것이다.

아쉬웠던 점이 있다면 그런 저자의 열정때문에 설명에 다소 축약이 많아 기초 내공이 약하거나 입문자이신 분들한테는 실습 환경 하나 구축하기 조차 벅차다는 생각이 드실 것 같다. 더불어 수식으로 열거된 설명 부분은 좀 더 자세하고 쉽게 설명이 되어있다면 교과서로 쓰여도 무난하지 않을까 하는 약간의 아쉬움은 들었다. 하지만 이런 아쉬운 점은 전체 장점 대비 극히 작은 영역이기에 별로 중요하지 않다.

<한빛미디어 출판사>

믿고보는 “한빛미디어 출판사”. IT분야에서 독보적인 양질의 도서를 출판하는 회사입니다. “나는 프로그래머다” 팟캐스트 후원, DevGround2019 행사, 리뷰어 모집, 다양한 학습 지원 등 다양한 분야에서 사회에 공헌하는 개발자와 공생하는 업체입니다. IT분야에 관심있으시다면 한빛미디어의 책으로 후회없는 출발을 하실 수 있습니다.

한빛미디어 바로가기

whycr***l2019-08-04

자연어처리 끝내기!