[머신러닝] Deep Learning Tutorials

이 글은 http://deeplearning.net/tutorial/index.html의 내용을 공부목적으로 번역한 것입니다.
번역이 이상할 수 있고 필요한 내용만 번역되어 있을 수 도 있습니다.

-------------------------------------------------------------------------------------------------------------------------------------

 딥러닝은 머신러닝의 원래 목표중 하나인 인공지능으로 다가게하는 목적으로 소개된 머신러닝 연구의 새로운 분야다.

 딥러닝은 이미지, 소리 그리고 텍스트와 같은 데이터들의 이해를 돕는 다양한계층의 표현과 추상적 개념에 대한 학습이다. 딥러닝 알고리즘에 대한 예제를 보고싶으면 다음을 예를 보면 된다 :

The monograph or review paper Learning Deep Architectures for AI (Foundations & Trends in Machine Learning, 2009).

The ICML 2009 Workshop on Learning Feature Hierarchies webpage has a list of references.

The LISA public wiki has a reading list and a bibliography.

Geoff Hinton has readings from 2009’s NIPS tutorial.

 여기있는 튜토리얼들은 가장 중요한 몇개의 딥러닝 알고리즘과 그것을 Theano를 이용해 어떻게 작동시킬것인지 소개할 것이다. Theano는 딥러닝 모델을 쉽게 배울수 있게하고 그것들을 GPU에서 훈련시킬수 있도록 선택할 수 있는 파이썬 라이브러리이다.

 이 알고리즘 튜토리얼은 몇가지 전재조건이 있다. 여러분들은 파이썬에 대해 약간 알아야 하고 numpy에 친숙해야한다. 이 튜토리얼이 Theano를 사용하기로 하기로 한 이후부터 여러분들은 먼저 Theano basic tutorial을 읽어야 한다. 이것을 한 후에 표기법과 알고리즘 튜토리얼들에 쓰일 다운로드 가능한 데이터셋 그리고 우리가 최적화를 할 방법인 확률 기울기 하강 (Stochastic Gradient Descent)에 대해 소개된 Getting Started 챕터를 보면된다.

The purely supervised learning algorithms are meant to be read in order:

1. Logistic Regression - using Theano for something simple
2. Multilayer perceptron - introduction to layers
3. Deep Convolutional Network - a simplified version of LeNet5

The unsupervised and semi-supervised learning algorithms can be read in any order (the auto-encoders can be read independently of the RBM/DBN thread):

• Auto Encoders, Denoising Autoencoders - description of autoencoders
• Stacked Denoising Auto-Encoders - easy steps into unsupervised pre-training for deep nets
• Restricted Boltzmann Machines - single layer generative RBM model
• Deep Belief Networks - unsupervised generative pre-training of stacked RBMs followed by supervised fine-tuning

Building towards including the mcRBM model, we have a new tutorial on sampling from energy models:

• HMC Sampling - hybrid (aka Hamiltonian) Monte-Carlo sampling with scan()

Building towards including the Contractive auto-encoders tutorial, we have the code for now:

• Contractive auto-encoders code - There is some basic doc in the code.

Recurrent neural networks with word embeddings and context window:

• Semantic Parsing of Speech using Recurrent Net

LSTM network for sentiment analysis:

• LSTM network

Energy-based recurrent neural network (RNN-RBM):

• Modeling and generating sequences of polyphonic music

Note that the tutorials here are all compatible with Python 2 and 3, with the exception of Modeling and generating sequences of polyphonic music with the RNN-RBM which is only available for Python 2.