sudo apt-get update
sudo apt-get install emacs gcc
sudo apt-get install -y python-qt4
wget https://repo.continuum.io/archive/Anaconda3-4.2.0-Linux-x86_64.sh
pip install pydot-ng
conda install graphviz
conda install tensorflow
conda install keras

http://qiita.com/Salinger/items/c7b87d7000e48be6ebe2

Keras Tutorials

バリデーションスコアが上がったときに重みを保存する
h5を上書き保存してベストの重みを保存する
保存した重みを読み込んで評価する

WaveNet

音声合成
https://deepmind.com/blog/wavenet-generative-model-raw-audio/
http://musyoku.github.io/2016/09/18/wavenet-a-generative-model-for-raw-audio/
https://github.com/ibab/tensorflow-wavenet (TensorFlow)
https://github.com/tomlepaine/fast-wavenet (fast WaveNet)
https://github.com/monthly-hack/chainer-wavenet (chainer)

PredNet

Kerasによる回帰（Boston）の記事を書く

VGG16/VGG19を試す

https://keras.io/ja/applications
http://www.pyimagesearch.com/2016/08/10/imagenet-classification-with-python-and-keras/
https://elix-tech.github.io/ja/2016/06/22/transfer-learning-ja.html
https://blog.keras.io/building-powerful-image-classification-models-using-very-little-data.html

Quiverを試す

CNNの可視化
https://github.com/jakebian/quiver

LearningRateScheduler

http://machinelearningmastery.com/using-learning-rate-schedules-deep-learning-models-python-keras/

Embeddingを理解する

単語のインデックスをベクトル表現に変換するレイヤ
重みの学習はデータで行う
word2vecはこれで実装できる？
http://stackoverflow.com/questions/38189713/what-is-an-embedding-in-keras

Deep dream

http://www.world-of-lucid-dreaming.com/inside-robot-dreams-what-the-google-ai-bots-think-about.html
https://github.com/danielvarga/keras-deep-dream/blob/master/deep_dream.py
https://github.com/google/deepdream/blob/master/dream.ipynb
https://github.com/danielvarga/keras-deep-dream/blob/master/deep_dream.py

R-CNN

Region-CNN
物体検出

http://cs231n.stanford.edu/slides/winter1516_lecture8.pdf
https://www.researchgate.net/post/In_Keras_How_can_I_extract_the_exact_location_of_the_detected_object_or_objects_within_image_that_includes_a_background

r-cnn
fast r-cnn
faster r-cnn

YOLO

-https://github.com/sunshineatnoon/Darknet.keras

http://qiita.com/ashitani/items/e07426a2647b947b9fca

How you are performing finetuning in without load_weights in 17flowers

In finetuning.py of 17Flowers how you are performing fine tuning without loading a pretrained weights?

As I can see you commented out the following line (Line no. 51):

# top_model.load_weights(os.path.join(result_dir, 'bottleneck_fc_model.h5'))

Whereas in finetuning.py of dogs_vs_cats you are executing that line. Is it possible to fine tune without loading a pretrained model?

Memory Networks

The Oxford-IIIT Pet Dataset

ねこと画像処理 part 3 – Deep Learningで猫の品種識別
http://www.robots.ox.ac.uk/~vgg/data/pets/

Style transfer

https://github.com/fchollet/keras/blob/master/examples/neural_style_transfer.py
https://elix-tech.github.io/ja/2016/08/22/art.html

原論文: Image Style Transfer Using Convolutional Neural Networks
スタイル変換には、このVGGから全結合層を取り除いたものを使用します。
VGGは元々画像を分類する目的で訓練されています。深い層に行くにつれて、分類するにあたって重要なコンテンツが残り、それとはあまり関係のない詳細な見た目などの情報は落ちていっていると考えられます。これはコンテンツとスタイルをある程度分離することができているとも考えられそうです。CNNによるコンテンツとスタイルの分離がこの論文の重要な貢献となっています。
コンテンツの損失＋スタイルの損失を損失関数として最小化すればよさそうです
通常は入力が固定で重みが更新されていきますが、今回は逆で重みが固定で入力画像が更新されていくことに注意します。

ImageDataGeneratorの使い方

各手法について変換前・変換後を見比べる
データ拡張を使うと精度が向上するか確認する

DenseNet

https://github.com/liuzhuang13/DenseNet

CIFAR-10でConvNetではなくMLPだとどれくらい精度出る？

StackGAN

Feature Visualization

フィルタの可視化
https://github.com/fchollet/keras/blob/master/examples/conv_filter_visualization.py
https://blog.keras.io/how-convolutional-neural-networks-see-the-world.html
https://github.com/raghakot/keras-vis
https://github.com/jacobgil/keras-filter-visualization
https://jacobgil.github.io/deeplearning/filter-visualizations
https://blog.keras.io/how-convolutional-neural-networks-see-the-world.html
http://ankivil.com/visualizing-deep-neural-networks-classes-and-features/
http://yosinski.com/deepvis

Keras.js

https://github.com/transcranial/keras-js
http://techwave.jp/archives/run-trained-keras-in-the-web-23522.html

Building powerful image classification models using very little data

Auto encoder

ResNet

Inception

Pixel RNN

LSTMによる時系列予測

http://machinelearningmastery.com/time-series-prediction-lstm-recurrent-neural-networks-python-keras/

How convolutional neural networks see the world

https://blog.keras.io/how-convolutional-neural-networks-see-the-world.html
https://jacobgil.github.io/deeplearning/filter-visualizations
http://yosinski.com/deepvis

指定したフィルタの活性化（出力？）を最大化するような入力画像を生成する
繰り返しgradを足し込む？

data gradient
http://stackoverflow.com/questions/38135950/meaning-of-weight-gradient-in-cnn
http://yosinski.com/deepvis
http://qiita.com/knao124/items/fdb47674ada389e70c6e
http://ankivil.com/visualizing-deep-neural-networks-classes-and-features/

17 Category Flower Dataset

CNNで解いてみる

17 Category Flower Dataset
http://www.robots.ox.ac.uk/~vgg/data/flowers/17/

102 Category Flower Dataset
http://www.robots.ox.ac.uk/~vgg/data/flowers/102/

スクラッチから学習したモデル
VGG16から転移学習させたモデル
を比較したい

AWSのGPUインスタンスでKeras

How To Develop and Evaluate Large Deep Learning Models with Keras on Amazon Web Services

N. CaliforniaリージョンにStanford大学のCS231n用のAMIが用意されている
ami-125b2c72 Image for CS231N. Contains Caffe, Torch7, Keras, Lasagne. CUDA v7.5, CUDNN v3
g2.2xlarge
TFAMIがさらによいとのこと