albert-lzg / unsupervised-learning-research

无监督学习论文列表

参考来源

• Most Cited Deep Learning Papers # Unsupervised | Github
• 从OpenAI看深度学习研究前沿 | 知乎专栏
• Generative Models | OpenAI博客
• A Path to Unsupervised Learning through Adversarial Networks
• Generative Adversarial Networks（GAN）的现有工作 | 程序媛的日常

目录

• 生成内容
• 生成对抗网络Generative Adversarial Network
• 变分自编码机Variation Auto Encoder
• Pixel RNN类模型
• 自编码机Auto Encoder
• 梯子网络Ladder Network
• One-shot Learning
• Zero-shot Learning
• Biologically Plausible Learning
• 其他

生成内容

A Neural Algorithm of Artistic Style

• 传说中的Neural Style

Image Completion with Deep Learning in TensorFlow （代码）

• 用GAN做图像修复（image inpainting任务），主要**是同时优化两个目标：
• 1.原图中有完好区域和丢失区域，要让生成的修复图与原图在对应的完好区域尽可能接近（所谓Contextual Loss）
• 2.要让生成的修复图尽可能被GAN的判别器判定为真实图片，尽可能像真的（所谓Perceptual Loss）
• 论文：Semantic Image Inpainting with Perceptual and Contextual Losses

生成对抗网络Generative Adversarial Network

Generative Adversarial Networks （代码）

• Goodfellow的GAN开山之作

Conditional Generative Adversarial Nets

Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks （代码）

• 生成房间图片

• 戴眼镜男人－不戴眼镜男人＋不戴眼镜女人＝戴眼镜女人

• 从一张人脸渐变到另一张人脸

• “这篇论文的提出看似并没有很大创新，但其实它的开源代码现在被使用和借鉴的频率最高……这些工程性的突破无疑是更多人选择 DCGAN 这一工作作为 base 的重要原因”

Improved Techniques for Training GANs （代码）

• 改变架构，解决GAN训练不稳定的问题
• 半监督学习，少量标注样本，效果比Ladder Network还好一些

InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets （代码）

• 对representation code空间施加一些要求，使其更具结构化，而非混沌一团
• 结果在representation向量的单个维度上获得了非常好的可解释性，例如渐变一个维度的数值，生成的人脸图谱从“抬头姿态”到“低头姿态”渐变，非常像流形学习里面的一些例子

变分自编码机Variation Auto Encoder

Pixel RNN类模型

Pixel Recurrent Neural Networks

Conditional Image Generation with PixelCNN Decoders

自编码机Auto Encoder

Stacked What-Where Auto-encoders

梯子网络Ladder Network

From neural PCA to deep unsupervised learning

• 提出Ladder架构，但还未做半监督学习

Semi-Supervised Learning with Ladder Network

• 半监督学习，MNIST用100个标注数据达到约99%，CIFAR用4000个标注数据达到约80%

Deconstructing the Ladder Network Architecture

• 深入挖掘Ladder Network的原理

One-shot Learning

One-Shot Generalization in Deep Generative Models

Zero-shot Learning

Biologically Plausible Learning

Towards Biologically Plausible Deep Learning

Towards a Biologically Plausible Backprop

Feedforward Initialization for Fast Inference of Deep Generative Networks is Biologically Plausible

其他

Towards Principled Unsupervised Learning

• 用GAN做半监督学习的论文中所定义的新的损失函数与这篇提出的Output Distribution Matching (ODM) cost有紧密联系