cocoakeith / diffusion-models

扩散模型原理和pytorch代码实现初学资料汇总

Diffusion-Models

扩散模型原理和pytorch代码实现初学资料汇总 有侵权的资料联系我删除哈，如果能帮得上忙的话荣幸之至，一个Star是对我的最大支持，感谢！

1.扩散模型和分数匹配模型的资源和论文的汇总

https://github.com/heejkoo/Awesome-Diffusion-Models 是一个github网站

2. 三篇经典论文

• 《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》 2015年 扩散模型起源

• 《Denoising Diffusion Probabilistic Models》 2020年 扩散模型兴起

  • https://github.com/lucidrains/denoising-diffusion-pytorch 对应pytorch实现

• 《Improved Denoising Diffusion Probabilistic Models》 2021年 第二篇论文的改进

  • https://github.com/openai/improved-diffusion 对应pytorch实现

3.看过的扩散模型博客

• The recent rise of diffusion-based models
  • 可以了解到扩散模型近年比较经典的应用
• Introduction to Diffusion Models for Machine Learning
  • 从中可以了解到一个实现扩散模型的库denoising_diffusion_pytorch，博客中有使用案例
• What are Diffusion Models?
  • 也是扩散模型的一个理论介绍博客，推导挺详细的
• Diffusion Models as a kind of VAE
  • 探究了VAE和扩散模型的联系
• The Annotated Diffusion Model
  • 扩散模型理论和代码实现，代码我进行理解加了注释与理论对应，方便大家理解 见The Annotated Diffusion Model.ipynb
• An introduction to Diffusion Probabilistic Models
  • 也是一个介绍性博客，公式也很工整

4. 看过的一个B站视频

• 54、Diffusion Model扩散模型理论与完整PyTorch代码详细解读

  • 我是看过其他资料后才看的这个视频，所以一遍都能全看懂，不知道初看怎么样

  代码我也进行理解加了注释与理论对应，方便大家理解 见Diffusion Model.ipynb

5.未看过的扩散模型博客

• https://jmtomczak.github.io/blog/10/10_ddgms_lvm_p2.html 扩散模型理论和代码实现
• Generative Modeling by Estimating Gradients of the Data Distribution

其他相关资料

• 机器学习-白板推导系列(十二)-变分推断（Variational Inference） 知道Lvlb等概念是什么(B站视频)
• 【学习笔记】生成模型——变分自编码器 理解VAE(博客)
• 【机器学习】白板推导系列(三十二) ～ 变分自编码器(VAE) 理解VAE(B站视频)
• https://github.com/labmlai/annotated_deep_learning_paper_implementations 有很多深度学习算法的实现
• The Annotated Transformer transformer的pytorch实现的一个解释博客
• positional_encoding的一个实现案例 github代码
• 强烈推荐！台大李宏毅自注意力机制和Transformer详解！ B站视频
• 《Attention Is All You Need》 transformer和注意力机制原论文
• Transformer论文逐段精读【论文精读】
• 64 注意力机制【动手学深度学习v2】 我根据官方资料整理了jupyter代码实现文件，可从头到尾直接运行 见attention.ipynb
• Reparameterization Trick 白板推导变分推断后两节也有提到
• isotropic Gaussian distribution
• A Recipe for Training Neural Networks