qunbb / deeplearning

All about DeepLearning: 推荐系统、自然语言处理、Tensorflow、Pytorch等

1. tensorflow使用

项目文件夹：_tensorflow

• batch_normalization: 专栏
• dataset.shuffle、batch、repeat: 专栏
• tfrecord读写数据: 专栏
• estimator模型训练: 专栏
• tf版本hashtable：专栏

1.1 部署

项目文件夹：_tensorflow/serving

• tensorflow serving： 专栏

1.2 自定义算子

项目文件夹：_tensorflow/tensorflow-custom-op（独立实现git仓库）

• 如何实现TensorFlow自定义算子？： 专栏

2. 多任务学习MTL

项目文件夹：multitasklearning

• shared_bottom、mmoe、ple模型介绍: 专栏
• 多目标优化-Uncertainty Weight、GradNorm、Dynamic Weight Average、Pareto-Eficient：专栏

3. 推荐系统

项目文件夹：recommendation

• ctr训练提速(超大batch size)-CowClip：专栏

3.1 Match(召回)

项目文件夹：recommendation/match

• 多兴趣召回MIND: 专栏

• 多兴趣召回ComiRec: 专栏

• 深入浅出地理解Youtube DNN推荐模型: 专栏

• 引入对偶增强向量的双塔召回模型: 专栏

3.2 Rank(排序)

项目文件夹：recommendation/rank

• ctr特征重要性建模：FiBiNet&FiBiNet++模型：专栏
• ctr预估之FMs系列:FM/FFM/FwFM/FEFM：专栏
• ctr预估之DNN系列模型:FNN/PNN/DeepCrossing：专栏
• ctr预估之Wide&Deep系列模型:DeepFM/DCN：专栏
• ctr预估之Wide&Deep系列(下):NFM/xDeepFM：专栏
• CTR特征建模：ContextNet & MaskNet(Twitter在用的排序模型)：专栏
• CTR之行为序列建模用户兴趣：DIN：专栏
• CTR之行为序列建模用户兴趣：DIEN：专栏
• CTR之Session行为序列建模用户兴趣：DSIN：专栏

4. TensorRT & Triton

TensorRT：一种深度学习框架，提升GPU模型推理性能

Triton：TensorRT对应的模型服务化，实现模型统一管理和部署

4.1 Triton

项目文件夹：triton

• TensorRT&Triton学习笔记(一): triton和模型部署+client：专栏

5. 自然语言处理NLP

项目文件夹：nlp

5.1 bert句向量

• Sentence-BERT: 专栏

5.2 bert系列

BERT预训练代码(tensorflow和torch版本)：NLP/masked_language_model（独立实现git仓库）

• BERT模型系列大全解读：专栏

6. 深度学习trick

项目文件夹：trick

带pt后缀的为pytorch实现版本，不带后缀的则为tensorflow版本。

• 变量初始化(initialization)、分层学习率(hierarchical_lr)、梯度累积(gradient_accumulation): 专栏
• Stochastic Weight Averaging (SWA)、Exponential Moving Average(EMA)：专栏
• (unbalance)分类模型-类别不均衡问题之loss设计 & Label Smoothing：专栏

7. 多模态

项目文件夹：multimodal

7.1 Stable Diffusion

项目文件夹：Stable Diffusion

• AI绘画Stable Diffusion原理之VQGANs/隐空间/Autoencoder：专栏
• AI绘画Stable Diffusion原理之扩散模型DDPM：专栏

8. Embedding

项目文件夹：embedding

• Embedding压缩之hash embedding：专栏
• Embedding压缩之基于二进制码的Hash Embedding：专栏

9. 大语言模型（LLMs）

项目文件夹：llms

9.1 LangChain

LangChain开发入门教程：：llms/langchain_tutorial

• Model I/O（prompts、llms、chat model、output parsers）：专栏
• RAG/Retrieval（文档加载器、文本分割器、Embedding、向量数据库、检索）：专栏
• Tools/Agents（工具、function call、agent）：专栏

deeplearning's Issues

something looks wrong in MMOE.py (pytorch version)

result of the main（I only changed the size of the input）
I create the test data of (4,8), the output was the same,

task_output tensor([[-0.0373, -0.0265],
[-0.0373, -0.0265],
[-0.0373, -0.0265],
[-0.0373, -0.0265]], grad_fn=)
task_output tensor([[-0.0157, 0.0096],
[-0.0157, 0.0096],
[-0.0157, 0.0096],
[-0.0157, 0.0096]], grad_fn=)
OrderedDict([('click', tensor([[0.4973, 0.5027],
[0.4973, 0.5027],
[0.4973, 0.5027],
[0.4973, 0.5027]], grad_fn=)), ('like', tensor([[0.4937, 0.5063],
[0.4937, 0.5063],
[0.4937, 0.5063],
[0.4937, 0.5063]], grad_fn=))])
click torch.Size([4, 2])
like torch.Size([4, 2])

Can you help me figure out this? Thanks

weight uncertainty issue

DeepLearning/multitasklearning/loss/uncertainty_weight.py

Line 18 in ad4a14c

final_loss.append(tf.div(loss_list[i], 2*tf.square(uncertainty_weight[i])) + tf.log(uncertainty_weight[i]))

If uncertainty_weight[i] is negative then tf.log(uncertainty_weight[i]) will be nan.