大家好~
我叫吴侃,是18级中山大学与微软亚洲研究院联合培养博士,当前研究方向是:大模型训练(算法/框架,包含计算机视觉、自然语言处理)。
研究工作:FP8混合精度训练框架MS-AMP、 多模态模型的知识蒸馏TinyCLIP、小模型快速预训练蒸馏TinyViT、视觉Transformer模型压缩MiniViT、视觉Transformer模型的相对位置编码iRPE、神经网络结构搜索AutoFormerV2和轻量级单目标跟踪模型LightTrack。
开源项目贡献:Azure/MS-AMP
、Apache/incubator-MXNet
、Tencent/ncnn
、 OAID/Tengine
等。