语音特征提取的一些疑惑 about talking-face-generation-davs

[ZhengMengbin]

@duguiming111 作者采用的是mfcc20，也就是一个bin对应5帧图像（提取mfcc的时候窗口间隔为10ms，你可以查一下savemfcc.m中的opt.Ts参数的含义，所以4个mfcc对应的其实就是40ms，也就是一帧，作者固定视频帧率为25帧/s，所以每帧是40ms；故20个mfcc就对应5帧）；然后作者其实是想用五帧中的中间帧来对应每一个bin，所以第一个bin对应视频中的第2帧（从0开始计数），当然提取代码肯定会把所有帧图像都保存下来，但实际训练过程中是第一个bin，也即2.bin去和第2帧，也即2.jpg形成pair输入网络，然后为了形成匹配对方便，作者才写成了2:end，这样生成的bin标号就从2开始了，而2:26应该是作者只取每个样本的前1秒（即25帧）来作为训练样本。

[Hangz-nju-cuhk]

Hi @duguiming111, the window size of audio is larger than the span of one frame. Specifically, one audio bin would correspond to 5 frames, so that the first audio bin would match the frame with index 2. The -600 is because the processed audio length is a bit longer than the video. This is a value that is designed by experience.

[duguiming111]

@Hangz-nju-cuhk 你好，例如，那么我用一段5分钟语音，生成5000个bin文件，那么最终也会生成2-5001个图像，直接用这个图像和语音合成，嘴型就直接能对应上吗？

[lzkzls]

@ZhengMengbin 你好，我最近在看这份代码，有个疑问想请教！在process256_224.py中，_mouth.txt_filenames.txt这些文件需要自己来生成吗？在下载的LRW数据集中没有这些文件夹。