rhawl97 / singing-voice-conversion

2019/04~2019/09 투빅스 Singing Voice Conversion

🎵 Singing Voice Conversion Using CycleGAN 🎶

투빅스 11기 & 12기 음성 프로젝트

Preprocessing

• Splitting
  짧은 시간 단위로 학습이 필요할 때에는 노래를 원하는 초 단위로 잘라줍니다.
• Voice Separation
  Vocal이 있는 음원 파일과 Vocal이 없는 Inst 파일을 input으로 넣으면 Vocal만 extract 되도록 합니다.
  Vocal만 extract된 음원 예시: https://bit.ly/2SZQJdX
• Data Augmentation
  Dataset을 증가시키기 위해 3가지 방법을 사용하였습니다.
  white noise나 stretch 방법은 오히려 잡음이 껴서 성능을 저하시켰고,
  위에 그림에 나온 방법들은 Conversion 성능향상에 영향을 끼쳤습니다.

---

Model

• Feature Extraction
  보통 음성분야에서는 MFCC를 쓰는데, 우리 코드에선 MCEP을 사용합니다.
  그 이유는 MCEP이 보다 많은 정보를 포함하고 있어, Vocal의 음색, 억양 등을 담을 수 있습니다.
  Preprocessing과정 후에 A.pickle, B.pickle, logf0.npz, mcep.npz 파일이 만들어지고 다음에 같은 dataset으로 train 할 때에는 이를 활용합니다.

• modeling
  CycleGan, Cycle Began 모델을 활용하여 Vocal style을 바꾸었습니다. 모델과 관련한 코드는 아래 reference를 활용했습니다. CycleBegan이 더 깔끔한 음질의 결과를 보였으나, CycleGan이 조금 더 robust한 보컬 변화가 있었습니다.

---

How to Run it!

jupyter notebook을 코랩에서 열어서 실행하면 됩니다.
실행방법이나 설정방법은 노트북 파일에 자세하게 쓰여져 있으니, 참고하셔서 실행해주시기 바랍니다.
코드를 수정하시거나 직접 다운받아 사용하실 분은 코드 폴더를 보시면 됩니다.

---

Result(Pickin good example)

거미 노래를 아이유 목소리로 바꾼 파일

케이윌 노래를 10cm 권정열 목소리로 바꾼 파일

---

Members of this Project

• 소라
• 유민
• 승호
• 진혁
• 혜인
• 민호

---

Reference

• https://github.com/eliceio/vocal-style-transfer/tree/master/Singing-Style-transfer
• https://github.com/NamSahng/SingingStyleTransfer
• https://github.com/serereuk/Voice_Converter_CycleGAN
• Takuhiro Kaneko, Hirokazu Kameoka. Parallel-Data-Free Voice Conversion Using Cycle-Consistent Adversarial Networks. 2017. (Voice Conversion CycleGAN)