hecomi / mmd4mecanim-lipsync-plugin

LipSync and TTS Plugin for MMD4Mecanim

MMD4Mecanim LipSync Plugin

はじめに

MMD4Mecanim を適用したモデルまたはユニティちゃんモデルにアタッチすることで以下の機能を実現するプラグインです。

• WAVE データの音声に同期したリップシンク
• 入力した日本語をリップシンクしながら発話
• マイク入力に合わせたリップシンク

動作環境

• Mac / Win
• Unity 5

使用しているソフトウェア・ライブラリ

• OpenJTalk
  • http://open-jtalk.sourceforge.net/
  • 音声合成に利用しています。
• Mei (Voice Data Only)
  • http://sourceforge.net/projects/mmdagent/
  • 音声合成の声として利用しています。
• nkf
  • http://www.vector.co.jp/soft/win95/util/se295331.html
  • Windows で UTF-8 <-> SJIS の文字コード変換に利用しています。

利用方法

• Relase より最新の .uniypackage をダウンロードしてプロジェクトにインポートして下さい。
• 詳細は以下のエントリをご参照下さい。
  • http://tips.hecomi.com/entry/20131208/1386514048
  • http://tips.hecomi.com/entry/2014/07/21/125319

ライセンス

• 修正 BSD ライセンス

謝辞

フォルマントの解析部については 人工知能に関する断創録 さんのコードを参考にしています。

詳細

その他詳細は Twitter:@hecomi へご質問いただくか、http://tips.hecomi.com/ をご参照下さい。

mmd4mecanim-lipsync-plugin's Issues

Audio Clip の破棄のタイミングにより短い音が再生されない

実行ファイルのパスによってエラーが生じる

日本語が文字化けしたりスペースが含まれていると落ちるといった問題を修正する

iClipの判定でlipSync.aClipを比較している

MMD4Mecanim-LipSync-Plugin/Assets/LipSync/Editor/LipSyncCoreEditor.cs

Line 228 in ab79610

if (iClip != lipSync.aClip) lipSync.iClip = iClip;

MMD4Mecanim The unitypackage has not been uploaded, and there is no instance scenario or model in the project. I don't know how to drive it

playingPosition が設定されている時に OnAudioFilterRead が効かない

デリゲートが破棄されていない