ゆっきー@音声合成 @4wavetech

ボコーダーの品質はcopy inferenceだけじゃ分からない(色んな楽譜を歌わせないと欠陥が見えない)ので、ついでにDiffSingerと同じフォーマットの音響モデル、F0モデル、持続長モデルも作るという…。検証用SVSも丸ごと作り直した方が早いしこの機会に音響モデルとF0モデルもhop256、hop512両対応したい

0 0 5 260 1

View Details

ゆっきー@音声合成 @4wavetech

3 days ago

あと、NSF-HiFiGANの謝辞にあったデータセットを拝借して、損失関数も完全にNSF-HiFiGANに合わせた。実のところ、音質の悪いM4Singerを外して綺麗なデータセットをたくさん使ったのが音質良くなった原因なのかもしれない…。同時に複数の変更入れたせいで切り分けが…。

0 0 1 114 0

View Details

ゆっきー@音声合成 @4wavetech

3 days ago

F0とmelの補完の方法は色々試したが、特にmelは、logスケールを消して補完してlogに直すより、単に線形補完した方が現実のデータで劣化が少なかった。にしても、hop256で24000Hzまでmelを入れてた時より直感的な音質が遥かにいい。不思議だ…。

1 0 2 132 0

View Details

ゆっきー@音声合成 @4wavetech

3 days ago

1 1 12 804 6

View Details

ゆっきー@音声合成 @4wavetech

3 days ago

pc-NSF-HiFiGANのRTF0.187しかなかった…。(MacのGPU使うと0.043)品質も高すぎる。もう自前でボコーダー作る理由なくなったのでは…。

0 0 1 118 0

View Details

ゆっきー@音声合成 @4wavetech

4 days ago

@bennjmiin That’s news to me! I'll look into it. Thank you!

0 0 0 2 0

View Details

ゆっきー@音声合成 @4wavetech

5 days ago

NSF-HiFiGANの学習スクリプト結構徹底的に見たけど、0.05〜2倍で教師データの音量変えたり、lossにmel loss使ったり、v/uv入力できるのに使わずに学習回したり興味深いところが多かった。最近のボコーダーだとよくあることなんだろうか

2 0 2 238 1

View Details

ゆっきー@音声合成 @4wavetech

4 days ago

学習回してスペクトルの再現度もNSF-HiFiGAN並になったら嬉しいけど、方式の頭打ちがそろそろきている気がする…。適当に学習しても不快な高調波を出さず、変な楽譜でも破綻せず歌えるので、V3としてお披露目できる完成度になってきたと思う

0 1 3 199 0

View Details

ゆっきー@音声合成 @4wavetech

4 days ago

今回初めてSTFTの複素成分もちゃんと観察したけど、多重解像度STFT lossを取ることで、Discriminatorにかけなくてもボコーダーは人間らしい位相をそれなりに再現するらしい。波形の形が微妙に人間らしくなるだけなので結構気をつけて聴かないと分からないが…。

0 0 6 298 0

View Details

ゆっきー@音声合成 @4wavetech

4 days ago

検証方法としては、ボコーダーの学習を止めて、学習率や勾配クリッピングを変えながら延々Discriminatorを学習させて、どれが識別率55%を超えるか試した。相当検証したがMSD以外識別する能力はないらしい。

0 0 1 96 1

View Details

ゆっきー@音声合成 @4wavetech

4 days ago

歌声合成用ボコーダー向けに強いDiscriminatorを探したが、・HiFi-GANのMSD/MPD ・UnivNetのMRD ・enCodecの複素STFT Discriminator ・Wave-U-Net Discriminator を試して、育ってきたボコーダーの音声を識別できるのはMSDだけだった。

1 1 3 212 2

View Details

ゆっきー@音声合成 @4wavetech

4 days ago

NHV(元論文)の励起インパルスは振幅の同じ正弦波の重ね合わせなのだけど、これだと高周波数帯に余計な調波成分が残ることが多かった。そこで-6dB/octで正弦波を減衰させた。耳障りな高調波が実際聞くとかなり軽減されてると思う。しかしNSF-HiFiGANはスペクトルの再現度高いなあ…。

0 0 2 231 0

View Details

ゆっきー@音声合成 @4wavetech

5 days ago

@bennjmiin NSF-HiFiGAN and HiFi-GAN are quite different. That said, it's true that most vocoders built for singing voices share a pretty similar architecture.

1 0 0 19 0

View Details

ゆっきー@音声合成 @4wavetech

5 days ago

@roku10shi マジですか…！　いや、その解釈で正しいです。使ってもらうためのやつなので…。48kHz以上あって大量の歌声があるデータセットが意外と見つかりません。ACE-opencpopは癖があるし、M4SingerやGTSingerは音質悪いし…。

1 0 1 65 0

View Details

ゆっきー@音声合成 @4wavetech

5 days ago

何語でもいいからただただ無料で音質がいい歌声集はないのだろうか…。DiffSinger互換で作ってもライセンスの問題が生じるの嫌なんだが

2 0 2 254 0

View Details

ゆっきー@音声合成 @4wavetech

5 days ago

これにインスピレーション受けて、NHVの学習時、確率でv/uvを有効にするようにした。無効時、harmonic生成器が無声区間でnoise生成器と一緒に音を出したらlossが出るし、有効時、noise生成器が音を出さなくてもlossが出る。だから無声区間はnoiseだけ音を出すよう学習されるはず(多分された)。