ゆかりねっと cevio。 ゆかりねっとの音声認識を向上させる|Mori Naoyuki|note

導入方法

ゆかりねっと cevio

ゆかりねっと Ver. 2 が完成しましたので公開いたします。 主な機能は32bit化とエンジンまわりの調整となります。 ダウンロードは下記リンクからお願いいたします。 2の主な変更は以下の通りとなります。 CeVIOを対応するために32bitアプリケーションに生まれ変わりました。 棒読みちゃんプラグインが生き返ったので再度同梱しました。 CeVIO正式対応しました。 音声認識エンジン側で回避可能なエラーが発生した場合、メッセージ欄に出力し処理を続行するように修正しました。 最近になってたくさん報告があった aborted のエラーを無視するように変更しました。 音声認識画面のメッセージ欄で時間が表示されるようになりました。 今まで拡張機能をOFFにしてから音声認識を開始するようにしていましたが、設定画面で拡張機能をOFFにするかそのままにするかを選べるようになりました。 音声認識は日本語固定でしたが、折角なのでそこそこの言語に対応しました。

次の

ゆかりねっとの音声認識を向上させる|Mori Naoyuki|note

ゆかりねっと cevio

準備するもの• VOICEROID または 棒読みちゃん等の音声出力ソフト• ゆかりねっと• Google Chrome(ゆかりねっとの音声エンジンに使用)• 当然、別途で音源になる『ボイスロイド・棒読みちゃん・CeVIO等』の音声ソフトが必要となります。 今回は以前から僕が持っていた CeVIO さとうささら を使用します。 ゆかりねっと VRChat内でお話するために使用するツールです。 ダウンロードリンク: Google Chrome 言わずと知れたグーグルの人気ブラウザ。 一見すると無関係に思えるソフトですが、「ゆかりねっと」ではGoogle Chromeに搭載されている音声認識システムを使用するため、インストール必須となっています。 詳しい設定方法は後ほどご紹介します。 ダウンロードリンク; Voicemeeter Banana こちらは本来オーディオミキシング用に使用するソフトですが、今回は 同梱されている仮想オーディオデバイスだけを使用します。 (Banana本体は使用しません。 ) ダウンロードリンク: 使用手順 まず、上記でご紹介した4つのソフトをダウンロード・インストールしましょう。 すると下記のようなマイク設定の画面が出てきますので、自分の使うマイクを選択しましょう。 ここで設定したマイクが、実際に「ゆかりねっと」で検知されるマイクとなります。 すぐに使ってみたいと思うことでしょうが、まずは初期設定が必要なので画面右上にある『設定』を選びましょう。 Google Chromeの実行ファイルを指定する欄に、Google Chromeの実行ファイルを指定します。 これにより、ゆかりねっとにてGoogle Chromeで使用されている音声認識システムが使用できるようになります。 ちなみに、再生デバイスは何でもいいので自身の環境に合わせたものを選択しましょう。 すると、マイク許可などの画面が表示されたあとに以下のような画面になります。 これで起動は完了です。 試しにマイクに向かっていろいろな言葉を話してみましょう。 話した声がVOICEROID化して返ってくれば成功です。 また、声の大きさや抑揚、感情表現などもゆかりねっと側で操作できますので、お好みの声質に変更しておきましょう。 ゲーム内のシステムからMicrophoneを選んで ゲーム内のマイクアイコンを見て自分の声が入力されていないか、ゆかりねっとの音声が反映されているかを確認してください。 まとめ 以上、VRChatで「ゆかりねっと」を使って自分の声をVOICEROIDに喋ってもらう方法のご紹介でした! 正直まだまだ音声認識の精度は怪しい部分が多いですが、デスクトップモードであれば手打ち入力も可能なので、ゲーム内でどんどんコミュニケーションを取っていきましょう! ゆかりねっとと肉声を切り替えしたいとき ちなみに、VRChat内でゆかりねっとと自分の肉声を切り替えたい場合は、ゲーム内のシステムからMicrophoneを変更することで対応できます。 まず、前もって使用するマイクの名前と「VB-Audio VoiceMeeter」で設定されている名前(デフォルトならライン)を日本語からアルファベット表記に変更しておきましょう。 というのも、VRChatではマイク入力デバイスはアルファベットしか認識されず、日本語のままだとデバイス一覧にすら表示されないからです。 あとは、「VB-Audio VoiceMeeter」で決めた名前がゆかりねっとの音声出力先。 マイク名は直接肉声が聞こえる出力先となっていますので、ゲーム内で上手く切り替えて使ってみてください。 関連記事 この記事を書いた人 カテゴリー: VRChat,Vtuberを始めたけどオリジナル3Dモデルが欲しい方へ!.

次の

FINAL FANTASY XIV, The Lodestone

ゆかりねっと cevio

2018年5月頭からゆかりねっと+VOICEROIDを使用した生放送に参加するようになり3週間が過ぎました。 ほぼ毎日何かしらのボイスチャットをVOICEROID経由で行っており 今のところあまり不便には感じておりません(むしろ地声に違和感があるレベル) ゆかりねっととVOICEROIDを使った生放送では音声のみだと情報が伝わりにくいので 字幕機能が必須ですが、ゆかりねっとを使う上でいろいろ工夫が必要です。 今回は今までの経験を踏まえそれらの考察をしたいと思います。 使用してみると分かりますが思ってる以上に自分の発声した文章を変換してくれます。 例えば検索すれば簡単に歌詞が出てくるような歌を歌ってみたりしても文章を起こしてくれます。 またゆかりねっとはプラグイン形式を取っているためVOICEROIDなど、各種ツールに音声認識したテキスト連携できることが最大の特徴です。 私は放送で東北ずん子を使っているので ゆかりねっとを使用することでずん子ちゃんになれるというのが最大の魅力ですね。 ゆかりねっとの苦手なこと 喋ってみるとわかりますが「せやなー」の長音部や「うわああああああああ」みたいな叫びや文意はうまく表現できません。 試しに疑問形でマイクに喋ってみましょう。 あなたが疑問形で発声したつもりでもゆかりねっとでは疑問文に変換できません。 また同音異義語、文意の解釈も苦手のようです。 さまざまな言葉が意図したとおりに変換されない場面が出てくるでしょう。 以下の言葉を実際に変換してみると第一変換として「復讐する」が選択されると思います。 復讐する(発音:ふくしゅうする) 復習する(発音:ふくしゅうする) これらの文が含まれた長文なら変換できるのか?というと、変換できません。 詳しい処理方法はわかりませんが文章の文節を解釈し、文節ごとに文字を起こしています。 これは前後の文字列から文意を推測するということが難しいことを意味しています。 どういうことかというと放送者が喋ろうとした内容が音韻から聞き手側が複数の意図でとれる内容だった場合、多くは字幕の誤変換が起きるということです。 学習用のコーパス(テキストや音声などデーターベース)を用いた 変換であれば、これらのような場合でも文意の類推から変換候補を絞ることができます。 そのような製品も実際にはありますので、「文意を正しく変換したい」という用途では使用しにくいのが現状です。 連携された文字列を解釈するのは受け手になる側のツールです。 あくまでゆかりねっとは音声のテキスト変換を担当するため 細かい音程の調整、字幕上での同音異義語の見分け方といったものは 放送者側がある程度、意図的に制御する必要があります。 ではどうするのか 言葉の揺らぎに弱いということは、ゆかりねっとでは制御がしづらいです。 平時からゆかりねっとで喋ってみて、自分の話し方、よく使う言葉の中で変換されづらいものを把握しておく必要があります。 これについての解決方法として大まかに4種類あります。 音声のみであれば聞き手側がある程度文意を類推・解釈できますが 文章が誤変換された場合は目に入った情報から解釈されるためそうはいきません。 回りくどいようですが、取り違えられないような言い方をするのは適切な方法だと思います。 考えながら喋るのはなかなか難しいですが、練習あるのみです。 0から正規表現を用いたフィルター機能が実装されました。 事前に設定することで文章の置換が可能です。 導入のブロマガにも書いてありますが、変換されにくい語句を絞ることである程度制御可能となります。 例えば複数のキャラクターでのやり取りや視聴者兄貴に問いかける場合など 疑問文が字幕に出ると便利ですね(末尾に「?」があると意図が伝わりやすい) ですが実際は喋ってみても「?」は表示されません。 そこで「はてなマーク」という語句を「?」に置換するフィルターを設定してみます。 ごく短い文章にほんの少し間をあけて「はてなマーク」と発生すると疑問文になります。 またVOICEROID2では感嘆符(断定表現)やポーズの長さで発音が変わります。 うまく使い分けることでより視聴者に意図が伝わりやすくなるでしょう。 ですが実際は長文の末尾に「はてなマーク」とつけて変換してみると「ハテナマーク」になることがあります。 これは単語として解釈しているか、文節として解釈しているかの違いと推測されます。 もし放送者が疑問文として「はてなまーく」という発音を使うのであれば 「はてなマーク」「ハテナマーク」の両方を「?」に変換するように設定するのが無難です。 置換で大切なのは、ある発声が指し示す語句が一意になるようにすることです。 「?」であればクエスチョンマーク、はてなマーク、疑問符という呼び方がありますが クエスションマークやハテナマークと認識されれば変換されません。 滑舌や前後の変換でうまく伝わらないことが多いので 自分がよく使う語句を踏まえて単語を置換するのがベストです。 ここまで読んで「はてな」なんて単語は普段使わないし「?」に変換すればいいのではないか、と思う人もいるかと思います。 GBのレトロゲーに「ハテナ?の大冒険」、FFの青魔法や敵の技の中に「????」が付いたものがあるのでこれらを使用することがなければ「はてな」を「?」としても問題はないでしょう。 フィルターは上から解釈されるので もし単語登録するのであれば以下の順でフィルターを設定しましょう。 例えば「はてなマークはてな」を「??」に置換するなどで代用できそうです。 一意になる、他の文章に混ざって後変換されないという前提と考えると「疑問符」を「?」とした方がこの場合は適切なような気もします。 この辺は放送者の喋り方に依存するのでいろいろ試してみると良いと思います。 例えば私はよくメタルマックスをプレイしていますが メタルマックスのS-E「サンバーンXX」は視聴者からしたら特殊兵装の武器と理解できますが、そのまま読み上げても「SE3番ダブルエックス」と変換されると思います。 慣れている視聴者兄貴たちならサンバーンXXの事だなと解るかもしれませんが メタルマックスを知らない人にはなんのこっちゃだかわかりません。 そこでフィルター群を使ってみます。 メタルマックスの用語であって普段の会話では使わないでしょうから メタルマックス用のフィルター群を作って文節ごと変換してみましょう。 まず「メタルマックス用」というフィルター群を作ります。 字幕に「S-E」と表示したいので内部のフィルターに「スペシャルイクイップメント」を「S-E」と変換するように登録します。 そしてVOICEROIDに「S-E」を「エスイー」あるいは「スペシャルイクイップメント」と単語登録して読ませる、という二段構えです。 同様に誤変換される「3番 ダブルエックス」を「サンバーンXX」と置換し、VOICEROIDに「サンバーンXX」を「サンバーンダブルエックス」と読むように登録します。 メタルマックスに関するおしゃべりをするときはフィルター群をONにし、使わないときはOFFにしておけば変換が混ざることもないかと思われます。 実際に何度か喋ってみて一意な変換になるような調整が必要ですが、少なくともよりはっきりと意図が伝わるようになります。 その他に、文字の中にはVOICEROIDが発音しないものもあります。 これらを一般的な語句を使って置換することで文章を修飾して感情表現が可能です。 以下は一例ですのでご参考ください。 キーボードを打つ手間はありますがそのままVOICEROIDに連携されるので 予め変換が困難と予測される文章は打ってしまった方が良いです。 逆に言うとキーボードで叩いたものをうまく置換できる方法がないか、考えてみましょう。 パッと思いつかない場合、それは音声認識が抱える命題でもあります。 正規表現が使えるので、あるパターンの中の一部分を差し替えることもできます。 日本語はだいぶ自由に組み替えても意味が通じてしまう言語なので正規表現で記述できるかといわれるとだいぶ難しいと思いますが、放送者側が定型句を使うことで代用できる可能性はあります。 最後に このようによく使う語句をあらかじめ字幕表示させるにはゆかりねっとのフィルターへ 発声をVOICEROIDに振り分けることで誤変換を減らせます。 誤変換が減るということは、仮に誤変換された場合でも、残りの語句から類推して 視聴者側で意味を受け取ることが可能になります。 現状放送に合わせて適切なフィルターを用いるしかありませんが よりキャラクターの表現を豊かに行うにはまだまだ試行錯誤がいります。 放送を通じてVOICEROIDの会話を聞くことができる、会話できる、というのは 放送者側にとっても視聴者にとっても夢のような出来事です。 みんなそれぞれキャラクターイメージを持っていると思いますので ぶれないように少しずつ補正していくのが寛容かと思います。 それでは良い放送ライフを! P. たまに喋ってもいない内容を変換して暴走するのは仕様なんですかね…w.

次の