最近生成系AIに興味があり色々試しています。
今回はAIが自動応答するVtuberを作ってみます。AIにキャラを学習させYoutubeライブに寄せられたコメント・質問に音声で回答します。
- Youtube「AI Vtuber」生成に必要なモノ
- AI Vtuberキャラ画像生成
- Youtubeライブからコメント取得
- AI Vtuberキャラ設定
- コメントへの回答生成
- AI Vtuberとの会話
- まとめ
Youtube「AI Vtuber」生成に必要なモノ
Youtubeライブで動作するAI Vtuberを生成する上で必要になるモノ・機能は
- Vtuberの画像(各種表情)
- Youtubeライブからコメント取得
- Vtuberのキャラ設定
- コメントへの回答生成
- 回答テキストを音声に変換
最低限動作するよう準備します。
AI Vtuberキャラ画像生成
まずは、Vtuberの画像を生成。
今回使ったのは無料で商用利用可能なイラストを生成できる「Leonardo.Ai」
▼「漢服を着た中国人女性のアニメ絵」で4枚生成。
右下の絵をVtuberのベースにします。
１．背景の削除
Vtuberの背景は別で用意するので、「Leonardo.Ai」のremove background機能で背景を削除。
２．異なる表情を生成
「Leonardo.Ai」のimage to image機能で先程生成した画像をベースに口を閉じたパターンを生成。音声応答時の口パク画像として使います。
Youtubeライブからコメント取得
Youtubeライブからコメントを取得するにはGoogle Cloudの申込が必要です(要クレジットカード)。Google CloudのYoutube APIを利用します。
ただ、Youtubeライブ配信はすぐには利用できません・・。初回利用時はアカウント確認が必要で最大24時間待ち。
まだYoutubeライブは使えないので、ブラウザ上で動作するVtuberを作成することにします。
AI Vtuberキャラ設定
AI Vtuberキャラ設定とコメントへの回答は「miibo(ミーボ)」サービスを利用。
「１０個の質問」に答えるだけで、自然な会話ができる高精度な会話型AIのキャラクターを生成できます。
実際の回答生成はchatGPTが行っていますが、直接chatGPT APIを呼出すより簡単に利用できます。また、一定の会話数までは無料利用可能。
▼中国駐在員にアドバイスするVtuberとし、AIで生成した自己紹介文を設定。
「こんにちは、私はVtuberの桜花です。中国駐在員の皆さんにアドバイスをするのが好きです。中国での生活や仕事について、役に立つ情報やコツを教えます。」
コメントへの回答生成
雑談配信用のAI VTuberを作成するためのサンプルプログラムが公開されていたので、そのまま使用。
- Vtuberの表情変更
- Youtubeライブからコメント取得(Youtube API連携)
- コメントへの回答生成(miibo API連携)
- 回答テキストを音声に変換(VOICEBOX API連携)
の各機能が網羅されています。
AI Vtuberとの会話
設定が終わったので早速試してみます。
▼「自己紹介して」と入力。
回答はテキストだけでなく、VOICEBOXの音声でも返ってきます。
▼VOICEBOXについて
ただ、テキスト入力から応答まで20秒以上かかりました。
▼いくつか質問
キャラ設定にあった回答が返ってきます。ただ、簡単な内容でも回答できないことも・・。
まとめ
AI VTuberを生成しました。各生成AIを組み合わせることで、これくらいの内容であれば簡単に無料で作れます。Youtubeライブ配信が使えるようになったら、このVtuberを使った配信を試してみようと思います。
また、以前紹介した「Web Speech API」を使えば音声で入力し、音声で応答するAIとの会話が実現可能です。
今後は、自分の声から合成音声を生成したり、自分の顔写真から学習データ生成して私のクローンAIでも作ってみようかと考え中・・。実家の両親の話し相手になるかも。
