見出し画像

【徹底解説】なぜTsubakiは"心を読む"のか？このPixAIの虎の子の超画像生成AI・TOP3の機能とDiTモデルの具体的な使い方を全部見せます！

ハカセ アイ (Ai-Hakase)🐱YouTube × 記事でトレンドAIを解説する為のnote🐾

どうも皆さん！実は最近、歯磨きをする前によくうがいをするのがすごい効果があるって知りました、 葉加瀬あい（ハカセアイ） です！

まず、今回のNote記事の内容は 「YouTube動画版」 でも見れますので、こちらからどうぞ！

要点はこちらから見れます✨

PixAI「Tsubaki」が"心を読む"AIと呼ばれる理由とは？

今回は PixAI「Tsubaki」が"心を読む"AIと呼ばれる理由 と題しまして、PixAIが最近発表した、最新技術DiTアーキテクチャ搭載の 画像生成AIモデル「Tsubaki」 について皆さんにお伝えしていこうと思います！　　

結構AI画像生成をやっていると、頭の中では完璧なワンシーンがあるのに全然AIに伝わらなくて、もどかしい思いをすることとかありますよね⋯。

でも、この Tsubaki を使うと最新技術DiTの力で、皆さんの心を読んでいるような「そうそう！このニュアンス分かってほしかったんだよね！」っていう画像生成が実現できるんですよね！　　

しかも面倒くさいプロンプトや専門知識がほとんどいらなくなったし、感情や複雑な関係性のキャラクターの表現とかかなり簡単に精巧に作り出せるようになったので、すごいおすすめです！

実際に私もいろいろ試してみて、こんな感じの複雑な構図の絵とか、

なんとも言えない感じの感情表現とか、

AIだと思わない、いわゆる、うすい絵の生成とか⋯

キャラクターの一貫性とかも、本当にすごいびっくりしたので、ぜひ皆さんにも使っていただきたいです！

使用前に知っておきたい注意点

一応最初に懸念点をお伝えしておくと、画像生成を行うのにクレジット消費量がちょっと他のものよりも多くかかってしまうんですけど、そこの解決方法とかも私なりのTipsとして皆さんにきちんとお伝えしていく予定なので、ぜひ最後まで見ていってください！

今回お話しする内容

ということで今回お話しする内容はこんな感じです！

  • ①「悲しみ」も「ワクワク」も思いのまま！Tsubakiの驚異的な"感情描写力"を徹底解剖！

  • ② 親友同士のワンシーンも完璧に再現！複数キャラクターの複雑な関係性を描く神ワザとは？

  • ③ もうプロンプトに悩まない！初心者でもプロ級の絵が描ける「プロンプト自動変換」の魔法に迫る！

それと、YouTubeではnoteの内容をAIで動画に変換して公開しているので、まだの方は noteのフォロー や YouTubeのチャンネル登録 もお願いします！

それでは、本日もよろしくお願いします！


TsubakiのDiTモデルとは？従来の画像生成AIとの違い

ということで、まずそもそもこの Tsubaki という DiTモデル が今までの画像生成AIとはどう違うのかということについてお話ししていきます！

一応詳しい内容についてはこちらの方でPixAI会員向けに先行公開したTsubakiプレビューというものでご紹介したんですけど⋯

https://note.com/ai_hakase/n/n70163d515794

ちょっとだけおさらいしておくと、この Tsubaki には、新技術 「DiT (Diffusion Transformer)」 というものが使われています！

このDiTモデルどういうものかといいますと⋯

  • 絵を描くのがとっても上手な 『画家（Diffusionモデル）』さん

  • 言葉を深く理解するのが得意な 『翻訳家（Transformer）』さん

この二人の天才がタッグを組んだ、スーパーエリートみたいな技術なんです！

従来モデルとの比較

今までの私がこちらとかでご紹介してきた Otome V2 とか⋯

Peluche MIX については、どちらかというと『画家』さんの力が強くて、「こういう絵を描いて！」という指示を、少し不器用な単語のリスト（プロンプト）で伝える必要がありました⋯。

つまりはですね、
「1girl, solo, masterpiece, best quality, pink hair, twintails, blue eyes, sailor uniform, classroom, sunlight」⋯ こんな風に、AIが理解しやすい「キーワード」をカンマで区切り、ひたすら並べていく。ということが必要でして、このキーワードにヒットする特徴をAIが生成画像に学習されたデータの中から反映させていくという方式だったんですね。

DiTモデルの画期的な進化

DiTモデル はそこに、 Transformer という技術が組み合わさりまして、タグ区切りじゃなくて 文章でその画像生成の作業ができるようになった というものです！

これ、結構最新のアーキテクチャーになるんですけど、つまりは文章の文脈をAIが理解して、画像を作成していくという雰囲気になりますので、もっと人間のようにユーザーの指示を理解して画像生成を行ってくれるようになります！

感情や文脈の理解力が飛躍的に向上

例えば具体例を出しますと、今までの画像生成AIだと「悲しそうな少女」と指示しても、「悲しそう」と「少女」というパーツを組み合わせるだけで、その背後にある「なぜ悲しいのか」「どんな風に悲しいのか」といった文脈まで汲み取ることが難しかったんですけど⋯

この DiTモデル を使用しますと、文章全体の文脈や関係性を読み取る能力が非常に高いので、自然な文章に込められた感情や状況、物語性まで理解し、一枚の絵として描き出してくれるようになるというわけです！

実際の例がこんな感じになりますね！全然違いますよね！

つまり簡単に申し上げますと、 プロンプト理解力が人間レベルに大幅にアップ し、 多様なスタイルにも対応 できるようになったということです！

Tsubakiの画像生成能力を実例で検証

ただ、ここまでだとあまり感覚がつかみづらいと思うので、実際にどんなふうにこのTsubakiが ユーザーの心を読む画像生成 を行うのかというものを、具体例を交えてお見せしていきたいかと思います！

感情表現の描写力が驚くほど向上

まず見てほしいのが、この 感情まで描き出す表現力 ですね！これは結構Tsubakiの目指すべき能力の一つなんですけども、 プロンプトの理解力が本当に深いところまで理解できています ！

実際に、こちらのように従来の画像生成AIモデルと比較するととても分かりやすいんですけど、Tsubakiは本当に 「目をキラキラさせて」という感情表現を的確に捉え 、キャラクターの表情や瞳の輝きに反映させているのがわかりますね⋯！

さらに、それだけじゃないんです！ 「夢みたいに可愛いパフェ」という抽象的な表現 からも、いちごやクリームがたっぷりと乗った、すごく可愛らしいパフェを描き出してくれましたね！本当に 文章に込められたワクワクした気持ちをそのまま絵にしてくれている といった雰囲気です⋯！

複数キャラクターの描き分けが革命的に進化

そして次は 複数キャラクターの表現 についてですね！

これも結構従来のAIにとっては、同じキャラクターが2人登場してしまったり、「誰が何をしていて、後ろでは別のキャラクターが何をしている」みたいな感じの キャラクター同士の関係性を正確に表現する ことがかなり曖昧になることが多かったんですけど⋯

この Tsubakiはその課題をクリアしていて、かなり複数キャラクターの描き分けが上手になっています ！

二人のキャラクターの関係性を表現

例えば、こんな感じで田舎のバス停でバスを待つ二人のキャラクターを描きます！楽しそうにラムネを飲む少女と、少し退屈そうな少年対照的な表現なども行ってみました！

本当に、物語のワンシーンやキャラクター同士の関係性を表現する一枚絵のクオリティが格段に向上しているかと思います⋯！

プロンプト自動変換機能が革命的！

そして3つ目が、この DiTモデルの特徴を最大限引き出してくれるプロンプト自動変換機能 になりますね！正直に言って、これは必ず使ってほしいです！

これは簡単に言うと、 簡単なキーワードからAIがプロンプトを連想させて作ってくれる ものになってまして⋯

例えば、こんな感じの「キャラクターの簡単な特徴、服装、場所や背景」といった適当なキーワードからでも、この プロンプト自動変換機能をオン にしますと⋯

こんな感じで PixAIの内蔵AIがそのプロンプトをキーワードから自動的に補完 して、自然言語の精密なプロンプトを作ってくれて⋯

それをもとに、とてもきれいな画像を生成してくれるようになります！

自動変換されたプロンプトの確認方法

リライトされたプロンプトは、私の場合だとこちらの生成履歴のところから見ることができるんですけども

https://pixai.art/ja/@ai-hakase/tasks

こんな感じで、 すごく簡単なキーワードからでも、とても詳細な自然言語の文脈を指示したプロンプト に切り替わって画像生成に使われているのがわかります！

結構、この機能を使うと、こちらが出した簡単なキーワードでも AIが「きっとこういう世界観が見たいんだろうな」という文脈を読み取って 、本当に詳細で高品質なプロンプトにしてから画像生成を行ってくれるので、かなりありがたいです⋯！

これ、前まではプロンプトエンジニアリングという専門的な知識が必要だったんですけど、そういうのも全て誰でもできるように簡易化されて、 まるでプロが皆さんの代わりにプロンプトを考えて、その文脈に沿ってTsubakiが精密な画像を作ってくれる といった流れができているわけですね！

ですので実際のDITモデルの特徴や強みを簡単に活かすことができます！

プロンプトについても、こちらのように まずキャラクターの情報を記載してから背景情報などの描写的な部分を記載していく というセオリーに則られています。非常によくできているかと思います！

より詳しい情報はこちらから

一応、もっと詳しく知りたいなという方は、 こちらのPixAI公式のYouTubeチャンネル でもご紹介されています！

文章で見たいなという方は、 こちらのブログ記事 でもその他の作品がかなり詳細に表示されているので、よかったら見てみると良いのではないかと思います。とっても分かりやすいです！

https://help.pixai.art/ja/article/tsubakiai-smkh26/#3-tsubaki　　

クレジット節約の裏ワザをご紹介

それと最後に、 簡単なクレジット節約に関するテクニック なんですけども⋯結構「どうやってクレジットを節約すればいいのか」というのを悩んでいる人もいると思うので、そこについても解説します！

サンプリングステップ数を調整する方法

まずクレジットについてなんですけども、 こちらのように高級設定のところからサンプリングステップのところを12にして生成 してください！そうしますと、 4枚で1100クレジットでお試し生成 ができます！

たったこれだけで、現在のプロンプトで作ろうとしている 構図の確認 ができますので⋯

この構図の確認ができたら、次にその うまくいったシード値を使って通常通りのサンプリングステップ数で生成する といった流れを試してみてください！

こうすることで、 通常は4000クレジット近く使うTsubakiの高性能な画像生成の消費クレジットを大幅に減らす ことができます！

例えば、このテストを挟むだけでも、通常であれば8000クレジットぐらい消費するはずのものが5000クレジットぐらいで済むなど、 約半分近くのクレジット節約 になるので⋯クレジット消費量が気になるなという人は、ぜひこの手順を試してみてください！

ちなみに、このステップ数で絵柄が変わってしまうんじゃないかと思われる方もいると思うんですけど⋯ ステップ数を変えただけだと、あくまでも詳細度が変わるだけで構図はほとんど変化しない ので、安心していただいて大丈夫です！

ControlNetを活用した節約テクニック

あとは、私が結構おすすめしてるんですけど、 先ほどのTsubakiの構図だけを使って別のモデルで本番生成を行う というやり方もあります！

これだと、 Tsubakiの豊かな画像理解の能力を

ControlNetという形で他のAIモデルやLoRAを使って実現する ことができますので

Tsubakiのテスト用の1100クレジットとControlNet+高速化技術などを使用して2000クレジットくらいで画像生成 を行うことができます！

高速化技術の説明とかについてはこちらのYouTube動画をよかったら見てみてください！

メンバーシップについて

と、このように⋯ Tsubakiは無料ユーザーにも開放されて、すごく画期的で考えたことが現実の画像になるような性能 を秘めている画像生成AIモデルなんですけど、当然ながら高性能なサーバーで動かすわけなので、ある程度のクレジットを消費していきます。

結構、無料ユーザーだとそのクレジットがなくなることが多いので、私としては 月額9.99ドルから使えるメンバーシッププラン がかなりお得に使えておすすめです！

https://pixai.art/membership/plans?refCode=MB35FD9N

プランごとのクレジット特典とコストパフォーマンス

一応、こんな感じで、プランによって毎月たくさんのクレジットが付与されるんですが、 一番安いスタートプランからでも、毎日のデイリークレジットと合わせて、だいたい月に60万から70万クレジットぐらいは貯まっていく 計算になります！

ですので、先ほどお伝えしたクレジット節約機能と組み合わせると、 かなりお得に節約しながらTsubakiの高性能な画像生成を使えちゃう わけなんですよね⋯！

メンバーシップ特典の詳細確認方法

最新版のものについてはこちらのリンクから詳しい特典を確認できるので、よかったら見てみてください！

https://pixai.art/membership/plans?refCode=MB35FD9N

まとめ：PixAI Tsubakiで創作の可能性を広げよう

ということで、いかがだったでしょうか！今回は、まとめるとPixAIの新モデル『Tsubaki』は、まるで"心を読む"ように私たちの想像を形にしてくれる、次世代の画像生成AIだったということでした！

Tsubakiの3つの革新的ポイント

1.　 DiTモデルの採用により、「悲しみ」や「ワクワク」といった感情や文脈の理解度が飛躍的に向上した点
2.　 複数キャラクターの複雑な行動や関係性も、指示通りに正確に描き分けられるようになった点
3.　 初心者でもプロ級の絵が描ける「プロンプト自動変換」機能で、誰でも気軽に高品質な生成が楽しめるようになった点

皆さんもぜひPixAIの新しいTsubakiモデルで、頭の中の素敵な世界を形にしてみてください。これからのAI画像生成、ますます楽しみですね！

今回の記事と動画、楽しんでいただけましたか？

さて、今回の記事と動画、いかがでしたでしょうか？「参考になった！」と思っていただけたら、 Note のフォロー・いいね・グッドボタンの3つも是非よろしくお願いします。

https://note.com/ai_hakase

Youtubeのほう も、まだの方はチャンネル登録をしていただけると嬉しいです。

https://www.youtube.com/%40AI-Hakase

SNSでも最新AI情報を発信中

X (旧Twitter) でも、毎日 AI・トレンドの速報 を発信しておりますので、よかったらこちらもフォローください！

https://x.com/ai_hakase_　　

それでは、また次回の記事か動画でお会いしましょう！

葉加瀬あいでした！バイバイ！

いいなと思ったら応援しよう！