短い文章、単語を指定するとAIが自動で絵を生成します
(今はアクセスが多く使えませんが)CLIP + VQ-GANと呼ばれる
無料のAIオンラインツールではそれが可能です
CLIP + VQ-GANの背後にあるエンジンは、人間の脳を模倣するように
設計されたアルゴリズムの2つのニューラルネットワークで構成されています。
1つは画像を分類し(CLIP)、もう1つは画像を生成します(VQ-GAN)
例えば以下は「オーストラリア」の絵の例です
テキストプロンプト(「オーストラリア」)が与えられると、4億枚の画像のライブラリを調べて、この用語に対応する視覚要素を見つけます。
CLIPが生成する画像の結果は、「インターネットの統計的平均」で説明されてい ます。
上の画像によると、「オーストラリア」に最もよく対応する要素は、道路、砂漠の地平線、海、そしていくつかの毛皮で覆われたうろこ状の生き物です。
画像の結果が得られると、CLIPはこれらをVQ-GANにフィードします。VQ-GANは、独自の元の画像を組み立てて作成するようにトレーニングされています。
これはほとんど見えないところで起こりますが、CLIP + VQ-GANが画像を作成するこのビデオでプロセスの感覚を得ることができます。
様々な「文章、単語」の組み合わせでもAIは「絵」を生成します これらはそれぞれAIは15分かかりました
・AIが描いた「オーストラリア」の「絵」
・CLIP + VQ-GANに、中世のイタリア人画家ジョットのスタイルでメルボルンのカフェの画像を生成した絵
・19世紀の絵画「ウィスラーの母」の「喜びのない配置」と1982年の映画「ブレードランナー」の組み合わせ