拡散モデルとは？画像生成の仕組みを図解、ノイズから絵が生まれる理由

ノイズを減らす方向を学び、画像を作る

ノイズは、画像に含まれるランダムな乱れのようなものです。拡散モデルの基本的な説明では、学習中に画像へノイズを加え、その情報を使ってノイズを取り除く方向を学びます。生成時には、その学習した処理を使って、ノイズの多い状態から画像へ近づけます。

ただし、実際の方式では、何を予測するかや処理する空間、生成手順が異なります。画像そのものの全画素ではなく、圧縮した表現の空間で処理する潜在拡散もあります。基本図を、すべての製品の内部構造と同じだとは考えないでください。

• 出典：Ultralytics / diffusion（新しいタブ）
• 出典：Hugging Face / diffusion course（新しいタブ）

学習と生成は、向きの違う工程

学習では、元の画像とノイズの加わった状態を使って、ノイズ等を推定する処理を学びます。生成では、学習したモデルを使って、段階的に出力を整えます。文章の条件を使う場合は、「何を作るか」という情報も生成を導く材料になります。

下の図は、学ぶ工程と画像を作る工程を見比べるための説明です。特定モデルの内部の途中画像を取り出したものではありません。まずは二つの向きが違うことを押さえてください。

プロンプトは、完成条件を分けて書く

「おしゃれな画像」だけでは、何が必要か分かりません。対象、構図、光、素材、用途、避けたい要素に分けると、生成後の確認がしやすくなります。たとえば商品案内の背景なら、本文の文字を後から置く余白が必要です。

以下は架空の編集用画像を作る指示例です。実在製品の正確な形を示したい場合は、生成で代用せず、使用条件を確認した公式画像や自分で撮影した写真を検討します。生成画像を実機写真のように見せないことが大切です。

ステップ数やseedを、品質の保証にしない

ステップ数は、生成の処理回数に関わる設定として使われます。ただし、多ければ常に良いとは限りません。モデルや生成方法ごとに適した条件が異なり、増やしても細部の誤りが直らないことがあります。

seedは、ランダムな初期状態を扱うための値です。同じ環境で条件を比べる助けになりますが、異なるモデルや版、処理環境でも完全に同じ画像になる保証ではありません。比較する場合は、モデル、版、サイズ、設定、入力を一緒に残します。

直す箇所を、構図・対象・細部で分ける

主役の位置が違うなら構図の問題、色や素材が違うなら対象の条件、指や製品の端子が崩れているなら細部の問題です。全部を「もっと良く」と頼むより、残したい部分と直したい部分を分けて指定します。

部分編集ができるツールなら、必要な範囲を指定して修正する方法があります。文字やロゴ、正確な図解は、画像生成だけに任せず、編集ソフトやコードで配置した方が確かめやすい場合もあります。

確認する画面と、表示される場所も見る

生成した大きさだけでなく、実際の記事で縮小された見え方も確認します。特に日本語の細かな文字、指先、商品名などは、拡大表示と掲載サイズの両方で見直します。画面を買い替えることが画像生成の精度を上げるわけではありません。

• 出典：EIZO FlexScan EV2740X-BK 公式仕様（新しいタブ）