MacでAI画像ローカル生成ガイド① 無料StableDiffusion・model・LoRA編

MacはどのAI画像アプリがベストなのか

当サイトではAUTOMATIC1111を用います。これはStableDiffusionという画像AIを扱えるアプリの一種で、現在最も主流であり、従って最新機能やニュースもこの周囲で生まれています。

コストについてGoogleCorab無料版は現在、規約改定によりWebUIでの使用は禁止です。Fireflyはいずれ有料化するのでフォトショップの料金で表示しています。

生成時間はおおむね、解像度512✕512、20ステップという、AUTOMATIC1111初期設定の画像を１枚生成するのに最安モデルのMacで要した時間です。

CorabはクラウドGPUの圧倒的なパワーを使うので最速ですが生成量に上限があります。

Midjouneyは生成条件が異なりますが中庸の速度で、上限を超えると遅くなります。

Fireflyも生成条件が異なるので、筆者がフォトショップでジェネレーティブ塗りつぶしを試した時に要した時間で記述しました。

MochiDiffusionはCoreMLという、MacをStableDiffusionに最適化させたモデルを扱えるのでMacオフライン最速ですが、一般的な.safetensorsモデルからの変換を要します。

DiffusionBeeは.safetensorsながらもMacで比較的速く生成できます。

オフラインは、インストール後にインターネット接続なしのローカル環境で生成できるかどうかです。これは安全性と密接に関係しています。Fireflyのみ例外的に、最初から著作権フリーです。

機能についてですが、AUTOMATIC1111とそれを用いたGoogleCorabは、StableDiffusionの最新機能を現在もっとも多く利用することができ、主流です。

Midjourneyも少し遅れて使用可能な状態になり、最後にMochiDiffusionとDiffusionBeeが対応する傾向で、これらもControlNetという重要機能が扱えますが、プリプロセッサが使えないなど、完全ではありません。

Fireflyは独自の路線を進んでおり、主に著作権関連の安全性を担保する反面、機能は全般に遅れています。

ComfyUIは大変楽しいアプリで筆者は大好きですが、パッと見とっつきづらいためAUTOMATIC1111に比べまだユーザーが少なく、このため作例が不足しています。最大のメリットはSDXLでControlNetを使えることですが、事実上NVIDIAのGPU必須となり、Macだと必要なパワーが不足します。

Fooocusなどその他雑多なアプリは単にStableDiffusionを単機能に限定しただけで、しかも単機能特化で性能に優れているというわけではなく、操作を分かりやすくしただけのものとなっています。

灰の文章は読む必要はありません。無視して飛ばしてください。手順に問題が生じたり、成功した後でアレンジしたい時、読むと役立つ場合があります

原因不明・解決不能のトラブル対処法

万一手に負えない問題が起きた時は、おもむろにMacを再起動し、本来のもとからあったあなたのアカウントは手つかずのまま残っていますからそちらから入り、dummyアカウントを削除すれば何もしなかったゼロの状態に戻れます。その後dummyを作り直せば何度でもやり直せます。

dummyアカウントを削除する際は、上記画像のように「ホームフォルダを削除」を選択してください。それでdummyアカウントの内容だけ、変えた設定からインストールしたアプリから何から綺麗さっぱり全部消せます。

Homebrewとは

Homebrewとは、Macに各種パッケージをインストールするためのツールです。パッケージとはアプリ等のことです。通常、普段アプリをインストールする時はアプリストアから入れたり.dmgファイルをドラッグしたりしていると思いますが、そういうストア登録やファイル形式の用意のないプログラムでもインストールすることが出来ます。

zsh シェルとは

ターミナルのウインドウ上部に表示されているzshという表記はシェルといい、OSの根幹に影響を与える命令を司るプログラムの種別です。ユーザーが直接OSの根幹を操作すると予期せぬトラブルに繋がりやすくなるため、殻/shell のようにOSを守り、通す操作を限定する役割のあることからシェルという名称になっています。M1以降のMacは全てzshという種類ですが、動作に支障ありません。

今後記事に沿って例えばAutomatic1111などのプログラムを動作させると、このzshと描かれていた部分の文字列が変化し、動作中のプログラムを示すようになります。

逆に言えば、いまターミナルでプログラムが走っている最中なのかどうかは、ウインドウ上部の表示がzshのままなのか別のプログラム名に変化しているかどうかで一目瞭然にわかります。前記の赤い文章で示したとおり、Ctrl+Cでプログラムを停止する必要があるかどうか、きちんと停止できたかどうかは、すべてウインドウ上部の表示を見れば観察できるというわけです。

ダミーアカウントなしで進めた場合

初回は必ずダミーアカウントで進めてください。

ダミーで成功してから別のメインアカウントなどでやりたいなど、記事通りのダミーアカウントを作らなかった場合は、動作が止まった時「==> Next steps:」という表示付近を探してください。

上記画像の赤四角で囲った部分二行をそれぞれコピーし、2回に分けてターミナルの黒い画面末尾に貼り付け、エンターキーを押してください。この部分はあなたが選択したアカウントによって異なる文字列になっています。これで終了です。

git github clone リポジトリとは

gitとはプログラムのバージョン管理を厳密にするためのシステム総称です。原始的なアプリは複数のプログラムの組み合わせで動きますが、動くことが保証されたプログラムのバージョンの組み合わせは限られます。

関係する全プログラムが最新バージョンならOKというわけではなく、アプリの動作確認がなされた時点の、特定の古いバージョンが必要になることが多々あるため、厳密なバージョン管理が必要になります。

githubはその、厳密にバージョン管理されたプログラムのファイルをダウンロードできるウェブサイトです。

cloneとは、githubというウェブサイトから、バージョン管理が厳密になされたファイルを、ダウンロードしてくる命令です。

リポジトリとは、githubというウェブサイトのどこに、バージョン管理が厳密になされた、望むファイルがあるかの場所を指定する、https://で始まり.gitで終わるURLです。githubのサイト内、下記画像のような場所で示されています。

要するに何一つ新しいことも学ぶこともありません。既存の技術を言い替えているだけです。

modelとは .ckptと.safetensors

modelとは実態上は生成画像の質と傾向を制御するもの。checkpoint(ckpt)ともいう。BRA V7の場合、東洋系の美しい女性的な人物描画を面倒な呪文なしでも出せるようになる反面、似たような顔の傾向に偏ります。

modelは好きなものを同様の手順でダウンロードしインストールすることが出来るので、今回の方法が成功したら自分の必要に応じて変えてみると良いでしょう。人間だけでなく建築物などのモデルも存在します。

かつてファイル形式は.ckptでしたが、現在は.safetensorsが主流です。ckptでも使えますが、もう見ることもなくなってきました。

modelがなぜ実態上、画像の質と傾向を制御できるかというと、単純にそのモデルが学習する元画像を、制作者が望む質と傾向を持つものに偏らせているからです。したがって生成される画像も当然その傾向に偏るというわけです。この場合東洋系の美しい女性的な画像を集中的に学ばせたと推定できます。

なので傾向の偏ったモデルほど、実在の人物数名に似てくる危険性が大幅に高まります。この危険性は呪文プロンプトの使い方を誤ると致命的になると思われます。すなわち、モデルが学習した元画像いずれかに偶然該当する名前自体が呪文プロンプトに含められると、集中学習した元画像本人いずれかが登場する可能性が極めて高まります。実在の人名を呪文プロンプトに含めることは現時点で自殺行為、将来的に禁止行為になるでしょう。気をつけて危険から距離を取り、抽出でなく混合に、盗用でなく空想に、好奇心と情熱を傾けることをお勧めします。

ターミナルのコマンド

cdとはチェンジディレクトリの略。単にcdと入力すると、最初のホームディレクトリに戻ることができます。

ディレクトリとはフォルダのことです。つまりFinderでもフォルダとして見ることが出来ます。今いるフォルダ名はターミナル画面末尾の文字列として記載されています。

ここでcdとはチェンジディレクトリの略ですが、例えばcd stable-diffusion-webuiと入力すると、stable-diffusion-webuiフォルダに移動したことになります。今いるフォルダから直下にあるフォルダにしか移動できません。

直下のフォルダに何があるかはlsと入力すると表示されます。

ひとつ上のフォルダに戻るにはcd ..と入力します。なおcdと..の間にも半角スペースを要します。

xformersとは

前記画面の文字列途中には No module ‘xformers’. Proceeding without it.（xformersモジュールがないので、それなしで進行中）という注記が表示されています。

xformersとは画像生成の高速化に役立つものですが、現状でMacのM1以降には対応していません。インストールは出来ますが、不要ですし、なくても問題なく生成できます。

主としてNVIDIAでPascal以降のGPU製品をAI生成高速化するとき、VRAM消費量を抑えるのに役立つものです。

Sampling Methodとは

サンプリングメソッド、通称サンプラーとは色のドット集合体にすぎない元データから、人間の目で認識できるようノイズ整理していく抽出方法を支配するものです。

例えば1manというプロンプトでノイズ整理していく時、学習した大量の男性的画像をグチャグチャのドット単位に混ぜた画像から、プロンプトの命令に沿わないと推定するドットを排除し、沿うと推定するものを混ぜながら配列し直して画像を作りますが、その推定方法と排除や混ぜ方のパターンの違いが　Sampling Method/サンプル抽出の手法　です。

名称にaがつくと画像生成ごとのランダム性が高まり、DDIMがつくと比較的速く、Karrasがつくと画像のシャープネスが高まる傾向があるとされていますが、いずれも経験則による情報にすぎず、結局試してみるまでわからないのが実態です。

ただmodelとsampling methodとは密接に関係しており、ここの相性が悪いと画像が崩壊してしまいます。つまり逆に言えば、常に何にでも通用するオススメ一択のサンプリングメソッドは無いということです。

今回の説明においてはDPM++SDE Karrasを推奨してますが、成功したら変えてみてください。意味がよく分かると思います。

LoRAとは

LoRAとは実態上、生成画像の結果を微調整するもの。Round glasses LoRAの場合、眼鏡を生成させた時、生成結果を透明レンズの丸メガネに固定することが出来ます。

LoRAもmodel同様好きなものをネットで探してきてインストールすることが出来るので、今回の方法が成功したら自分の必要に応じて変えてみると良いでしょう。自作も可能です。目的によっては、LoRAが不要な場合もあるでしょう。