2023-04-18

別誤會! 此 Stable Diffusion 非彼 Stable Diffusion

標籤

阿舍剛開始用 Stable Diffusion 的時候，就以為 Stable Diffusion 是一套軟體的名稱，後來，開始在找 Stable Diffusion 的資料時，就發現，雖然找到的 Stable Diffsuion 是和 AI 繪畫的 Stable Diffusion 相關的東西，但不是阿舍在用的 Stable Diffusion WebUI 可以直接拿來用的東西，原來， Stable Diffusion 學問不少啊 ! ...🤔 


Stable Diffusion 繪製

Diffusion 是一種 AI 模型技術

像 Stable Diffusion、MidJourney 和 DALL-E 這類的文字產圖技術，通常至少會由二個部份組成，一個是看懂提示詞要畫什麼東西的 AI 語言模型及真正去畫圖的 AI 繪圖模型，在 "看懂" 的部份，大都是採用 CLIP/BLIP 這類的模型技術負責產生出文字與圖的關聯，而在產圖的部份，每家用的技術就可能不太一樣了，Stable Diffusion 是採用名叫「Diffusion」的模型技術為基礎，DALL-E 則是用 OpenAI 自家的技術，而 Midjourney 則是沒有公開資訊可查詢 ... 

註: 更詳細運作原理講解請參考這部教學影片，本篇旨在幫助簡單瞭解各項技術的差別。

Stable Diffusion 是模型也是技術

「Stable Diffusion」模型技術是 Stability AI 公司以「Diffusion」模型技術發展而成的 AI 繪圖技術，同時，Stability AI 也用這項模型技術訓練並公開給大家免費用，而這些訓練好的模型就是我們熟知的 Stable Diffusion V1.4、V1.5、V2.0 和 V2.1 等模型，但是，只有這些模型是不能直接用，除非會寫程式來載入程和套用這些模型才行。

Stable Diffusion Automatic1111 WebUI 才是操作界面

所以，後來有善心人士寫出了 Stable Diffusion Automatic1111 這個 Web 操作界面 (WebUI)，讓大家可以方便的透過 Web 界面來使用 Stable Diffusion 模型及基於 Stable Diffusion 模型訓練成的模型們，但是，支援 Stable Diffusion 模型的 WebUI 不是只有 Automatic1111 而已，而且，不只 Web 操作界面而已，還有不少的應用軟體可用，阿舍之前不清楚才會以為看到 Stable Diffusion 可以用，就可以下載安裝在 Automatic1111 上使用。 

其實，不然，還是要注意看是不是有支援 Automatic1111，尤其是在擴充工具 (extension) 上要特別注意，不是 Github 或 HuggingFace 上說有支援 Stable Diffusion 或是專案名稱有 stable-difussion 或 sd- 開頭的，就都可以在 Automatic1111 使用。

Diffusers 以程式使用 Stable Diffusion

另外，阿舍在上面有提到，Stable Diffusion 訓練好的模型可以由程式來操作，而這個 Diffusers 程式庫就是可以利用 Stable Diffusion 模型來文字產圖的程式庫，很多 Github 上以 stable-difussion 開頭的專案或是有說可以支援 Stable Diffuison 的程式或模型，其實是給像這類的程式庫來搭配使用的。

結語: Stable Diffusion 應用廣泛

阿舍一直在懷疑 Midjourney 是不是也是有在用 Stable Diffusion 模型和技術，但不可考，不過，Stable Diffusion 和 Diffusion 模型技術拜 Stability AI 公司把 Stable Diffusion 模型的免費開源之賜，被採用和應用的地方越來越多。

所以，之後看到「Stable Diffusion」字眼時，還是先確認一下是談那個部分的議題，如果是新的 Stable Diffusion 功能或應用，但還不能用在 Automatic1111 上，也不用急，應該等一等就會出現了，不要像阿舍一樣亂下載，然後，瞎忙一場 ... 😤

推薦閱讀


有疑問？ 問題還是沒解決嗎? 歡迎下方留言提問和討論 😁

沒有留言 :

張貼留言

歡迎留言提問和討論 .... 😁

訂閱： 張貼留言 ( Atom )