StableDiffusion加chilloutmixni真人图片生成模型，AI绘图杀疯了

　　上期图文教程，我们分享过AI绘图大模型Stable Diffusion以及中文版本文心AI绘画大模型的基础知识以及代码实现，截至到目前为止。Stable Diffusion模型已经更新到了V2.1版本，其文生图大模型也越来越火，其在2022年底，由AI绘制的图片被荣为国际大奖，让大家对AI绘画大模型也越来越关注，只是被突然杀出来的ChatGPT抢了风头,本期我们基于Stable Diffusion webui开源项目，介绍一下最近大火的Stable Diffusion模型。
　　Stable Diffusion模型+chilloutmixni
　　stable-diffusion-webui
　　Stable Diffusion是一种扩散模型，可以经过训练，使用文本进行图片的生成任务，很多基于Stable Diffusion模型的训练模型已经发布，最近比较火的便是chilloutmixni（一个真人图片生成模型）与lora模型（一种风格模型），2种模型可以搭配使用，由于Stable Diffusion模型开源的是源代码，针对普通非程序员，交互起来，不是很友好，这不，基于Stable Diffusion的UI可视化项目也同步开源，其中最著名的便是如下开源webUI。https://github.com/AUTOMATIC1111/stable-diffusion-webui# UI开源
　　stable-diffusion-webui
　　stable-diffusion-webui项目是基于stable-diffusion开源的可视化界面，我们可以直接在浏览器上面运行stable-diffusion，基于可视化的效果，我们可以很容易的控制各个模型的参数。目前很多基于stable-diffusion-webui项目开发了很多插件，包含汉化插件，controlNet等。https://github.com/Stability-AI/stablediffusion
　　安装stable-diffusion-webui，其官方也有很多相关的教程，本期我们就基于Google colab运行环境进行介绍，关键是stable-diffusion需要大量的GPU，其colab有免费的GPU资源可以使用，我们就基于Google colab来安装stable-diffusion-webui。
　　stable-diffusion-webui安装
　　stable-diffusion-webui的安装，我们直接使用git指令来复制整个工程!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git %cd stable-diffusion-webui !git clone https://github.com/Stability-AI/stablediffusion repositories/stable-diffusion-stability-ai
　　首先我们需要复制整个stable-diffusion-webui工程，然后进入stable-diffusion-webui文件夹中，再复制Stability-AI相关官方代码库，以上2个工程便可以成功运行stable-diffusion-webui程序了。
　　然后我们安装相关的第三方库!pip install -r requirements.txt !pip install open_clip_torch !pip install k_diffusion !pip install taming_transformers-rom1504 !pip install fastapi=0.90
　　首先我们需要安装requirements要求的第三方库，理论上安装requirements要求的库后，真个工程就可以正常运行，但是整体模型运行下来还需要安装如下四个库，且fastapi的版本需要为0.90，然后我们就可以正常运行整个工程了。!pip install open_clip_torch !pip install k_diffusion !pip install taming_transformers-rom1504 !pip install fastapi=0.90
　　在运行整个工程之前，由于我们需要使用chilloutmixni真人模型，因此需要下载此模型，在Google colab里面，我们可以使用如下代码来下载chilloutmixni模型。!curl -Lo chilloutmixni.safetensors https://huggingface.co/nolanaatama/chomni/resolve/main/chomni.safetensors
　　下载完成的chilloutmixni模型，需要放置到如下文件夹下stable-diffusion-webui>>models>>stable-diffusion
　　当然，若有lora模型，需要放置到如下文件夹下stable-diffusion-webui>>models>>Lora
　　当模型下载完成后，我们便可以使用如下代码来运行整个工程了，代码会自动安装相关的库以及自动下载相关的模型文件。!python launch.py --share --xformers --enable-insecure-extension-access
　　Python 3.9.16 (main, Dec  7 2022, 01:11:51)  [GCC 9.4.0] Commit hash: 3531a50080e63197752dd4d9b49f0ac34a758e12 Installing xformers Fetching updates for Stable Diffusion... Checking out commit for Stable Diffusion with hash: 47b6b607fdd31875c9279cd2f4f16b92e4ea958e... Cloning Taming Transformers into repositories/taming-transformers... Cloning K-diffusion into repositories/k-diffusion... Cloning CodeFormer into repositories/CodeFormer... Cloning BLIP into repositories/BLIP... Installing requirements for CodeFormer Installing requirements for Web UI Launching Web UI with arguments: --share --xformers --enable-insecure-extension-access 2023-03-11 10:51:02.869144: I tensorflow/core/platform/cpu_feature_guard.cc:193] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations:  AVX2 FMA To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags. 2023-03-11 10:51:06.507725: W tensorflow/compiler/xla/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library ＂libnvinfer.so.7＂; dlerror: libnvinfer.so.7: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/lib/python3.9/dist-packages/cv2/../../lib64:/usr/lib64-nvidia 2023-03-11 10:51:06.508205: W tensorflow/compiler/xla/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library ＂libnvinfer_plugin.so.7＂; dlerror: libnvinfer_plugin.so.7: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/lib/python3.9/dist-packages/cv2/../../lib64:/usr/lib64-nvidia 2023-03-11 10:51:06.508233: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Cannot dlopen some TensorRT libraries. If you would like to use Nvidia GPU with TensorRT, please make sure the missing libraries mentioned above are installed properly. Calculating sha256 for /content/stable-diffusion-webui/models/Stable-diffusion/chilloutmixni.safetensors: 7234b76e423f010b409268386062a4111c0da6adebdf3a9b1a825937bdf17683 Loading weights [7234b76e42] from /content/stable-diffusion-webui/models/Stable-diffusion/chilloutmixni.safetensors Creating model from config: /content/stable-diffusion-webui/configs/v1-inference.yaml LatentDiffusion: Running in eps-prediction mode DiffusionWrapper has 859.52 M params. Downloading (…)olve/main/vocab.json: 100% 961k/961k [00:00<00:00, 6.44MB/s] Downloading (…)olve/main/merges.txt: 100% 525k/525k [00:00<00:00, 3.82MB/s] Downloading (…)cial_tokens_map.json: 100% 389/389 [00:00<00:00, 92.5kB/s] Downloading (…)okenizer_config.json: 100% 905/905 [00:00<00:00, 305kB/s] Downloading (…)lve/main/config.json: 100% 4.52k/4.52k [00:00<00:00, 668kB/s] Applying xformers cross attention optimization. Textual inversion embeddings loaded(0):  Model loaded in 76.3s (calculate hash: 45.7s, load weights from disk: 0.8s, create model: 3.1s, apply weights to model: 17.6s, apply half(): 1.3s, load VAE: 7.0s, move model to device: 0.6s). Running on local URL:  http://127.0.0.1:7860 Running on public URL: https://61087ab0-8f51-5aee.gradio.live
　　stable-diffusion-webui
　　代码运行完成后，我们在最后一行，就可以看到一个public URL ，点击这个URL，就会跳转到一个webui界面了（上图）。由于我们下载了chilloutmixni模型，这里系统会自动检测到此模型，并默认使用此模型。
　　通过以上的webui界面，我们就可以输入相应的文字，或者上传自己的图片进行文字生成图片，或者图生图的操作了，总结一下其webui界面的安装过程主要包含四步1、git clone 2个工程 2、安装其第三方库 3、下载需要的模型文件 4、运行webui
　　通过以上4步，便可以正常运行stable-diffusion-webui项目了，关于stable-diffusion-webui项目的参数设置，模型文件的使用，其他插件的使用，我们后期进行分享。