前言

novel ai是最近以世界上最大的二次元D站为数据集训练出来的一个ai,所以生成二次元风格图的效果很不错,其他的就一般般了。

我自己生成的图例

22_x4_Av 23_x4_Av

声明:

  • 以下内容仅代表个人观点
  • 如存在一些问题请联系笔者
  • 资源来源于互联网,仅供学习使用
  • 帖子仅供技术学习交流,实际使用时请注意分寸(笑

前置

1.前置环境

环境配置比较简单,总共有三样

  • 最新版本的python环境,目前是3.10.8,可以从官网或者其他渠道下载

233

  • GIT,一个分布式管理软件,方便将软件版本更新到最新,体验最新的功能,当然你要是不想体验最新版本的话也可以不下载,这个无所谓

233

  • 显卡的驱动,因为我用的N卡,所以驱动也是装的N卡的驱动,装个最新的CUDA就行了,现在很多游戏本出厂都自带驱动,有驱动的就可以不用装了。我手头没有A卡的硬件环境,所以就没写A卡如何操作,GITHUB上给了两个方案,你可以看一下

2.应用程序

获取程序

首先简单讲一下这个程序的结构,程序大致分为三部分,ckpt模型包与pt包、web ui、ai运行程序。其中web ui与ai运行程序已经被社区的攻城狮们整理好发布在了github上,你可以通过直接下载压缩包,下载到本地,也可以通过GIT的clone命令拉取到本地。

GITHUB库名称

直接下载

image-20221014102610083

通过命令拉取

image-20221014102729473

复制地址后,找个文件夹,右键找到并唤出git bash使用命令拉取到本地

1
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

不过这个是全英文的,我自己也Fork了一个带中文介绍的,欢迎来star,链接

image-20221014104024712

运行软件

获取文件后运行文件里面整合好的bat文件,一键操作,两个bat选一个运行就行,上面那个参数更详细适合更有经验的人改写运行,下面那个参数比较简约,不需要太多变动可直接运行

image-20221014103138888

webui.bat

image-20221014103356742

webui-user.bat

image-20221014103425987

1
<center> 显而易见 </center>

接着就会自动下载并安装相关的python依赖,耐心等候就好。

获取ckpt包

依赖与ui环境搞完后还要去下载一个模型文件包,这个包就是之前泄露的novel ai包,现在你有两种选择

下载完后把文件丢到路径stable-diffusion-webui-master\models\Stable-diffusion里面,两个文件改成一样的名字就行;

然后再次运行webui的bat文件,没问题的话就会得到以下界面:

image-20221014111022068

然后复制下来本地url丢到浏览器,也就是http://127.0.0.1:7860丢到浏览器就行了,或者你也可以点击这里

然后你就会得到如下界面:

image-20221014111212483

现在你可以开始愉快的玩耍了

txt2img

首先是页面:

image-20221014112140912

参考

正面关键词汇 {best quality}, , {highres}, original, extremely detailed 8K wallpaper, 1girl, {an extremely delicate and beautiful},cat_girl

负面关键词汇 extra fingers,fewer digits,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,cropped,poorly drawn hands,poorly drawn face,mutation,deformed,worst quality,low quality,normal quality,jpeg artifacts,signature,watermark,lowres,bad anatomy,bad hands, text, error, missing fingers,extra digit, fewer digits, cropped, worstquality, low quality, normal quality,jpegartifacts,signature, watermark, username,blurry,bad feet,polar lowres,bad anatomy,bad hands,bad body,bad proportions,gross proportions,text,error,missing fingers,missing arms,missing legs,extra digit

把词汇输进去点击生成,然后运气好的话就会给你生成个猫娘

00367-2199126164-cat

调教方法

关键词

调教txt2img最重要的是关键词,关键词相当于召唤师的召唤术的咒语,咒语越复杂,召唤出来的法术威力越大。目前有很多人对这个咒语进行了总结,比如高阶咒语生成术。不过要注意关键词不要冲突,不然可能会生成一堆古神级别的掉SAN的遗迹。

正面关键词越详细越好,负面关键词就叠满buff就可以了,我给的参考就是叠满buff的,你可以直接拿去使用。

迭代次数

关于迭代次数的话,不是越高越好,但是低了也不行,因为不同的关键词不同的算法的收敛最优步数不一样。经过实验,作品还能过得去的一般出现在在25-80step之间,这个数字仅供参考,你可以调到最高看看是怎样的一个效果,毕竟每个人的要求都不一样。

长宽比

没有要求的话建议先512*512跑一下,这个分辨率能看得出大致轮廓的同时速度也很快。确定好喜欢的图像的具体参数后再去调整分辨率也不迟。

生成数量设置

有两个参数,一个是单次生成数量,一个是生成次数,意思也显而易见不解释了。但是要注意,生成数量十分消耗显存,例如512/512像素下4*2的生成会消耗大约6gb的显存,显卡不好的童鞋就不要过分尝试了

CFG

一个权重,低了会优先生成速度,高了会优先生成画面,建议12-17,显卡吊的请无视这个建议

SEED 种子

-1即为随机种子,当其他参数确定好后每个种子都可以生成对应的唯一的一张图片,类似于于数学函数里面的x变量

脚本

script内含社区里面的大神编写的神奇算法,具体参考社区wiki

Style

关键词风格,相当于保存下来你的关键词,使用的时候只需要选好后apply即可

img2img

带关键词的以图生图

image-20221014115827486

重构按钮

img2img的参数大致与txt2img相似只是多了下面三个选项

image-20221014120335961

这三个选项分别是

  • 直接生成
  • 按照宽高比截取部分后生成
  • 按照宽高比填充部分后生成

举个栗子

比如我们拿出一张512*512的图,当你改变原图分辨率后,长宽比肯定会变,会导致多出来或者缺少一部分,比如我们这样

image-20221014122309206 image-20221014122335990

直接生成

image-20221014122427607

Crop,明显脑袋按照宽高比被削去了

image-20221014122513054

fill,明显保留了人物在图中的比例,并且填充了一块原本没有的

image-20221014122615027

Denoising strength

image-20221014122813775

一个权重,表示图片被ai改变的程度,1即为覆盖,重新生成一张图片

举个栗子

image-20221014123034754

image-20221014123041476

image-20221014123109213

image-20221014123118253

Inpaint

你可以理解为,小部分小范围的img2img,软件只会在你标记的地方动手脚,可以用于一些带有部分瑕疵的图片的修复,Inpaint参数比较复杂,建议参考官方wiki

方便理解,举个栗子,放入图片后,拿画笔在需要修改的地方进行涂抹,比如小熊猫的脸

image-20221014123523992 image-20221014123802048 00000-3074472918-{best quality}, , {highres}, original, extremely detailed 8K wallpaper, 1girl, {an extremely delicate and beautif

玩后感

我自己玩这个软件也有两三天了也生成出了不少的好作品

image-20221014125905368

简单来讲一下使用的感受,整体来讲还是蛮震撼的(毕竟在绘画方面我就是个小白)。生成效果也是特别棒的(咒语nb的情况下)。这个ai出来后一直有一些言论在讲ai将要替代画师了,画师们要被取代了,再过几年绘画ai将会完全取代人工进行艺术职业了巴拉巴拉,我来简单讲一下我在这方面的看法。

首先呢,我认为部分画师的担忧是正确的,原来十个人的活,现在一个人就能完成了,肯定有一部分没有核心竞争力的画师将会进入一段低谷,不过估计这也是几年后的事情了。因为目前号称最强的novel ai还存在很多的问题,大的来讲比如版权争议问题,很多画师甚至生成了自家的看板娘,D站也没有给授权。还有这个ai走商业化道路的话还有及其漫长的磨合期要走。第一是这个ai虽然吃了整个D站的数据但是生成的作品仍然有很多很多的瑕疵,你可以清晰的看到你生成的角色眼睛里有个银河或者头发粘连亦或者身体结构不匀称等问题,甲方可不会轻易把钱浪费在那些瑕疵品上面。第二是就算有些作品比较完美了,但是甲方想要微调一下,比如换个首饰,换个手势之类的,目前的ai就比较难搞,还是需要人工进行调整。第三是这个ai不能生成比较复杂的创造性的画作,它只能基于它的库来不断的调取现有的元素,也就是没有所谓的创造力。第四就是,貌似只有人类能理解五彩斑斓的黑(笑)。画师这种职业本身就建立在其商业化模式之上,ai既然不能成功的大规模商业化,那就无从谈起大规模取代画师。

从另一个方面来讲,图灵老爷子提出来这个概念都多久了,novel ai的核心算法早就不知道存在了多久了,只是这次喂给这个炼丹炉的料子比较多比较好,所以产出的丹药也是比较好的。未来几年还会有第二个D站,这个人类最大的二次元库喂给它么?不会了。除非人类脑科学、神经学等方向有了突破性进展后才会有可能有重大突破。

所以呢,不必担心这玩意会取代画师,只是个辅助工具罢了。

人的创造力是生命的赞歌!


后记

因为要考研,所以我只能抽出来一点点时间来写这个文档,请见谅,后面有时间会慢慢补上剩余的部分。

忘了说了,关键词加个sex有惊喜哦(笑