(不是广告！）用本地大语言模型写h小说的办法。全部是开源模型和软件，自己去下载就行。不联网，不收费。
强调一下，全部是免费软件，不会涉及任何付费充值等东西，文件等都是在github或者huggingface等著名开源网站分享的，我只是转载他们下载地址。
做这个教程主要是我m系待得久了，一直白嫖大佬们的文，自己又不会写，做个教程多多少少算给论坛做点贡献吧。
首先强调一下，这个本地大语言模型是需要电脑有一定的配置的，尤其是对显卡的显存有一定要求。我自己的配置是12g显卡显存加32g内存，我个人建议是显卡显存至少8g才能比较流畅的玩。如果配置没达到要求可以玩收费的在线大模型，例如chub.ai等，这个我就不多介绍了。
然后本地大语言模型我主要推荐有中文对话能力的模型，因为说实话英文模型本地无论如何都不如收费的网上模型gpt claude等。
模型使用软件我教程推荐的是oobabooga（其实应该叫text-generation-webui
，我乌龙了，前面那是作者名字），虽然是英文软件但挺小白的，下载模型和聊天配置等都比较方便。如果你是编程大佬当我没说，想用啥都行，
做这个教程主要是我m系待得久了，一直白嫖大佬们的文，自己又不会写，做个教程多多少少算给论坛做点贡献吧。
首先强调一下，这个本地大语言模型是需要电脑有一定的配置的，尤其是对显卡的显存有一定要求。我自己的配置是12g显卡显存加32g内存，我个人建议是显卡显存至少8g才能比较流畅的玩。如果配置没达到要求可以玩收费的在线大模型，例如chub.ai等，这个我就不多介绍了。
然后本地大语言模型我主要推荐有中文对话能力的模型，因为说实话英文模型本地无论如何都不如收费的网上模型gpt claude等。
模型使用软件我教程推荐的是oobabooga（其实应该叫text-generation-webui
，我乌龙了，前面那是作者名字），虽然是英文软件但挺小白的，下载模型和聊天配置等都比较方便。如果你是编程大佬当我没说，想用啥都行，
首先随便介绍两句本地大语言模型，gpt大家想必都了解了，本地大语言模型你可以理解成在个人电脑上运行的，迷你版的，不需要联网的gpt。
相比gpt,claude等模型，本地大语言模型劣势肯定是因为规模小，知识面，逻辑能力，对于长文本理解能力等差了许多，毕竟一个在几百万的服务器上运行，一个最多在几万的电脑上运行。
那么相比gpt，本地模型（在写h文上）优势是：1、许多本地大语言模型是无审查的，例如gpt会在写色情暴力等nsfw内容时拒绝回答，要骗过gpt生成这些内容非常麻烦，但本地模型完全没有这些顾虑，想写啥就写啥。2、很多本地模型例如我推荐的gemma2等，中文能力我觉得是不输给甚至超越gpt等模型的，也就是省略了你玩gpt还要英文输入输出再翻译成中文的麻烦。3、本地模型部署完成之后就不联网，不收费。因为是开源模型，所以你从下载模型到玩，除了电脑电费什么都不需要。4、现在本地开源模型更新的非常快，能体会到各种各有特色的模型。
相比gpt,claude等模型，本地大语言模型劣势肯定是因为规模小，知识面，逻辑能力，对于长文本理解能力等差了许多，毕竟一个在几百万的服务器上运行，一个最多在几万的电脑上运行。
那么相比gpt，本地模型（在写h文上）优势是：1、许多本地大语言模型是无审查的，例如gpt会在写色情暴力等nsfw内容时拒绝回答，要骗过gpt生成这些内容非常麻烦，但本地模型完全没有这些顾虑，想写啥就写啥。2、很多本地模型例如我推荐的gemma2等，中文能力我觉得是不输给甚至超越gpt等模型的，也就是省略了你玩gpt还要英文输入输出再翻译成中文的麻烦。3、本地模型部署完成之后就不联网，不收费。因为是开源模型，所以你从下载模型到玩，除了电脑电费什么都不需要。4、现在本地开源模型更新的非常快，能体会到各种各有特色的模型。
首先介绍一下https://github.com/oobabooga/text-generation-webui，这个软件。我作为小白很推荐的大模型软件，简单易用，对话，管理人物卡，下载和部署大模型都很方便。而且第一次安装能帮你一键配置好环境。
下载地址就在刚刚的github主页中，不过我怕有人找不到就复制一下https://github.com/oobabooga/text-generation-webui/archive/refs/heads/main.zip
如何安装也在第一行的网址中有教程，简单来说就是文件解压到自己想安装的位置（所有路径必须是纯英文并且不要带特殊符号，否则有可能安装失败！我个人推荐纯英文加空格），然后在全程开启全局vpn的情况下（很重要，否则会下载失败），点击对应操作系统的初次启动文件（win就点start_windows.bat，以此类推），跟着提示选择显卡信息等，然后等待各种配置文件安装完成。
配置完成后，点击start_自己的操作系统这个文件，之后进入http://localhost:7860，就代表成功。
关于这个软件的具体介绍我推荐B站大佬的视频【oobabooga-text-generation-webui 选项与UI具体详解：简介部分-哔哩哔哩】 https://b23.tv/majvpIw，目前可以说我见过的最详细的视频教程。
下载地址就在刚刚的github主页中，不过我怕有人找不到就复制一下https://github.com/oobabooga/text-generation-webui/archive/refs/heads/main.zip
如何安装也在第一行的网址中有教程，简单来说就是文件解压到自己想安装的位置（所有路径必须是纯英文并且不要带特殊符号，否则有可能安装失败！我个人推荐纯英文加空格），然后在全程开启全局vpn的情况下（很重要，否则会下载失败），点击对应操作系统的初次启动文件（win就点start_windows.bat，以此类推），跟着提示选择显卡信息等，然后等待各种配置文件安装完成。
配置完成后，点击start_自己的操作系统这个文件，之后进入http://localhost:7860，就代表成功。
关于这个软件的具体介绍我推荐B站大佬的视频【oobabooga-text-generation-webui 选项与UI具体详解：简介部分-哔哩哔哩】 https://b23.tv/majvpIw，目前可以说我见过的最详细的视频教程。
软件弄好了，接下来就是选择对应模型。我一般是在hugging face上找模型，然后目前中文能力，大小和无审查方面结合的最好的个人觉得还是gemma2 9b
这里是量化gguf模式的下载地址，根据自己电脑的配置选择一个gguf文件，下载到对应models文件夹就可以。这里面不同的gguf是量化程度不同，简单来说就是Q后面数字越小，那么精度就越低，效果相对差一些但配置要求也宽松的多。我个人建议是选择比自己显存稍微小一些的gguf进行加载。虽然gguf格式在超出显存容量后也能用内存进行加载，但是因为硬件原因会导致生成速度非常慢。
下载地址https://huggingface.co/mradermacher/gemma-2-9b-it-SimPO-GGUF/tree/main
下载之后复制到text-generation-webui
所在文件夹中models文件夹内，然后打开text-generation-webui
，model栏选择上方选择对应模型，点击load，显示加载成功的话就可以进行对话了。
具体对话可以参考上面发的大佬视频教程，简单来说对话有三个模式，chat模式只会看前后文和你写的任务卡，chat-instruction模式两者都看，instruct模式只看instruction的指令
这里是量化gguf模式的下载地址，根据自己电脑的配置选择一个gguf文件，下载到对应models文件夹就可以。这里面不同的gguf是量化程度不同，简单来说就是Q后面数字越小，那么精度就越低，效果相对差一些但配置要求也宽松的多。我个人建议是选择比自己显存稍微小一些的gguf进行加载。虽然gguf格式在超出显存容量后也能用内存进行加载，但是因为硬件原因会导致生成速度非常慢。
下载地址https://huggingface.co/mradermacher/gemma-2-9b-it-SimPO-GGUF/tree/main
下载之后复制到text-generation-webui
所在文件夹中models文件夹内，然后打开text-generation-webui
，model栏选择上方选择对应模型，点击load，显示加载成功的话就可以进行对话了。
具体对话可以参考上面发的大佬视频教程，简单来说对话有三个模式，chat模式只会看前后文和你写的任务卡，chat-instruction模式两者都看，instruct模式只看instruction的指令
顺带一提写一下最近发现的新模型吧，都是hugging face搜名字搜得到，记得下gguf版本。
MaziyarPanahi/Mistral-Nemo-Instruct-2407-GGUF目前效果最好的，比gemma2还灵动一些
mradermacher/Qwen2-7B-Multilingual-RP-GGUF 效果稍差但在小模型里出类拔萃，适合配置稍微低一些的电脑。
MaziyarPanahi/Mistral-Nemo-Instruct-2407-GGUF目前效果最好的，比gemma2还灵动一些
mradermacher/Qwen2-7B-Multilingual-RP-GGUF 效果稍差但在小模型里出类拔萃，适合配置稍微低一些的电脑。
笔记本4g的3060+i711800H能运带动后边这个小模型不，现在就这条件了
大佬，我在单位薅公家羊毛自己搭了个qwen2的70b，用的vllm，虽然是本地搭载的，但是可以搞成兼容openai的api的格式的局域网api输出，这个写作软件能不能用这种api啊。
CorelPainter：↑笔记本4g的3060+i711800H能运带动后边这个小模型不，现在就这条件了理论上可以，因为gguf格式下，显存不够时可以加载进内存。缺点是加内存的越多跑的越慢，因为跑模型cpu是远不如gpu的。
反正那个7b模型的gguf你去https://huggingface.co/mradermacher/Qwen2-7B-Multilingual-RP-i1-GGUF/tree/main，点开里面files and visions里面找，后缀IQ加数字，数字越小模型压缩越厉害，占用显存越小，代价是智商也会略微下降。你可以选个比如IQ3之类三点几个G大小的试试能不能跑得动，然后觉得太卡就换更小的，然后测试选择一个模型智商和生成速度之间的平衡点。（顺便oobabooga里models选项卡里底下前后文也可以调小一点，有助于节约模型占用）。
不过这个配置老实讲我更推荐玩在线的比如chub ai，或者silly tavern之类，虽然要付钱就是。但老实讲现在的模型就是越大越厉害，看个人吧，你觉得能接受就行。小模型你把提示词和参数搞好其实生成的也不差的，所以这方面可以去我发的B站那个视频教程深入学习一下。
CorelPainter：↑笔记本4g的3060+i711800H能运带动后边这个小模型不，现在就这条件了反正说这么多嗯看个人吧，能接受付钱的网上有接口，不过酒馆这种教程一大把（因为可以赚钱）所以我也不用多提，去随便搜搜就行。
mmhsdxwdxx01：↑大佬，我在单位薅公家羊毛自己搭了个qwen2的70b，用的vllm，虽然是本地搭载的，但是可以搞成兼容openai的api的格式的局域网api输出，这个写作软件能不能用这种api啊。emmmm这玩意主要是个模型加载器，你已经有现成api了我更推荐酒馆silly tavern,也能写作能玩角色扮演，功能更齐全丰富还有汉化。网上教程也是一大把。什么世界书啊，人物介绍啊换背景什么的各种方便功能。
那玩意我没讲是因为酒馆自己只是个写作工具，还是需要外部的大语言模型api，要用网上的模型要付钱，要本地模型依旧得用我介绍的这玩意或者其他启动器生成api给酒馆。但你既然已经有现成的api了那不是无所谓了，直接用呗。
或者chub ai虽然也是在线网站但也可以用自己接口，操作比酒馆简单些。虽然只有对话模式不过提示词那里给ai下指令说要扮演色情小说生成器给前文写后文应该就可以了
jtyy222：↑啊，sillytravern，个人安利一下谷歌的模型gemini：https://aistudio.google.com/app/apikeyCorelPainter：↑笔记本4g的3060+i711800H能运带动后边这个小模型不，现在就这条件了理论上可以，因为gguf格式下，显存不够时可以加载进内存。缺点是加内存的越多跑的越慢，因为跑模型cpu是远不如gpu的。
反正那个7b模型的gguf你去https://huggingface.co/mradermacher/Qwen2-7B-Multilingual-RP-i1-GGUF/tree/main，点开里面files and visions里面找，后缀IQ加数字，数字越小模型压缩越厉害，占用显存越小，代价是智商也会略微下降。你可以选个比如IQ3之类三点几个G大小的试试能不能跑得动，然后觉得太卡就换更小的，然后测试选择一个模型智商和生成速度之间的平衡点。（顺便oobabooga里models选项卡里底下前后文也可以调小一点，有助于节约模型占用）。
不过这个配置老实讲我更推荐玩在线的比如chub ai，或者silly tavern之类，虽然要付钱就是。但老实讲现在的模型就是越大越厉害，看个人吧，你觉得能接受就行。小模型你把提示词和参数搞好其实生成的也不差的，所以这方面可以去我发的B站那个视频教程深入学习一下。
免费，速度快，没有消息数量限制，上限不低（我用小谷破线，很舒服），操作方便（有谷歌账号就可以直接拿api)
简直是一股清流了，谷歌，在酒馆能用的模型里面（我已知的范围），免费的没它能打，比它强的都付费或者麻烦。不过它写不好黄金圣水的具体描写(悲），我现在在想办法做个提升这方面文笔的世界书（新建文件夹阶段）
jtyy222：↑确实，天杀的A社还在不断提升破线的难度，嗯。gemini好像对涩涩本身没有限制，(额，好像特别变态的会被禁止输出），不过它的文笔还是要好点的预设才能发挥，比起claude要差些（但免费啊），个人在用类脑某位大佬的“小谷003正式版”明天七夕节：↑简直是一股清流了，谷歌，在酒馆能用的模型里面（我已知的范围），免费的没它能打，比它强的都付费或者麻烦。不过它写不好黄金圣水的具体描写(悲），我现在在想办法做个提升这方面文笔的世界书（新建文件夹阶段）谢谢推荐，我现在开始玩本地模型主要就是在线的道德防线越来越强了，4o最新版和claude3.5明显比前面版本加强了拒绝底线，可以遇见的后面还会越来越强。本地模型就没这顾虑，逆来顺受的。（而且收费是真贵，玩Claude看着自己api后台的花费，每句话都是钱啊）。
目前长上下文和长生成还得看在线模型，本地模型确实写小黄文可以胜任，要玩长篇角色扮演或者长文，还是太勉强了。
https://www.mediafire.com/file/mot2v4fkoh8l523/%25E5%25B0%258F%25E8%25B0%25B7003%25E6%25AD%25A3%25E5%25BC%258F%25E7%2589%2588.json/file
有兴趣可以试下