(不是广告！）用本地大语言模型写h小说的办法。全部是开源模型和软件，自己去下载就行。不联网，不收费。
只显示明天七夕节的文章。显示全部
jtyy222：↑啊，sillytravern，个人安利一下谷歌的模型gemini：https://aistudio.google.com/app/apikeyCorelPainter：↑笔记本4g的3060+i711800H能运带动后边这个小模型不，现在就这条件了理论上可以，因为gguf格式下，显存不够时可以加载进内存。缺点是加内存的越多跑的越慢，因为跑模型cpu是远不如gpu的。
反正那个7b模型的gguf你去https://huggingface.co/mradermacher/Qwen2-7B-Multilingual-RP-i1-GGUF/tree/main，点开里面files and visions里面找，后缀IQ加数字，数字越小模型压缩越厉害，占用显存越小，代价是智商也会略微下降。你可以选个比如IQ3之类三点几个G大小的试试能不能跑得动，然后觉得太卡就换更小的，然后测试选择一个模型智商和生成速度之间的平衡点。（顺便oobabooga里models选项卡里底下前后文也可以调小一点，有助于节约模型占用）。
不过这个配置老实讲我更推荐玩在线的比如chub ai，或者silly tavern之类，虽然要付钱就是。但老实讲现在的模型就是越大越厉害，看个人吧，你觉得能接受就行。小模型你把提示词和参数搞好其实生成的也不差的，所以这方面可以去我发的B站那个视频教程深入学习一下。
免费，速度快，没有消息数量限制，上限不低（我用小谷破线，很舒服），操作方便（有谷歌账号就可以直接拿api)
简直是一股清流了，谷歌，在酒馆能用的模型里面（我已知的范围），免费的没它能打，比它强的都付费或者麻烦。不过它写不好黄金圣水的具体描写(悲），我现在在想办法做个提升这方面文笔的世界书（新建文件夹阶段）
jtyy222：↑确实，天杀的A社还在不断提升破线的难度，嗯。gemini好像对涩涩本身没有限制，(额，好像特别变态的会被禁止输出），不过它的文笔还是要好点的预设才能发挥，比起claude要差些（但免费啊），个人在用类脑某位大佬的“小谷003正式版”明天七夕节：↑简直是一股清流了，谷歌，在酒馆能用的模型里面（我已知的范围），免费的没它能打，比它强的都付费或者麻烦。不过它写不好黄金圣水的具体描写(悲），我现在在想办法做个提升这方面文笔的世界书（新建文件夹阶段）谢谢推荐，我现在开始玩本地模型主要就是在线的道德防线越来越强了，4o最新版和claude3.5明显比前面版本加强了拒绝底线，可以遇见的后面还会越来越强。本地模型就没这顾虑，逆来顺受的。（而且收费是真贵，玩Claude看着自己api后台的花费，每句话都是钱啊）。
目前长上下文和长生成还得看在线模型，本地模型确实写小黄文可以胜任，要玩长篇角色扮演或者长文，还是太勉强了。
https://www.mediafire.com/file/mot2v4fkoh8l523/%25E5%25B0%258F%25E8%25B0%25B7003%25E6%25AD%25A3%25E5%25BC%258F%25E7%2589%2588.json/file
有兴趣可以试下