写作辅助工具 - 魅魔文学家

我知道这个应该发到技术区去，但想想基本上就是给写手用的，发技术区没人看得到，所以就发这了。

那么，简单来说，放这个帖是为了介绍我自己前阵子做的一个写作辅助软件，基本上是自用的，所以可以提提意见，但不要指望会改。

功能是：
    - 文本自动补全：前向预测，比如输入「榨」，提示补全「取」「精」什么的，类似
    - 每60秒自动存档：下次开页面可以继续之前的草稿
    - 其它没了

特点是：
    - 在线：网页程序，一点即用
    - 基于深度学习（所谓AI）：模型做得一般，毕竟数据预处理估计有点问题，但暂时还算能用，懒得再摸了
    - 快速、本地：模型跑在本地，毕竟我也没那个闲钱来给大家开服务器，但是因为模型很小，所以很快，用CPU就足够了（简单来说是大概3层，1.5M的权重）
    - 对浏览器版本要求比较高，不行的就换新浏览器，最新的Chrome绝对能跑，截至目前火狐要Nightly

使用说明：
    - 按数字键插入对应的补全，和输入法差不多（但和输入法不冲突）
    - 按Tab补全首个预测

网址在这https://succubus-writer.deno.dev/，用者自取

另外，语料数据拿的是本站的小说，所以打个「郑」基本上必出「烨」，大家都懂，因此在这里向各位作者，特别是听雨大大致歉了：抱歉没有任何授权就拿去当训练数据，另外各位写得都很棒，感谢。

2025-01-14：因为浏览器支持性确实有点差，稍微改了下，应该能兼容大部分浏览器了。有反馈说不会用，所以这里给张图：

老哥我也有同样的想法，我手头还有之前grok机翻的日文m文的素材，想着能不能训练个大点的LLM，拿Qwen2.5-7B 或者 3B 做base 有兴趣可以合作

hupuuser456：↑老哥我也有同样的想法，我手头还有之前grok机翻的日文m文的素材，想着能不能训练个大点的LLM，拿Qwen2.5-7B 或者 3B 做base  有兴趣可以合作

很乐意合作，但有几点我提下：
    - 这个是用的深度学习网络，但不是用的LLM
    - 这个不是给文本指示（如：请补全下面的文本xxxx）让网络生成预测，也不是使用通用的文本transformer（比如用BERT进行掩码生成），而是直接训练一个生成预测的网络，目前使用的是单层LSTM为基础的网络

而我的最终目标是这几点：
    - 即开即用，也就是说，模型不能太大，且能在网页运行
    - 使用本机算力，确切的说，我想要模型达到至少每秒100次预测（在CPU上，或者WebDNN库的2.0出来后，在WebGL上）

然后因为你说的比较模糊，我来帮你澄清下：

实现文本预测大致上有以下几种方法：

1 使用无监管LLM输入指示来完成，小说翻译界的sakura模型就是这样，如果是指这个方向，那抱歉，我觉得不太行，因为模型太大了（参数量在千兆以上），基本上不可能在浏览器本地跑，所以你说的qwen2.5是肯定不行的
2 使用BERT网络执行分类预测来完成，qwen等等大多数LLM使用的输入感知都是这种网络，但这个方向的话我觉得也不太行，印象中各类BERT的参数量都在百兆以上，还是太大了
3 手工搓网络，现在就是这个方法，顺带一提我是用pytorch搓的，参数量大概是一兆

所以如果能接受手工搓网络，手工做预处理，想研究这些的话，我很欢迎

另外，深度学习方面我是最近刚学的，基本上是新手，如果有谬误或者我没想到的解决方法就尽管提吧

ps：这个号是我主号，勿见怪

才5小时就打不开网站了，翻不翻墙都一个结果，一片空白。”打个「郑」基本上必出「烨」“的原因是什么？能说明一下吗？

抖M伪娘3：↑才5小时就打不开网站了，翻不翻墙都一个结果，一片空白。”打个「郑」基本上必出「烨」“的原因是什么？能说明一下吗？

本来就是空白，点一下就可以输入了，整个页面就是文本框，因为没什么装饰可能看上去和空白页差不多，另外如果点了没有输入光标出现就是浏览器不行。

还有虽然可以可以说明，但真的很冷诶，简单来说，训练数据里面有听雨大大的魅魔学院的反逆者，里面的主人公是「郑烨」，所以这个词的词频很高，就是这样，嘛，虽然直接讲出来不是什么有趣的事。。。

2025-01-17：更新界面，设置页面，帮助页面，优化体验，可选模型，新模型使用Transformer

2025-01-18：更新模型，使用 GPT-2（参数量为 1.5M），稍微慢些，但效果更好。（之前使用过的用户请打开设置页面重新选择模型）

ps：因为无法使用WebGL加速，只能使用WASM，桌面端使用火狐最快（大概比谷歌以及各种国内浏览器快70%）。