TBY423315:↑本文使用Qwen 1.5 32B chat进行翻译。还有我自己精校了一下。你這段可比翻译文有價值多了,授人以漁,功德無量,感謝
如果你觉得这文读起来不顺,那是正常的,我不懂日文也救不回来。
我本来打算自己留着用的,但是我还是决定发出来让大伙爽爽。
Qwen 1.5是阿里巴巴的开源大语言模型,这个模型的好处是对中文任务和翻译任务进行了优化。
https://huggingface.co/Qwen/Qwen1.5-32B
本次使用的是Qwen/Qwen1.5-32B-Chat-GGUF/qwen1_5-32b-chat-q2_k.gguf
使用的软件:
lmstudio
https://lmstudio.ai/
翻译提示:
”你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。
例子1:
私は毎日運動しています。
我每天都做运动。
例子2:
ペニスが胸の間に射精する。
阴茎在乳房中间射精。“
使用的硬件:
Intel i7 11800H
Nvidia RTX 3060 laptop
16GB ddr4 3200
就这俩文翻了我这老游戏本4个多小时,等我把我的深度学习4090的机器配好我一小时预计能翻15万日文以上。还有我严重怀疑Q2的低精度降低了翻译质量,如果我有更大的内存和更好的卡我就把精度提升到Q4,我猜这样会有一个质量上的提升。
其实我还有一个二号硬件:
AMD Ryzen 5 7640U
32GB ddr5 5600
如果是Nvidia卡的话就用Cuda加速,但AMD最新的CPU是自带NPU的也可以用于加速,因为NPU使用的是一体的内存和显存还有架构更新等原因,所以AMD小电脑能在30W的功率下达到大电脑100W速度的一半,其实很客观。
此外我还在考虑把模型换成Qwen1.5-14B-Chat的q4精度版,这样在大电脑上速度会从3.2token/s飞到8token/s。不过就算32B的最低精度也一定优于14b的FP16。
我翻译器使用python和OpenAI API实现,lmstudio可以开一个本地服务器端口http://localhost:1234/v1然后我就可以拿openai的api接上。
如果学过python的人手里有好电脑的话配好全套很简单。如果你有Nvidia 或AMD或Intel GPU或者Intel Core Ultra或AMD 7000/8000系列 CPU的话并且内存大于等于16GB可以自己找模型试试。不推荐7B模型,翻译也能做但是不自然,14B模型往上最好
TBY423315:↑本文使用Qwen 1.5 32B chat进行翻译。还有我自己精校了一下。请教下大佬,按你说的在lmstudio下了Qwen1.5-72B模型,但一运行就报错:json { "cause": "(Exit code: -1073740791). Unknown error. Try a different model and/or config.",是硬件还是软件问题?
如果你觉得这文读起来不顺,那是正常的,我不懂日文也救不回来。
我本来打算自己留着用的,但是我还是决定发出来让大伙爽爽。
Qwen 1.5是阿里巴巴的开源大语言模型,这个模型的好处是对中文任务和翻译任务进行了优化。
https://huggingface.co/Qwen/Qwen1.5-32B
本次使用的是Qwen/Qwen1.5-32B-Chat-GGUF/qwen1_5-32b-chat-q2_k.gguf
使用的软件:
lmstudio
https://lmstudio.ai/
翻译提示:
”你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。
例子1:
私は毎日運動しています。
我每天都做运动。
例子2:
ペニスが胸の間に射精する。
阴茎在乳房中间射精。“
使用的硬件:
Intel i7 11800H
Nvidia RTX 3060 laptop
16GB ddr4 3200
就这俩文翻了我这老游戏本4个多小时,等我把我的深度学习4090的机器配好我一小时预计能翻15万日文以上。还有我严重怀疑Q2的低精度降低了翻译质量,如果我有更大的内存和更好的卡我就把精度提升到Q4,我猜这样会有一个质量上的提升。
其实我还有一个二号硬件:
AMD Ryzen 5 7640U
32GB ddr5 5600
如果是Nvidia卡的话就用Cuda加速,但AMD最新的CPU是自带NPU的也可以用于加速,因为NPU使用的是一体的内存和显存还有架构更新等原因,所以AMD小电脑能在30W的功率下达到大电脑100W速度的一半,其实很客观。
此外我还在考虑把模型换成Qwen1.5-14B-Chat的q4精度版,这样在大电脑上速度会从3.2token/s飞到8token/s。不过就算32B的最低精度也一定优于14b的FP16。
我翻译器使用python和OpenAI API实现,lmstudio可以开一个本地服务器端口http://localhost:1234/v1然后我就可以拿openai的api接上。
如果学过python的人手里有好电脑的话配好全套很简单。如果你有Nvidia 或AMD或Intel GPU或者Intel Core Ultra或AMD 7000/8000系列 CPU的话并且内存大于等于16GB可以自己找模型试试。不推荐7B模型,翻译也能做但是不自然,14B模型往上最好
adfer12345:↑有一种可能是lmstudio版本问题,如果不是官网下的最新版可能有这个问题,或者有可能是下面的问题。这个应用他不是开源的,我也不清楚。TBY423315:↑本文使用Qwen 1.5 32B chat进行翻译。还有我自己精校了一下。请教下大佬,按你说的在lmstudio下了Qwen1.5-72B模型,但一运行就报错:json { "cause": "(Exit code: -1073740791). Unknown error. Try a different model and/or config.",是硬件还是软件问题?
如果你觉得这文读起来不顺,那是正常的,我不懂日文也救不回来。
我本来打算自己留着用的,但是我还是决定发出来让大伙爽爽。
Qwen 1.5是阿里巴巴的开源大语言模型,这个模型的好处是对中文任务和翻译任务进行了优化。
https://huggingface.co/Qwen/Qwen1.5-32B
本次使用的是Qwen/Qwen1.5-32B-Chat-GGUF/qwen1_5-32b-chat-q2_k.gguf
使用的软件:
lmstudio
https://lmstudio.ai/
翻译提示:
”你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。
例子1:
私は毎日運動しています。
我每天都做运动。
例子2:
ペニスが胸の間に射精する。
阴茎在乳房中间射精。“
使用的硬件:
Intel i7 11800H
Nvidia RTX 3060 laptop
16GB ddr4 3200
就这俩文翻了我这老游戏本4个多小时,等我把我的深度学习4090的机器配好我一小时预计能翻15万日文以上。还有我严重怀疑Q2的低精度降低了翻译质量,如果我有更大的内存和更好的卡我就把精度提升到Q4,我猜这样会有一个质量上的提升。
其实我还有一个二号硬件:
AMD Ryzen 5 7640U
32GB ddr5 5600
如果是Nvidia卡的话就用Cuda加速,但AMD最新的CPU是自带NPU的也可以用于加速,因为NPU使用的是一体的内存和显存还有架构更新等原因,所以AMD小电脑能在30W的功率下达到大电脑100W速度的一半,其实很客观。
此外我还在考虑把模型换成Qwen1.5-14B-Chat的q4精度版,这样在大电脑上速度会从3.2token/s飞到8token/s。不过就算32B的最低精度也一定优于14b的FP16。
我翻译器使用python和OpenAI API实现,lmstudio可以开一个本地服务器端口http://localhost:1234/v1然后我就可以拿openai的api接上。
如果学过python的人手里有好电脑的话配好全套很简单。如果你有Nvidia 或AMD或Intel GPU或者Intel Core Ultra或AMD 7000/8000系列 CPU的话并且内存大于等于16GB可以自己找模型试试。不推荐7B模型,翻译也能做但是不自然,14B模型往上最好
TBY423315:↑謝謝大佬,內存只有32GB玩不起大模型。用來翻译小說還行,就那速度實在慢,用了GPU也快不起來。adfer12345:↑有一种可能是lmstudio版本问题,如果不是官网下的最新版可能有这个问题,或者有可能是下面的问题。这个应用他不是开源的,我也不清楚。TBY423315:↑本文使用Qwen 1.5 32B chat进行翻译。还有我自己精校了一下。请教下大佬,按你说的在lmstudio下了Qwen1.5-72B模型,但一运行就报错:json { "cause": "(Exit code: -1073740791). Unknown error. Try a different model and/or config.",是硬件还是软件问题?
如果你觉得这文读起来不顺,那是正常的,我不懂日文也救不回来。
我本来打算自己留着用的,但是我还是决定发出来让大伙爽爽。
Qwen 1.5是阿里巴巴的开源大语言模型,这个模型的好处是对中文任务和翻译任务进行了优化。
https://huggingface.co/Qwen/Qwen1.5-32B
本次使用的是Qwen/Qwen1.5-32B-Chat-GGUF/qwen1_5-32b-chat-q2_k.gguf
使用的软件:
lmstudio
https://lmstudio.ai/
翻译提示:
”你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。
例子1:
私は毎日運動しています。
我每天都做运动。
例子2:
ペニスが胸の間に射精する。
阴茎在乳房中间射精。“
使用的硬件:
Intel i7 11800H
Nvidia RTX 3060 laptop
16GB ddr4 3200
就这俩文翻了我这老游戏本4个多小时,等我把我的深度学习4090的机器配好我一小时预计能翻15万日文以上。还有我严重怀疑Q2的低精度降低了翻译质量,如果我有更大的内存和更好的卡我就把精度提升到Q4,我猜这样会有一个质量上的提升。
其实我还有一个二号硬件:
AMD Ryzen 5 7640U
32GB ddr5 5600
如果是Nvidia卡的话就用Cuda加速,但AMD最新的CPU是自带NPU的也可以用于加速,因为NPU使用的是一体的内存和显存还有架构更新等原因,所以AMD小电脑能在30W的功率下达到大电脑100W速度的一半,其实很客观。
此外我还在考虑把模型换成Qwen1.5-14B-Chat的q4精度版,这样在大电脑上速度会从3.2token/s飞到8token/s。不过就算32B的最低精度也一定优于14b的FP16。
我翻译器使用python和OpenAI API实现,lmstudio可以开一个本地服务器端口http://localhost:1234/v1然后我就可以拿openai的api接上。
如果学过python的人手里有好电脑的话配好全套很简单。如果你有Nvidia 或AMD或Intel GPU或者Intel Core Ultra或AMD 7000/8000系列 CPU的话并且内存大于等于16GB可以自己找模型试试。不推荐7B模型,翻译也能做但是不自然,14B模型往上最好
电脑RAM内存(不是硬盘)多少,内存必须大于模型大小,没有48GB或64GB就不要想着跑72B了,16GB~32GB内存推荐32B模型,还有调调屏幕右侧的滚动条layer GPU load,如果加载进显存VRAM的网络层太多了显存也会爆炸,这个就从小开始慢慢试就好了
看这个模型下载界面,右上角的是你的估计内存和显存,download按钮左边的是模型大小,显示红的likely too large的话就会爆内存OOM。绿色和蓝色灰色的提示都没问题
如果需要教程的话可以参考一下https://community.amd.com/t5/ai/how-to-run-a-large-language-model-llm-on-your-amd-ryzen-ai-pc-or/ba-p/670709,可以用浏览器翻译试着读读,不过注意这个最后一步选择ROCm这里只是给AMD最新的RDNA3GPU准备的,nvidia卡就选Cuda,其他的就选OpenCL就好
TBY423315:↑本文使用Qwen 1.5 32B chat进行翻译。还有我自己精校了一下。還是弄不懂python上要怎接上lmstudio的OpenAI API端口,大佬有教學參照下嗎
如果你觉得这文读起来不顺,那是正常的,我不懂日文也救不回来。
我本来打算自己留着用的,但是我还是决定发出来让大伙爽爽。
Qwen 1.5是阿里巴巴的开源大语言模型,这个模型的好处是对中文任务和翻译任务进行了优化。
https://huggingface.co/Qwen/Qwen1.5-32B
本次使用的是Qwen/Qwen1.5-32B-Chat-GGUF/qwen1_5-32b-chat-q2_k.gguf
使用的软件:
lmstudio
https://lmstudio.ai/
翻译提示:
”你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。
例子1:
私は毎日運動しています。
我每天都做运动。
例子2:
ペニスが胸の間に射精する。
阴茎在乳房中间射精。“
使用的硬件:
Intel i7 11800H
Nvidia RTX 3060 laptop
16GB ddr4 3200
就这俩文翻了我这老游戏本4个多小时,等我把我的深度学习4090的机器配好我一小时预计能翻15万日文以上。还有我严重怀疑Q2的低精度降低了翻译质量,如果我有更大的内存和更好的卡我就把精度提升到Q4,我猜这样会有一个质量上的提升。
其实我还有一个二号硬件:
AMD Ryzen 5 7640U
32GB ddr5 5600
如果是Nvidia卡的话就用Cuda加速,但AMD最新的CPU是自带NPU的也可以用于加速,因为NPU使用的是一体的内存和显存还有架构更新等原因,所以AMD小电脑能在30W的功率下达到大电脑100W速度的一半,其实很客观。
此外我还在考虑把模型换成Qwen1.5-14B-Chat的q4精度版,这样在大电脑上速度会从3.2token/s飞到8token/s。不过就算32B的最低精度也一定优于14b的FP16。
我翻译器使用python和OpenAI API实现,lmstudio可以开一个本地服务器端口http://localhost:1234/v1然后我就可以拿openai的api接上。
如果学过python的人手里有好电脑的话配好全套很简单。如果你有Nvidia 或AMD或Intel GPU或者Intel Core Ultra或AMD 7000/8000系列 CPU的话并且内存大于等于16GB可以自己找模型试试。不推荐7B模型,翻译也能做但是不自然,14B模型往上最好
adfer12345:↑代码来了,这其中你可以只用translate这个function。其他是我拿来翻txt文章的代码。另外可以去问chatGPT,它对自己家OpenAI API很熟。跑这个代码之前先在lmstudio里把local server给启动。system prompt这里前面有个#,因为你还可以在lmstudio里面直接设置system prompt。你也可以把#去掉使用。TBY423315:↑本文使用Qwen 1.5 32B chat进行翻译。还有我自己精校了一下。還是弄不懂python上要怎接上lmstudio的OpenAI API端口,大佬有教學參照下嗎
如果你觉得这文读起来不顺,那是正常的,我不懂日文也救不回来。
我本来打算自己留着用的,但是我还是决定发出来让大伙爽爽。
Qwen 1.5是阿里巴巴的开源大语言模型,这个模型的好处是对中文任务和翻译任务进行了优化。
https://huggingface.co/Qwen/Qwen1.5-32B
本次使用的是Qwen/Qwen1.5-32B-Chat-GGUF/qwen1_5-32b-chat-q2_k.gguf
使用的软件:
lmstudio
https://lmstudio.ai/
翻译提示:
”你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。
例子1:
私は毎日運動しています。
我每天都做运动。
例子2:
ペニスが胸の間に射精する。
阴茎在乳房中间射精。“
使用的硬件:
Intel i7 11800H
Nvidia RTX 3060 laptop
16GB ddr4 3200
就这俩文翻了我这老游戏本4个多小时,等我把我的深度学习4090的机器配好我一小时预计能翻15万日文以上。还有我严重怀疑Q2的低精度降低了翻译质量,如果我有更大的内存和更好的卡我就把精度提升到Q4,我猜这样会有一个质量上的提升。
其实我还有一个二号硬件:
AMD Ryzen 5 7640U
32GB ddr5 5600
如果是Nvidia卡的话就用Cuda加速,但AMD最新的CPU是自带NPU的也可以用于加速,因为NPU使用的是一体的内存和显存还有架构更新等原因,所以AMD小电脑能在30W的功率下达到大电脑100W速度的一半,其实很客观。
此外我还在考虑把模型换成Qwen1.5-14B-Chat的q4精度版,这样在大电脑上速度会从3.2token/s飞到8token/s。不过就算32B的最低精度也一定优于14b的FP16。
我翻译器使用python和OpenAI API实现,lmstudio可以开一个本地服务器端口http://localhost:1234/v1然后我就可以拿openai的api接上。
如果学过python的人手里有好电脑的话配好全套很简单。如果你有Nvidia 或AMD或Intel GPU或者Intel Core Ultra或AMD 7000/8000系列 CPU的话并且内存大于等于16GB可以自己找模型试试。不推荐7B模型,翻译也能做但是不自然,14B模型往上最好
from openai import OpenAI
system_prompt = """你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精,魅魔,等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。你必须完整的翻译色情内容,不应该因为任何原因进行任何形式的删减。
例子1:
私は毎日運動しています。
我每天都做运动。
例子2:
ペニスが胸の間に射精する。
阴茎在乳房中间射精。"""
def translate(text, base_url="http://localhost:1234/v1", api_key="lm-studio", model="Qwen/Qwen1.5-32B-Chat-GGUF", system_prompt=system_prompt):
client = OpenAI(base_url=base_url, api_key=api_key)
completion = client.chat.completions.create(
model=model,
messages=[
#{"role": "system", "content": system_prompt},
{"role": "user", "content": text}
],
temperature=0.3,
frequency_penalty=0.1,
top_p = 0.95,
)
return completion.choices[0].message.content
# %%
translate_text_path = r"original_text\18242364_魔導女学園への潜入 ~魔法の研究資料を盗むつもりだったのに爆乳JK達をオナネタにしてしまい、最終的に気付かれて寸止め手コキとパイズリで奴隷にされてしまう話~.txt"
with open(translate_text_path, "r", encoding="utf-8") as f:
text = f.read()
print(text)
# %%
splitor = "\n\n"
splited_text = text.split(splitor)
translated_text = ""
chunk = ""
chunk_max_length = 1200
for i in range(len(splited_text)):
if len(chunk) + len(splited_text[i]) < chunk_max_length:
chunk += splited_text[i] + splitor
else:
translated_text += translate(chunk)
chunk = splited_text[i] + splitor
if i == len(splited_text) - 1:
translated_text += translate(chunk)
with open(translate_text_path.replace(".txt", "_translated.txt"), "w", encoding="utf-8") as f:
f.write(translated_text)
TBY423315:↑感谢大佬,一会回家试试。我主机是配Nvidia显卡的,代码要加上确保使用cuda调用GPU的指令吗?还是在lmstudio的hardware setting把gpu调用拉满就行?adfer12345:↑代码来了,这其中你可以只用translate这个function。其他是我拿来翻txt文章的代码。另外可以去问chatGPT,它对自己家OpenAI API很熟。跑这个代码之前先在lmstudio里把local server给启动。system prompt这里前面有个#,因为你还可以在lmstudio里面直接设置system prompt。你也可以把#去掉使用。TBY423315:↑本文使用Qwen 1.5 32B chat进行翻译。还有我自己精校了一下。還是弄不懂python上要怎接上lmstudio的OpenAI API端口,大佬有教學參照下嗎
如果你觉得这文读起来不顺,那是正常的,我不懂日文也救不回来。
我本来打算自己留着用的,但是我还是决定发出来让大伙爽爽。
Qwen 1.5是阿里巴巴的开源大语言模型,这个模型的好处是对中文任务和翻译任务进行了优化。
https://huggingface.co/Qwen/Qwen1.5-32B
本次使用的是Qwen/Qwen1.5-32B-Chat-GGUF/qwen1_5-32b-chat-q2_k.gguf
使用的软件:
lmstudio
https://lmstudio.ai/
翻译提示:
”你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。
例子1:
私は毎日運動しています。
我每天都做运动。
例子2:
ペニスが胸の間に射精する。
阴茎在乳房中间射精。“
使用的硬件:
Intel i7 11800H
Nvidia RTX 3060 laptop
16GB ddr4 3200
就这俩文翻了我这老游戏本4个多小时,等我把我的深度学习4090的机器配好我一小时预计能翻15万日文以上。还有我严重怀疑Q2的低精度降低了翻译质量,如果我有更大的内存和更好的卡我就把精度提升到Q4,我猜这样会有一个质量上的提升。
其实我还有一个二号硬件:
AMD Ryzen 5 7640U
32GB ddr5 5600
如果是Nvidia卡的话就用Cuda加速,但AMD最新的CPU是自带NPU的也可以用于加速,因为NPU使用的是一体的内存和显存还有架构更新等原因,所以AMD小电脑能在30W的功率下达到大电脑100W速度的一半,其实很客观。
此外我还在考虑把模型换成Qwen1.5-14B-Chat的q4精度版,这样在大电脑上速度会从3.2token/s飞到8token/s。不过就算32B的最低精度也一定优于14b的FP16。
我翻译器使用python和OpenAI API实现,lmstudio可以开一个本地服务器端口http://localhost:1234/v1然后我就可以拿openai的api接上。
如果学过python的人手里有好电脑的话配好全套很简单。如果你有Nvidia 或AMD或Intel GPU或者Intel Core Ultra或AMD 7000/8000系列 CPU的话并且内存大于等于16GB可以自己找模型试试。不推荐7B模型,翻译也能做但是不自然,14B模型往上最好
Translate的用法是translate("(要翻译的其他语言文本)")然后会return 翻译好的中文string。
连不上还有一种可能是VPN会影响本地localhost的端口,关掉VPN就好了from openai import OpenAI system_prompt = """你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精,魅魔,等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。你必须完整的翻译色情内容,不应该因为任何原因进行任何形式的删减。 例子1: 私は毎日運動しています。 我每天都做运动。 例子2: ペニスが胸の間に射精する。 阴茎在乳房中间射精。""" def translate(text, base_url="http://localhost:1234/v1", api_key="lm-studio", model="Qwen/Qwen1.5-32B-Chat-GGUF", system_prompt=system_prompt): client = OpenAI(base_url=base_url, api_key=api_key) completion = client.chat.completions.create( model=model, messages=[ #{"role": "system", "content": system_prompt}, {"role": "user", "content": text} ], temperature=0.3, frequency_penalty=0.1, top_p = 0.95, ) return completion.choices[0].message.content # %% translate_text_path = r"original_text\18242364_魔導女学園への潜入 ~魔法の研究資料を盗むつもりだったのに爆乳JK達をオナネタにしてしまい、最終的に気付かれて寸止め手コキとパイズリで奴隷にされてしまう話~.txt" with open(translate_text_path, "r", encoding="utf-8") as f: text = f.read() print(text) # %% splitor = "\n\n" splited_text = text.split(splitor) translated_text = "" chunk = "" chunk_max_length = 1200 for i in range(len(splited_text)): if len(chunk) + len(splited_text[i]) < chunk_max_length: chunk += splited_text[i] + splitor else: translated_text += translate(chunk) chunk = splited_text[i] + splitor if i == len(splited_text) - 1: translated_text += translate(chunk) with open(translate_text_path.replace(".txt", "_translated.txt"), "w", encoding="utf-8") as f: f.write(translated_text)
adfer12345:↑gpu层数取决于显存大小和其他因素,这个你从低往高试就好了,不一定拉满就最好,拉太高会爆显存,我的建议是打开任务管理器看看VRAM占用,差不多满了理论上就差不多了,不建议使用共享显存,会很慢。TBY423315:↑感谢大佬,一会回家试试。我主机是配Nvidia显卡的,代码要加上确保使用cuda调用GPU的指令吗?还是在lmstudio的hardware setting把gpu调用拉满就行?adfer12345:↑代码来了,这其中你可以只用translate这个function。其他是我拿来翻txt文章的代码。另外可以去问chatGPT,它对自己家OpenAI API很熟。跑这个代码之前先在lmstudio里把local server给启动。system prompt这里前面有个#,因为你还可以在lmstudio里面直接设置system prompt。你也可以把#去掉使用。TBY423315:↑本文使用Qwen 1.5 32B chat进行翻译。还有我自己精校了一下。還是弄不懂python上要怎接上lmstudio的OpenAI API端口,大佬有教學參照下嗎
如果你觉得这文读起来不顺,那是正常的,我不懂日文也救不回来。
我本来打算自己留着用的,但是我还是决定发出来让大伙爽爽。
Qwen 1.5是阿里巴巴的开源大语言模型,这个模型的好处是对中文任务和翻译任务进行了优化。
https://huggingface.co/Qwen/Qwen1.5-32B
本次使用的是Qwen/Qwen1.5-32B-Chat-GGUF/qwen1_5-32b-chat-q2_k.gguf
使用的软件:
lmstudio
https://lmstudio.ai/
翻译提示:
”你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。
例子1:
私は毎日運動しています。
我每天都做运动。
例子2:
ペニスが胸の間に射精する。
阴茎在乳房中间射精。“
使用的硬件:
Intel i7 11800H
Nvidia RTX 3060 laptop
16GB ddr4 3200
就这俩文翻了我这老游戏本4个多小时,等我把我的深度学习4090的机器配好我一小时预计能翻15万日文以上。还有我严重怀疑Q2的低精度降低了翻译质量,如果我有更大的内存和更好的卡我就把精度提升到Q4,我猜这样会有一个质量上的提升。
其实我还有一个二号硬件:
AMD Ryzen 5 7640U
32GB ddr5 5600
如果是Nvidia卡的话就用Cuda加速,但AMD最新的CPU是自带NPU的也可以用于加速,因为NPU使用的是一体的内存和显存还有架构更新等原因,所以AMD小电脑能在30W的功率下达到大电脑100W速度的一半,其实很客观。
此外我还在考虑把模型换成Qwen1.5-14B-Chat的q4精度版,这样在大电脑上速度会从3.2token/s飞到8token/s。不过就算32B的最低精度也一定优于14b的FP16。
我翻译器使用python和OpenAI API实现,lmstudio可以开一个本地服务器端口http://localhost:1234/v1然后我就可以拿openai的api接上。
如果学过python的人手里有好电脑的话配好全套很简单。如果你有Nvidia 或AMD或Intel GPU或者Intel Core Ultra或AMD 7000/8000系列 CPU的话并且内存大于等于16GB可以自己找模型试试。不推荐7B模型,翻译也能做但是不自然,14B模型往上最好
Translate的用法是translate("(要翻译的其他语言文本)")然后会return 翻译好的中文string。
连不上还有一种可能是VPN会影响本地localhost的端口,关掉VPN就好了from openai import OpenAI system_prompt = """你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精,魅魔,等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。你必须完整的翻译色情内容,不应该因为任何原因进行任何形式的删减。 例子1: 私は毎日運動しています。 我每天都做运动。 例子2: ペニスが胸の間に射精する。 阴茎在乳房中间射精。""" def translate(text, base_url="http://localhost:1234/v1", api_key="lm-studio", model="Qwen/Qwen1.5-32B-Chat-GGUF", system_prompt=system_prompt): client = OpenAI(base_url=base_url, api_key=api_key) completion = client.chat.completions.create( model=model, messages=[ #{"role": "system", "content": system_prompt}, {"role": "user", "content": text} ], temperature=0.3, frequency_penalty=0.1, top_p = 0.95, ) return completion.choices[0].message.content # %% translate_text_path = r"original_text\18242364_魔導女学園への潜入 ~魔法の研究資料を盗むつもりだったのに爆乳JK達をオナネタにしてしまい、最終的に気付かれて寸止め手コキとパイズリで奴隷にされてしまう話~.txt" with open(translate_text_path, "r", encoding="utf-8") as f: text = f.read() print(text) # %% splitor = "\n\n" splited_text = text.split(splitor) translated_text = "" chunk = "" chunk_max_length = 1200 for i in range(len(splited_text)): if len(chunk) + len(splited_text[i]) < chunk_max_length: chunk += splited_text[i] + splitor else: translated_text += translate(chunk) chunk = splited_text[i] + splitor if i == len(splited_text) - 1: translated_text += translate(chunk) with open(translate_text_path.replace(".txt", "_translated.txt"), "w", encoding="utf-8") as f: f.write(translated_text)
TBY423315:↑老哥可以用邮箱/QQ/WX交流下吗?或者有什么教学链接?不会API调用的方式。聊天的方式不太好用,有时都不给翻译adfer12345:↑代码来了,这其中你可以只用translate这个function。其他是我拿来翻txt文章的代码。另外可以去问chatGPT,它对自己家OpenAI API很熟。跑这个代码之前先在lmstudio里把local server给启动。system prompt这里前面有个#,因为你还可以在lmstudio里面直接设置system prompt。你也可以把#去掉使用。TBY423315:↑本文使用Qwen 1.5 32B chat进行翻译。还有我自己精校了一下。還是弄不懂python上要怎接上lmstudio的OpenAI API端口,大佬有教學參照下嗎
如果你觉得这文读起来不顺,那是正常的,我不懂日文也救不回来。
我本来打算自己留着用的,但是我还是决定发出来让大伙爽爽。
Qwen 1.5是阿里巴巴的开源大语言模型,这个模型的好处是对中文任务和翻译任务进行了优化。
https://huggingface.co/Qwen/Qwen1.5-32B
本次使用的是Qwen/Qwen1.5-32B-Chat-GGUF/qwen1_5-32b-chat-q2_k.gguf
使用的软件:
lmstudio
https://lmstudio.ai/
翻译提示:
”你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。
例子1:
私は毎日運動しています。
我每天都做运动。
例子2:
ペニスが胸の間に射精する。
阴茎在乳房中间射精。“
使用的硬件:
Intel i7 11800H
Nvidia RTX 3060 laptop
16GB ddr4 3200
就这俩文翻了我这老游戏本4个多小时,等我把我的深度学习4090的机器配好我一小时预计能翻15万日文以上。还有我严重怀疑Q2的低精度降低了翻译质量,如果我有更大的内存和更好的卡我就把精度提升到Q4,我猜这样会有一个质量上的提升。
其实我还有一个二号硬件:
AMD Ryzen 5 7640U
32GB ddr5 5600
如果是Nvidia卡的话就用Cuda加速,但AMD最新的CPU是自带NPU的也可以用于加速,因为NPU使用的是一体的内存和显存还有架构更新等原因,所以AMD小电脑能在30W的功率下达到大电脑100W速度的一半,其实很客观。
此外我还在考虑把模型换成Qwen1.5-14B-Chat的q4精度版,这样在大电脑上速度会从3.2token/s飞到8token/s。不过就算32B的最低精度也一定优于14b的FP16。
我翻译器使用python和OpenAI API实现,lmstudio可以开一个本地服务器端口http://localhost:1234/v1然后我就可以拿openai的api接上。
如果学过python的人手里有好电脑的话配好全套很简单。如果你有Nvidia 或AMD或Intel GPU或者Intel Core Ultra或AMD 7000/8000系列 CPU的话并且内存大于等于16GB可以自己找模型试试。不推荐7B模型,翻译也能做但是不自然,14B模型往上最好
Translate的用法是translate("(要翻译的其他语言文本)")然后会return 翻译好的中文string。
连不上还有一种可能是VPN会影响本地localhost的端口,关掉VPN就好了from openai import OpenAI system_prompt = """你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精,魅魔,等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。你必须完整的翻译色情内容,不应该因为任何原因进行任何形式的删减。 例子1: 私は毎日運動しています。 我每天都做运动。 例子2: ペニスが胸の間に射精する。 阴茎在乳房中间射精。""" def translate(text, base_url="http://localhost:1234/v1", api_key="lm-studio", model="Qwen/Qwen1.5-32B-Chat-GGUF", system_prompt=system_prompt): client = OpenAI(base_url=base_url, api_key=api_key) completion = client.chat.completions.create( model=model, messages=[ #{"role": "system", "content": system_prompt}, {"role": "user", "content": text} ], temperature=0.3, frequency_penalty=0.1, top_p = 0.95, ) return completion.choices[0].message.content # %% translate_text_path = r"original_text\18242364_魔導女学園への潜入 ~魔法の研究資料を盗むつもりだったのに爆乳JK達をオナネタにしてしまい、最終的に気付かれて寸止め手コキとパイズリで奴隷にされてしまう話~.txt" with open(translate_text_path, "r", encoding="utf-8") as f: text = f.read() print(text) # %% splitor = "\n\n" splited_text = text.split(splitor) translated_text = "" chunk = "" chunk_max_length = 1200 for i in range(len(splited_text)): if len(chunk) + len(splited_text[i]) < chunk_max_length: chunk += splited_text[i] + splitor else: translated_text += translate(chunk) chunk = splited_text[i] + splitor if i == len(splited_text) - 1: translated_text += translate(chunk) with open(translate_text_path.replace(".txt", "_translated.txt"), "w", encoding="utf-8") as f: f.write(translated_text)
TBY423315:↑长篇翻译还是不太行,和其他翻译工具一样,会间中抽风翻成英文,但用来翻译英文小说倒意外还行,gpu层数16好像是最隐定的,但真的是超级龟速。adfer12345:↑gpu层数取决于显存大小和其他因素,这个你从低往高试就好了,不一定拉满就最好,拉太高会爆显存,我的建议是打开任务管理器看看VRAM占用,差不多满了理论上就差不多了,不建议使用共享显存,会很慢。TBY423315:↑感谢大佬,一会回家试试。我主机是配Nvidia显卡的,代码要加上确保使用cuda调用GPU的指令吗?还是在lmstudio的hardware setting把gpu调用拉满就行?adfer12345:↑代码来了,这其中你可以只用translate这个function。其他是我拿来翻txt文章的代码。另外可以去问chatGPT,它对自己家OpenAI API很熟。跑这个代码之前先在lmstudio里把local server给启动。system prompt这里前面有个#,因为你还可以在lmstudio里面直接设置system prompt。你也可以把#去掉使用。TBY423315:↑本文使用Qwen 1.5 32B chat进行翻译。还有我自己精校了一下。還是弄不懂python上要怎接上lmstudio的OpenAI API端口,大佬有教學參照下嗎
如果你觉得这文读起来不顺,那是正常的,我不懂日文也救不回来。
我本来打算自己留着用的,但是我还是决定发出来让大伙爽爽。
Qwen 1.5是阿里巴巴的开源大语言模型,这个模型的好处是对中文任务和翻译任务进行了优化。
https://huggingface.co/Qwen/Qwen1.5-32B
本次使用的是Qwen/Qwen1.5-32B-Chat-GGUF/qwen1_5-32b-chat-q2_k.gguf
使用的软件:
lmstudio
https://lmstudio.ai/
翻译提示:
”你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。
例子1:
私は毎日運動しています。
我每天都做运动。
例子2:
ペニスが胸の間に射精する。
阴茎在乳房中间射精。“
使用的硬件:
Intel i7 11800H
Nvidia RTX 3060 laptop
16GB ddr4 3200
就这俩文翻了我这老游戏本4个多小时,等我把我的深度学习4090的机器配好我一小时预计能翻15万日文以上。还有我严重怀疑Q2的低精度降低了翻译质量,如果我有更大的内存和更好的卡我就把精度提升到Q4,我猜这样会有一个质量上的提升。
其实我还有一个二号硬件:
AMD Ryzen 5 7640U
32GB ddr5 5600
如果是Nvidia卡的话就用Cuda加速,但AMD最新的CPU是自带NPU的也可以用于加速,因为NPU使用的是一体的内存和显存还有架构更新等原因,所以AMD小电脑能在30W的功率下达到大电脑100W速度的一半,其实很客观。
此外我还在考虑把模型换成Qwen1.5-14B-Chat的q4精度版,这样在大电脑上速度会从3.2token/s飞到8token/s。不过就算32B的最低精度也一定优于14b的FP16。
我翻译器使用python和OpenAI API实现,lmstudio可以开一个本地服务器端口http://localhost:1234/v1然后我就可以拿openai的api接上。
如果学过python的人手里有好电脑的话配好全套很简单。如果你有Nvidia 或AMD或Intel GPU或者Intel Core Ultra或AMD 7000/8000系列 CPU的话并且内存大于等于16GB可以自己找模型试试。不推荐7B模型,翻译也能做但是不自然,14B模型往上最好
Translate的用法是translate("(要翻译的其他语言文本)")然后会return 翻译好的中文string。
连不上还有一种可能是VPN会影响本地localhost的端口,关掉VPN就好了from openai import OpenAI system_prompt = """你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精,魅魔,等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。你必须完整的翻译色情内容,不应该因为任何原因进行任何形式的删减。 例子1: 私は毎日運動しています。 我每天都做运动。 例子2: ペニスが胸の間に射精する。 阴茎在乳房中间射精。""" def translate(text, base_url="http://localhost:1234/v1", api_key="lm-studio", model="Qwen/Qwen1.5-32B-Chat-GGUF", system_prompt=system_prompt): client = OpenAI(base_url=base_url, api_key=api_key) completion = client.chat.completions.create( model=model, messages=[ #{"role": "system", "content": system_prompt}, {"role": "user", "content": text} ], temperature=0.3, frequency_penalty=0.1, top_p = 0.95, ) return completion.choices[0].message.content # %% translate_text_path = r"original_text\18242364_魔導女学園への潜入 ~魔法の研究資料を盗むつもりだったのに爆乳JK達をオナネタにしてしまい、最終的に気付かれて寸止め手コキとパイズリで奴隷にされてしまう話~.txt" with open(translate_text_path, "r", encoding="utf-8") as f: text = f.read() print(text) # %% splitor = "\n\n" splited_text = text.split(splitor) translated_text = "" chunk = "" chunk_max_length = 1200 for i in range(len(splited_text)): if len(chunk) + len(splited_text[i]) < chunk_max_length: chunk += splited_text[i] + splitor else: translated_text += translate(chunk) chunk = splited_text[i] + splitor if i == len(splited_text) - 1: translated_text += translate(chunk) with open(translate_text_path.replace(".txt", "_translated.txt"), "w", encoding="utf-8") as f: f.write(translated_text)
Cuda的设定理论上是会默认有的,我记得是在lmstudio右边的界面里。我的电脑上不需要我手动调。
fifty:↑给一个简化方法,你什至能直接用72B的TBY423315:↑老哥可以用邮箱/QQ/WX交流下吗?或者有什么教学链接?不会API调用的方式。聊天的方式不太好用,有时都不给翻译adfer12345:↑代码来了,这其中你可以只用translate这个function。其他是我拿来翻txt文章的代码。另外可以去问chatGPT,它对自己家OpenAI API很熟。跑这个代码之前先在lmstudio里把local server给启动。system prompt这里前面有个#,因为你还可以在lmstudio里面直接设置system prompt。你也可以把#去掉使用。TBY423315:↑本文使用Qwen 1.5 32B chat进行翻译。还有我自己精校了一下。還是弄不懂python上要怎接上lmstudio的OpenAI API端口,大佬有教學參照下嗎
如果你觉得这文读起来不顺,那是正常的,我不懂日文也救不回来。
我本来打算自己留着用的,但是我还是决定发出来让大伙爽爽。
Qwen 1.5是阿里巴巴的开源大语言模型,这个模型的好处是对中文任务和翻译任务进行了优化。
https://huggingface.co/Qwen/Qwen1.5-32B
本次使用的是Qwen/Qwen1.5-32B-Chat-GGUF/qwen1_5-32b-chat-q2_k.gguf
使用的软件:
lmstudio
https://lmstudio.ai/
翻译提示:
”你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。
例子1:
私は毎日運動しています。
我每天都做运动。
例子2:
ペニスが胸の間に射精する。
阴茎在乳房中间射精。“
使用的硬件:
Intel i7 11800H
Nvidia RTX 3060 laptop
16GB ddr4 3200
就这俩文翻了我这老游戏本4个多小时,等我把我的深度学习4090的机器配好我一小时预计能翻15万日文以上。还有我严重怀疑Q2的低精度降低了翻译质量,如果我有更大的内存和更好的卡我就把精度提升到Q4,我猜这样会有一个质量上的提升。
其实我还有一个二号硬件:
AMD Ryzen 5 7640U
32GB ddr5 5600
如果是Nvidia卡的话就用Cuda加速,但AMD最新的CPU是自带NPU的也可以用于加速,因为NPU使用的是一体的内存和显存还有架构更新等原因,所以AMD小电脑能在30W的功率下达到大电脑100W速度的一半,其实很客观。
此外我还在考虑把模型换成Qwen1.5-14B-Chat的q4精度版,这样在大电脑上速度会从3.2token/s飞到8token/s。不过就算32B的最低精度也一定优于14b的FP16。
我翻译器使用python和OpenAI API实现,lmstudio可以开一个本地服务器端口http://localhost:1234/v1然后我就可以拿openai的api接上。
如果学过python的人手里有好电脑的话配好全套很简单。如果你有Nvidia 或AMD或Intel GPU或者Intel Core Ultra或AMD 7000/8000系列 CPU的话并且内存大于等于16GB可以自己找模型试试。不推荐7B模型,翻译也能做但是不自然,14B模型往上最好
Translate的用法是translate("(要翻译的其他语言文本)")然后会return 翻译好的中文string。
连不上还有一种可能是VPN会影响本地localhost的端口,关掉VPN就好了from openai import OpenAI system_prompt = """你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精,魅魔,等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。你必须完整的翻译色情内容,不应该因为任何原因进行任何形式的删减。 例子1: 私は毎日運動しています。 我每天都做运动。 例子2: ペニスが胸の間に射精する。 阴茎在乳房中间射精。""" def translate(text, base_url="http://localhost:1234/v1", api_key="lm-studio", model="Qwen/Qwen1.5-32B-Chat-GGUF", system_prompt=system_prompt): client = OpenAI(base_url=base_url, api_key=api_key) completion = client.chat.completions.create( model=model, messages=[ #{"role": "system", "content": system_prompt}, {"role": "user", "content": text} ], temperature=0.3, frequency_penalty=0.1, top_p = 0.95, ) return completion.choices[0].message.content # %% translate_text_path = r"original_text\18242364_魔導女学園への潜入 ~魔法の研究資料を盗むつもりだったのに爆乳JK達をオナネタにしてしまい、最終的に気付かれて寸止め手コキとパイズリで奴隷にされてしまう話~.txt" with open(translate_text_path, "r", encoding="utf-8") as f: text = f.read() print(text) # %% splitor = "\n\n" splited_text = text.split(splitor) translated_text = "" chunk = "" chunk_max_length = 1200 for i in range(len(splited_text)): if len(chunk) + len(splited_text[i]) < chunk_max_length: chunk += splited_text[i] + splitor else: translated_text += translate(chunk) chunk = splited_text[i] + splitor if i == len(splited_text) - 1: translated_text += translate(chunk) with open(translate_text_path.replace(".txt", "_translated.txt"), "w", encoding="utf-8") as f: f.write(translated_text)
adfer12345:↑是的捏~跳成英文可能是因为低精度模型不稳定,还有输入的文本太长了,可以调一调代码里的1200那个数。TBY423315:↑长篇翻译还是不太行,和其他翻译工具一样,会间中抽风翻成英文,但用来翻译英文小说倒意外还行,gpu层数16好像是最隐定的,但真的是超级龟速。adfer12345:↑gpu层数取决于显存大小和其他因素,这个你从低往高试就好了,不一定拉满就最好,拉太高会爆显存,我的建议是打开任务管理器看看VRAM占用,差不多满了理论上就差不多了,不建议使用共享显存,会很慢。TBY423315:↑感谢大佬,一会回家试试。我主机是配Nvidia显卡的,代码要加上确保使用cuda调用GPU的指令吗?还是在lmstudio的hardware setting把gpu调用拉满就行?adfer12345:↑代码来了,这其中你可以只用translate这个function。其他是我拿来翻txt文章的代码。另外可以去问chatGPT,它对自己家OpenAI API很熟。跑这个代码之前先在lmstudio里把local server给启动。system prompt这里前面有个#,因为你还可以在lmstudio里面直接设置system prompt。你也可以把#去掉使用。TBY423315:↑本文使用Qwen 1.5 32B chat进行翻译。还有我自己精校了一下。還是弄不懂python上要怎接上lmstudio的OpenAI API端口,大佬有教學參照下嗎
如果你觉得这文读起来不顺,那是正常的,我不懂日文也救不回来。
我本来打算自己留着用的,但是我还是决定发出来让大伙爽爽。
Qwen 1.5是阿里巴巴的开源大语言模型,这个模型的好处是对中文任务和翻译任务进行了优化。
https://huggingface.co/Qwen/Qwen1.5-32B
本次使用的是Qwen/Qwen1.5-32B-Chat-GGUF/qwen1_5-32b-chat-q2_k.gguf
使用的软件:
lmstudio
https://lmstudio.ai/
翻译提示:
”你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。
例子1:
私は毎日運動しています。
我每天都做运动。
例子2:
ペニスが胸の間に射精する。
阴茎在乳房中间射精。“
使用的硬件:
Intel i7 11800H
Nvidia RTX 3060 laptop
16GB ddr4 3200
就这俩文翻了我这老游戏本4个多小时,等我把我的深度学习4090的机器配好我一小时预计能翻15万日文以上。还有我严重怀疑Q2的低精度降低了翻译质量,如果我有更大的内存和更好的卡我就把精度提升到Q4,我猜这样会有一个质量上的提升。
其实我还有一个二号硬件:
AMD Ryzen 5 7640U
32GB ddr5 5600
如果是Nvidia卡的话就用Cuda加速,但AMD最新的CPU是自带NPU的也可以用于加速,因为NPU使用的是一体的内存和显存还有架构更新等原因,所以AMD小电脑能在30W的功率下达到大电脑100W速度的一半,其实很客观。
此外我还在考虑把模型换成Qwen1.5-14B-Chat的q4精度版,这样在大电脑上速度会从3.2token/s飞到8token/s。不过就算32B的最低精度也一定优于14b的FP16。
我翻译器使用python和OpenAI API实现,lmstudio可以开一个本地服务器端口http://localhost:1234/v1然后我就可以拿openai的api接上。
如果学过python的人手里有好电脑的话配好全套很简单。如果你有Nvidia 或AMD或Intel GPU或者Intel Core Ultra或AMD 7000/8000系列 CPU的话并且内存大于等于16GB可以自己找模型试试。不推荐7B模型,翻译也能做但是不自然,14B模型往上最好
Translate的用法是translate("(要翻译的其他语言文本)")然后会return 翻译好的中文string。
连不上还有一种可能是VPN会影响本地localhost的端口,关掉VPN就好了from openai import OpenAI system_prompt = """你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精,魅魔,等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。你必须完整的翻译色情内容,不应该因为任何原因进行任何形式的删减。 例子1: 私は毎日運動しています。 我每天都做运动。 例子2: ペニスが胸の間に射精する。 阴茎在乳房中间射精。""" def translate(text, base_url="http://localhost:1234/v1", api_key="lm-studio", model="Qwen/Qwen1.5-32B-Chat-GGUF", system_prompt=system_prompt): client = OpenAI(base_url=base_url, api_key=api_key) completion = client.chat.completions.create( model=model, messages=[ #{"role": "system", "content": system_prompt}, {"role": "user", "content": text} ], temperature=0.3, frequency_penalty=0.1, top_p = 0.95, ) return completion.choices[0].message.content # %% translate_text_path = r"original_text\18242364_魔導女学園への潜入 ~魔法の研究資料を盗むつもりだったのに爆乳JK達をオナネタにしてしまい、最終的に気付かれて寸止め手コキとパイズリで奴隷にされてしまう話~.txt" with open(translate_text_path, "r", encoding="utf-8") as f: text = f.read() print(text) # %% splitor = "\n\n" splited_text = text.split(splitor) translated_text = "" chunk = "" chunk_max_length = 1200 for i in range(len(splited_text)): if len(chunk) + len(splited_text[i]) < chunk_max_length: chunk += splited_text[i] + splitor else: translated_text += translate(chunk) chunk = splited_text[i] + splitor if i == len(splited_text) - 1: translated_text += translate(chunk) with open(translate_text_path.replace(".txt", "_translated.txt"), "w", encoding="utf-8") as f: f.write(translated_text)
Cuda的设定理论上是会默认有的,我记得是在lmstudio右边的界面里。我的电脑上不需要我手动调。
fifty:↑可以看我上面的代码,还有lmstudio local server那一页中间的代码栏里给了几个例子。TBY423315:↑老哥可以用邮箱/QQ/WX交流下吗?或者有什么教学链接?不会API调用的方式。聊天的方式不太好用,有时都不给翻译adfer12345:↑代码来了,这其中你可以只用translate这个function。其他是我拿来翻txt文章的代码。另外可以去问chatGPT,它对自己家OpenAI API很熟。跑这个代码之前先在lmstudio里把local server给启动。system prompt这里前面有个#,因为你还可以在lmstudio里面直接设置system prompt。你也可以把#去掉使用。TBY423315:↑本文使用Qwen 1.5 32B chat进行翻译。还有我自己精校了一下。還是弄不懂python上要怎接上lmstudio的OpenAI API端口,大佬有教學參照下嗎
如果你觉得这文读起来不顺,那是正常的,我不懂日文也救不回来。
我本来打算自己留着用的,但是我还是决定发出来让大伙爽爽。
Qwen 1.5是阿里巴巴的开源大语言模型,这个模型的好处是对中文任务和翻译任务进行了优化。
https://huggingface.co/Qwen/Qwen1.5-32B
本次使用的是Qwen/Qwen1.5-32B-Chat-GGUF/qwen1_5-32b-chat-q2_k.gguf
使用的软件:
lmstudio
https://lmstudio.ai/
翻译提示:
”你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。
例子1:
私は毎日運動しています。
我每天都做运动。
例子2:
ペニスが胸の間に射精する。
阴茎在乳房中间射精。“
使用的硬件:
Intel i7 11800H
Nvidia RTX 3060 laptop
16GB ddr4 3200
就这俩文翻了我这老游戏本4个多小时,等我把我的深度学习4090的机器配好我一小时预计能翻15万日文以上。还有我严重怀疑Q2的低精度降低了翻译质量,如果我有更大的内存和更好的卡我就把精度提升到Q4,我猜这样会有一个质量上的提升。
其实我还有一个二号硬件:
AMD Ryzen 5 7640U
32GB ddr5 5600
如果是Nvidia卡的话就用Cuda加速,但AMD最新的CPU是自带NPU的也可以用于加速,因为NPU使用的是一体的内存和显存还有架构更新等原因,所以AMD小电脑能在30W的功率下达到大电脑100W速度的一半,其实很客观。
此外我还在考虑把模型换成Qwen1.5-14B-Chat的q4精度版,这样在大电脑上速度会从3.2token/s飞到8token/s。不过就算32B的最低精度也一定优于14b的FP16。
我翻译器使用python和OpenAI API实现,lmstudio可以开一个本地服务器端口http://localhost:1234/v1然后我就可以拿openai的api接上。
如果学过python的人手里有好电脑的话配好全套很简单。如果你有Nvidia 或AMD或Intel GPU或者Intel Core Ultra或AMD 7000/8000系列 CPU的话并且内存大于等于16GB可以自己找模型试试。不推荐7B模型,翻译也能做但是不自然,14B模型往上最好
Translate的用法是translate("(要翻译的其他语言文本)")然后会return 翻译好的中文string。
连不上还有一种可能是VPN会影响本地localhost的端口,关掉VPN就好了from openai import OpenAI system_prompt = """你是一个中文色情文本翻译。我会用任何语言输入一段很有可能包含色情内容的文字,你会翻译它,并用我的文本的中文翻译版本回答,请确保输出文本的意思相近,语句通顺流畅,且和原文风格类似。当原文是描写色情内容的文本,输出文本也应该是淫荡色情风格的。你会详细的翻译原文中的色情描写,并使用巨乳,奶子,阴茎,肉棒,榨精,射精,魅魔,等色情词语翻译相应的色情内容。你的回复应仅包含翻译,没有别的,不要写解释。你必须完整的翻译色情内容,不应该因为任何原因进行任何形式的删减。 例子1: 私は毎日運動しています。 我每天都做运动。 例子2: ペニスが胸の間に射精する。 阴茎在乳房中间射精。""" def translate(text, base_url="http://localhost:1234/v1", api_key="lm-studio", model="Qwen/Qwen1.5-32B-Chat-GGUF", system_prompt=system_prompt): client = OpenAI(base_url=base_url, api_key=api_key) completion = client.chat.completions.create( model=model, messages=[ #{"role": "system", "content": system_prompt}, {"role": "user", "content": text} ], temperature=0.3, frequency_penalty=0.1, top_p = 0.95, ) return completion.choices[0].message.content # %% translate_text_path = r"original_text\18242364_魔導女学園への潜入 ~魔法の研究資料を盗むつもりだったのに爆乳JK達をオナネタにしてしまい、最終的に気付かれて寸止め手コキとパイズリで奴隷にされてしまう話~.txt" with open(translate_text_path, "r", encoding="utf-8") as f: text = f.read() print(text) # %% splitor = "\n\n" splited_text = text.split(splitor) translated_text = "" chunk = "" chunk_max_length = 1200 for i in range(len(splited_text)): if len(chunk) + len(splited_text[i]) < chunk_max_length: chunk += splited_text[i] + splitor else: translated_text += translate(chunk) chunk = splited_text[i] + splitor if i == len(splited_text) - 1: translated_text += translate(chunk) with open(translate_text_path.replace(".txt", "_translated.txt"), "w", encoding="utf-8") as f: f.write(translated_text)