本来想实现黄文自由，但找了几个但是效果不是很好，基本的设定都能忘，所以想请教一下还有什么推荐的模型

靠AI实现黄文自由，几年之内最好别想

老老实实Claude3吧

可以试试commandr+,基本上是我见过的最好的中文本地ERP模型.

常人跑得动么

可以租哟~需要两个4090级别的就能带动最低的2.5bpw
我觉得从文笔上不输于claude2.1,但是具体情节设计和设定遵从不怎么好,不过也可能是我prompt的问题.

不过这么一看,要是没机器的话,还是Claude更划算些.

cmdr+用cuda backend+Q4 两个24G就能放下3bpw+16k

哦不对记错了，模型大小是50G，塞不下，我是在第三张卡放了4G、 那双卡确实只能用2.5bpw

cmdr+用aplaca有点问题，格式试试这个
<BOS_TOKEN><|START_OF_TURN_TOKEN|><|SYSTEM_TOKEN|>{{#if system}}{{system}}
{{/if}}{{#if wiBefore}}{{wiBefore}}
{{/if}}{{#if description}}{{description}}
{{/if}}{{#if personality}}{{char}}'s personality: {{personality}}
{{/if}}{{#if scenario}}Scenario: {{scenario}}
{{/if}}{{#if wiAfter}}{{wiAfter}}
{{/if}}{{#if persona}}{{persona}}
{{/if}}{{trim}}<|END_OF_TURN_TOKEN|>

我就是用官方的prompt在酒馆改的template, 目前测试来看加不加bos或者message suffix对回答质量好像也没啥影响,有点奇特.
我是把英文版的RP system prompt和jail break直接搬进去的, 可能全用中文并且提供一些中文对话例子的话输出中文质量也会更好些.

.

感觉租4090的是大冤种   不如直接试试A40*2 直接能跑Q5KM 或者5bpw了
怀念1.24 A5000的日子

注册就挂

有什么平台推荐吗，以前我炼正经模型用的AutoDL，我记得它说搞不正经的内容会封号

试了下A40*2跑5bpw, 那蹦字的速度简直能让我急死...
感觉至少要换成6000 Ada级别的才行.

AutoDL挺好的啊, 不过我是不敢在这种网上平台上搞任何不正经内容的, 还是买设备自己私下里炼吧.