今天看到一个帖推荐CausalLM/14B的，

但是win平台全是只支持N卡，要不就是只能用CPU

比如Model loader的AutoGPTQ必须是CUDA 卡或者A卡linux的RoCm ，不能纯CPU

You can install the latest stable release of AutoGPTQ from pip with pre-built wheels compatible with PyTorch 2.1 and PyTorch nightly:

For CUDA 12.1: pip install auto-gptq
For CUDA 11.8: pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/
For RoCm 5.6.1: pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/rocm561/
For RoCm 5.7.1: pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/rocm571/

可以用gguf后缀的模型跑llama.cpp 可以用cpu跑

谢谢，CPU跑的话我也根据您的提示找到了TheBloke/CausalLM-14B-GGUF

win平台上用AMD的显卡看来是很难了，好像说AMD开发文档相比N厂少很少所以支持很难。

发现好多人都在用云GPU平台Colab代替

现在用A卡在win跑AI是真的不太友好 基本都是用linux跑
只能等坐A卡优化了

等MI300看看吧