无图版
帮助
论坛首页
登录
注册
讨论区
搜索
社区服务
屏蔽配置
刷新黑名单
好奇模式
清空列表
管理列表
■
帖子 |
■
头像
社区论坛任务
用户名
UID
Email
认证码
点此显示验证码
热门版块:
茶馆
免空资源区
询问&求物
同人音声
网赚资源区
实用动画
Soulplus
Wind
用户中心首页
编辑个人资料
查看个人资料
好友列表
用户权限查看
积分管理
积分转换
特殊组购买
收藏夹
我的主题
基本统计信息
到访IP统计
管理团队
管理统计
在线统计
会员排行
版块排行
帖子排行
个人首页
我的收藏
好友近况
南+ South Plus
AI交流 (beta)
有没有用A卡WIN平台的上下文对话GPT模型?
漫区特设
Comic Market 103
Comic Market 102
サンクリ
Comic1☆
其他同人志
一般漫画
例大祭&紅楼夢
汉化本发布
旧物仓库
蜜柑计划
- 蜜柑计划 - Mikan Project
综合交流
ACG交流
轻小说
原创绘画
原创小说区
询问&求物
茶馆
AI交流 (beta)
免空资源区
网赚资源区
人民囧府
事务受理
上一主题
下一主题
新 帖
|
浏览器收藏
|
打印
公主链接天下第一
作者资料
发送短消息
加为好友
UID:
70980
精华:
0
发帖:
305
HP:
0 点
SP币:
2001 G
昵称: 公主链接天下第一
在线时间: 565(小时)
注册时间:
2012-01-14
最后登录:
2024-05-08
GF
2023-11-05 20:15
只看GF
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
有没有用A卡WIN平台的上下文对话GPT模型?
今天看到一个帖推荐CausalLM/14B的,
但是win平台全是只支持N卡,要不就是只能用CPU
比如Model loader的AutoGPTQ必须是CUDA 卡或者A卡linux的RoCm ,不能纯CPU
You can install the latest stable release of AutoGPTQ from pip with pre-built wheels compatible with PyTorch 2.1 and PyTorch nightly:
For CUDA 12.1: pip install auto-gptq
For CUDA 11.8: pip install auto-gptq --extra-index-url
https://huggingface.github.io/autogptq-index/whl/cu118/
For RoCm 5.6.1: pip install auto-gptq --extra-index-url
https://huggingface.github.io/autogptq-index/whl/rocm561/
For RoCm 5.7.1: pip install auto-gptq --extra-index-url
https://huggingface.github.io/autogptq-index/whl/rocm571/
顶端
回复
引用
分享
Mni
作者资料
发送短消息
加为好友
UID:
1422160
精华:
0
发帖:
121
HP:
0 点
SP币:
3224 G
昵称: Mni
在线时间: 255(小时)
注册时间:
2021-07-01
最后登录:
2024-05-11
B1F
2023-11-05 20:29
(快乐炼丹人)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
可以用gguf后缀的模型跑llama.cpp 可以用cpu跑
顶端
回复
引用
分享
公主链接天下第一
作者资料
发送短消息
加为好友
UID:
70980
精华:
0
发帖:
305
HP:
0 点
SP币:
2001 G
昵称: 公主链接天下第一
在线时间: 565(小时)
注册时间:
2012-01-14
最后登录:
2024-05-08
B2F
2023-11-06 11:41
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 1楼(Mni) 的帖子
谢谢,CPU跑的话我也根据您的提示找到了TheBloke/CausalLM-14B-GGUF
win平台上用AMD的显卡看来是很难了,好像说AMD开发文档相比N厂少很少所以支持很难。
发现好多人都在用云GPU平台Colab代替
顶端
回复
引用
分享
Mni
作者资料
发送短消息
加为好友
UID:
1422160
精华:
0
发帖:
121
HP:
0 点
SP币:
3224 G
昵称: Mni
在线时间: 255(小时)
注册时间:
2021-07-01
最后登录:
2024-05-11
B3F
2023-11-06 12:00
(快乐炼丹人)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 2楼(公主链接天下第一) 的帖子
现在用A卡在win跑AI是真的不太友好 基本都是用linux跑
只能等坐A卡优化了
顶端
回复
引用
分享
ieeplk03
作者资料
发送短消息
加为好友
UID:
1447281
精华:
0
发帖:
112
HP:
0 点
SP币:
674 G
昵称: ieeplk03
在线时间: 44(小时)
注册时间:
2021-08-16
最后登录:
2024-04-24
B4F
2023-11-06 12:50
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
等MI300看看吧
顶端
回复
引用
分享
上一主题
下一主题
南+ South Plus
AI交流 (beta)
[-- 查看移动版 --]