本地离线使用,类Chat GPT工具Chat-RWKV-LM
无需额外付费,使用GPU或CPU进行计算得出结果
RWKV-LM官方GitHub地址:
https://github.com/BlinkDL/RWKV-LM
RWKV-Runner 启动器GitHub地址:
https://github.com/josStorer/RWKV-Runner
部署
- 下载好启动器,把exe放在一个空文件夹
- 运行exe,并随便点击一个模型运行,提示需要python环境,下载即可
参考视频
【RWKV-Runner发布并开源,可商用的大语言模型,一键启动管理,2-32G显存适配,API兼容,一切前端皆可用】
https://www.bilibili.com/video/BV1hM4y1v76R/?share_source=copy_web&vd_source=17fc3f0d3cf17f45237a57cc5ba97e0e
注意事项
每个模型的所呈现的效果都不用,选择最适合的模型
模型名称
例如:GPU-2G-3B-world
使用GPU计算,显存需要2G,模型参数3B大小,(一般world表示最新的模型)