操操操

如何在本机使用CPU来跑大语言模型

2024-03-01
2分钟阅读时长

前段时间用googlecolabso-vits-svc开源声音训练模型库,因为我本机是Maccpu版本,无法支持NAVID GPU的加速并行训练,但是每天都有时间限制,而且GoogleT4机器每天也有时间限制,下次在Jupyter Notebook再运行的时候,又要重新跑,按照搜索的扩展信息,加钱升级付费云服务器可以有效完成训练,也可以用某种方式增量训练,我还没具体研究,但是截止到目前,我已经感觉如果本机不是NAVIDGPU版本支持,这做大语言模型相关训练,劣势非常明显,我现在的本机Mac使用真的是极其不便了。

于是我就搜索有没有有效的替代方案,于是找到了llama.cpp,也试了开源库里的一些大语言模型,发现可以顺利跑起来,可以兼容OpenAI API的一个转换器,所以分享给你。

使用步骤

  • 1.下载llama.cpp
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make
  • 2.下载模型文件,并把对应模型文件移动到models目录 mv ../XX.bin models/ 接着就可以开始训练了。
./main -m ./models/XX.bin -c 512 -b 
1024 -n 256 --keep 48 \
    --repeat_penalty 1.0 --color -i -t 4 \
    -r "User:" -f prompts/output.txt

总结

发现这个应该就是大语言模型发展的方向,不然会导致很多不便,会导致很多编程人员体验不到大模型时代作为一个程序员,能体验到的乐趣,相信类似的封装工具应该越来越多,而且体验也会越来越好,我会继续深度使用这个工具,有趣的经历到时再分享。

Avatar

Aisen

Be water,my friend.
扫码关注公众号,可领取以下赠品:
《夯实基础的go语言体系建设》645页涵盖golang各大厂全部面试题,针对云原生领域更是面面俱到;
扫码加微信,可领取以下赠品:
【完整版】本人所著,原价1299元的《爱情困惑者必学的七堂课》; 50个搞定正妹完整聊天记录列表详情点这里
【完整版】时长7小时,原价699元《中国各阶层男性脱单上娶指南》;