奔腾2 CPU+128MB内存成功运行Llama大模型：速度还挺快
12月30日消息，奔腾据媒体报道，存成EXO Labs最近发布了一段视频，功运展示了在一台26年历史的行L型速Windows 98奔腾2 PC上运行大模型（LLM）。
这台主频350MHz电脑成功启动进入Windows 98系统，大模度还随后EXO启动了基于Andrej Karpathy的挺快Llama2.c定制的纯C推理引擎，并要求LLM生成关于“Sleepy Joe”的奔腾故事，令人惊讶的存成是生成速度相当可观。
EXO Labs的功运这一壮举并非偶然，该组织自称为“民主化AI”而生，行L型速由牛津大学的大模度还研究人员和工程师组成，他们认为，挺快少数大型企业控制AI对文化、奔腾真理和社会的存成其他基本方面是不利的。
因此，功运EXO希望建立开放的基础设施，训练前沿模型，并使任何人在任何地方都能运行它们，这项在Windows 98上的AI演示，展示了即使在资源极其有限的情况下也能完成的事情。
EXO Labs在文章中详细描述了在Windows 98上运行Llama的过程，他们购买一台旧的Windows 98 PC作为项目基础，但面临了许多挑战。
将数据传输到老设备上就是一个不小的挑战，他们不得不使用“老式的FTP”通过古老机器的以太网端口进行文件传输。
编译现代代码以适应Windows 98可能是一个更大的挑战，EXO找到了Andrej Karpathy的llama2.c，可以总结为“700行纯C代码，可以运行Llama 2架构模型的推理”，Karpathy曾是特斯拉的AI主管，也是OpenAI的创始团队成员。
利用这个资源和旧的Borland C++ 5.02 IDE和编译器（以及一些轻微的调整），代码可以被制作成Windows 98兼容的可执行文件并运行，GitHub上有完成代码的链接。
使用260K LLM和Llama架构在Windows 98上实现了“35.9 tok/s”的速度，根据EXO的博客，升级到15M LLM后，生成速度略高于1 tok/s，Llama 3.2 1B的速度则慢得多，为0.0093 tok/s。
相关文章：
- 佩雷茨：完成欧冠首秀是梦想成真，球场上听欧冠主题曲很不可思议
- [流言板]科尔：波杰MRI检查结果是正常的，看来这次情况不算严重
- 网球联合杯：中国队大胜巴西队，收获“开门红”
- [流言板]河村得分上双，上一位在NBA得分上双的中国球员还是易建联
- [流言板]库里：今年有很多值得感恩的时刻，迎接2025我们一起努力
- 翻江倒海！恩比德14中7砍半场最高20分8板 正负值+14也是最高
- [流言板]跨年夜之战！湖人官推晒赛前入场照：31号的穿搭
- 意媒：热那亚能在冬窗前与巴洛特利解约，未来两场比赛决定其未来
- 16岁9个月！卡马达成为欧冠送出助攻最年轻意大利球员
- 谁将成为票王🔥2025旧金山全明星投票通道已正式开启！
相关推荐：
- 跟队记者：卡拉布里亚下场时故意绕开丰塞卡，甚至没看他一眼
- [流言板]恐怖！1992年的今天太阳单月14胜0负，创造历史第三好战绩
- 👿迅捷敏锐！乌布雷送生涯新高8抢断 外加15分5板2助&正负值+22
- 停摆一个多月后：哪吒汽车桐乡工厂将于1月4日复工
- 日本球员最新身价：久保建英三笘薰仍列前二，15人超千万欧
- 麦克托米奈谈转会决定：我知道曼联财政的问题，我对红魔爱得深沉
- The ringer记者：像火箭这种没有得分手的球队，甚至是卡姆托马斯对他们来说都是急需的
- [流言板]拉什福德发布社媒动态：新年快乐，愿2025年给大家带来幸福
- 瓜迪奥拉：我们在一些细节上做得还不够好，球员们也很清楚
- [流言板]邮报：鲁尼被解雇后，印有其海报的新年日历被半价出售