4 月初的时候我搞了个小龙虾, 结果这家伙经常死机, 用起来很累.
后来 hermes 出来的时候,我开始试用, 感觉比龙虾好用好多, 最起码看起来算个能干活的, 中间几次版本迭代更新,以及试用各种本地模型, 来回折腾重装了很多次, 最终决定还是长期使用它, 有了这个定论之后, 开始大规模的下载大模型到本地电脑一个专门的文件夹, 然后复制到 omlx 的 models 文件下并随时启用测试.
另外还安装感觉目前最好用的 webui: https://github.com/EKKOLearnAI/hermes-web-ui/blob/main/README_zh.md
以及这几天刚出来的自我进化 skill: https://github.com/NousResearch/hermes-agent-self-evolution
同时参考了这个:https://github.com/0xNyk/awesome-hermes-agent 以及 x 上几个博主, 跟进下最新进展以便随时跟进.
目前 32G 内存 air, 我试过最大可以勉强跑 qwen3.6-35B 的 4bit 量化版本,还有 Gemma4-26B,输出速度很慢但我经常在睡觉前扔给它一个任务, 睡醒了基本上都可以执行完毕, 虽然不随心应手, 但勉强能用.
为了不让 Mac 崩溃, 我还让 Hermas 设置了一个自动监控任务, 一旦内存占用超过危险的可能导致系统崩溃并重启的 92%,立刻降低推理和演算速度, 确保系统不崩溃, 这个任务设置后,效果非常明显.
我用了一个风扇对着 Macbook air 吹, 降温效果明显, 在上述自动内存监控任务启动后, 高温的机会也少了好多.
感觉瓶颈最终还是硬件, 在 M5 Mini Mac 没上市前, 还是先保持跟进吧.