这东西我都没见过实物，在 USA 的同学有一台，但是他上线后应用的事情都快拉爆了，暂时没空测我的想法，只能想象着来问一下这里各位佬了:
- C++,Python 的代码 review;
- 根据提示词,处理 MySQL 返回来 8k~13k 条已成 JSON 的数据提取;(字段和内容不多,爆不了上下文)
- 给出初高中的数学物理,某题的解题思路;
需求就这三类事情为主。
问题:
- DGX Spark 128G 跑个什么模型能应付以上三类强度的事情?
- 如果有合适(或者将就)应付的模型，90%额定容量的上下文打进去,要多久时间有反应开始出 tokens?
- 每秒能吐多少 tokens?
考虑:
- 场地空间和物理条件所限,只能找这类小机.
- 可以考虑 Mac Studio M3U 256G,再新款的加钱也不好买,也贵.