一台手掌大小、300克的AI主机，为什么能跑122B模型？

某厂商推出仅手掌大小、重300克的AI主机，却能运行122B参数的大模型，这得益于高效的模型压缩和专用芯片设计。该设备适用于边缘计算场景，如工业质检、智能家居等。行业意义在于，大模型不再依赖云端，边缘AI硬件正变得轻量化和高能效，将推动AI在更多离线或低延迟场景落地。