タグ: ハードウェア

Zhipu AIのGLM-4.7-Flash（30B MoEモデル）が、RTX 3090/4090（24GB VRAM）やApple Silicon（M3 Max）などのローカル環境で動作可能になった。公式情報ではM3 Maxで60-80 tok/sの速度を達成。Twitter上ではCPUオフロードによる高速化の報告もあるが、公式ソースでは未確認。