colibrì｜744B超巨大MoEを一般PCで動作させるC言語エンジン

ポイント

• 25GBのRAMで744Bモデルが動作：主要部のみ常駐させ、エキスパートはディスクからオンデマンドで読み込みます。
• 純C言語・依存関係なし：実行時のPythonやBLAS、GPUが不要な約2,400行の単一Cファイル構成です。
• MTPによる投機的デコーディング：int8ヘッドにより1フォワードあたり2.2〜2.8トークンを受理します。

概要・解決する課題

従来、744Bパラメータを持つ超巨大MoE（混合専門家）モデル「GLM-5.2」を実行するには、エンタープライズ向けの高性能GPUクラスタが必須であり、一般のPC環境では起動すら困難でした。

colibrì（コリブリ）は、MoEモデルが「1トークンごとに一部のエキスパートしか活性化しない」点を利用し、常時必要な部分（約9.9GB）のみをRAMに常駐させ、残りのエキスパートは高速SSDからオンデマンドでストリーミングする仕組みを採用することで、この課題を解決します。

ただし、ディスクからの読み込みが発生するため、デコード速度は「~0.05–0.1 tok/s」と非常に遅く、実用的な速度でのチャット用途には向きません。

なぜ注目されているか

H100などの高価なGPUを導入することなく、ローカル環境（12コアCPU、25GB RAM、NVMe SSD等）でフロンティア級モデルの正確な挙動を検証・デバッグできる手段として注目されています。パラメータ数を削って精度を落とすのではなく、GB単価が高いRAMをGB単価の安いSSD＋時間で代替する発想が核心で、精度を保ったまま導入コストを下げられる点が評価されています。

主なユースケース

• 巨大LLMの挙動・推論ロジックの検証：クラウド利用料金をかけることなく、ローカル環境でGLM-5.2の内部挙動を詳細に追跡する。
• 完全オフライン環境での稼働テスト：GPUのないローカルPCで、ディスクアクセス主導の推論パイプラインを構築・検証する。

動作環境

• メモリ：最低16GB以上のRAM（開発者の検証機は25GB。dense常駐に9.9GB、ピーク時は最大で約20GBを使用）
• ストレージ：高速NVMe SSD（モデル格納に約370GB、変換処理には約400GBの空き容量を推奨）
• OS：Linux（WSL2含む）、macOS、またはWindows 11（MinGW-w64によるネイティブビルドに対応）
• CPU：AVX2命令セット対応のCPU

cd c
./setup.sh
COLI_MODEL=/path/to/GLM-5.2-colibri-int4 ./coli chat

こんな人におすすめ

• 巨大MoEモデルやMTP（投機的デコーディング）の内部挙動を追いたい研究者や開発者
• GPU予算はないが、どうしても手元の一般PCで744Bクラスのモデルを動かしてみたいエンジニア