Inspired by @typesafeai , here is a Jev-compatible…

CASE catgckGAMES

Eric Zhang

認証済み

Inspired by @typesafeai , here is a Jev-compatible public API to play with It runs a comparable open model (Qwen3.6-35B-A3B), and just uses SGLang radix cache to preserve the prefill reuse / really fast parallel systemone generation - 64 tasks in <1s. https://t.co/bbRh4yAPAB https://t.co/misKQE8n8f

翻訳

@typesafeai に触発されて、Jev 互換の公開 API を用意した同等のオープンモデル（Qwen3.6-35B-A3B）で動き、SGLang の radix キャッシュで prefill の再利用を保って、本当に速い並列 System One 生成を出す。64 タスクを 1 秒未満で。 https://t.co/bbRh4yAPAB https://t.co/misKQE8n8f

109.7K

再生

873

821

保存

リポスト

X で元の投稿を見る

リンクとタグ