Inspired by @typesafeai , here is a Jev-compatible…

CASE catgckGAMES

Eric Zhang

已认证

Inspired by @typesafeai , here is a Jev-compatible public API to play with It runs a comparable open model (Qwen3.6-35B-A3B), and just uses SGLang radix cache to preserve the prefill reuse / really fast parallel systemone generation - 64 tasks in <1s. https://t.co/bbRh4yAPAB https://t.co/misKQE8n8f

译文

受 @typesafeai 启发，放了一个 Jev 兼容的公开 API 出来给大家玩底下跑的是一个同量级的开源模型（Qwen3.6-35B-A3B），靠 SGLang 的 radix 缓存保住 prefill 复用，并行的 system-one 生成非常快——64 个任务 1 秒内出完。 https://t.co/bbRh4yAPAB https://t.co/misKQE8n8f

109.7K

浏览

873

821

在 X 上看原帖

外链与标签