Inspired by @typesafeai , here is a Jev-compatible…

CASE catgckGAMES

Eric Zhang

인증됨

Inspired by @typesafeai , here is a Jev-compatible public API to play with It runs a comparable open model (Qwen3.6-35B-A3B), and just uses SGLang radix cache to preserve the prefill reuse / really fast parallel systemone generation - 64 tasks in <1s. https://t.co/bbRh4yAPAB https://t.co/misKQE8n8f

번역

@typesafeai에서 착상을 얻어, Jev 호환 공개 API를 만들어 뒀다 동급 오픈 모델(Qwen3.6-35B-A3B)로 돌아가고, SGLang의 radix 캐시로 prefill 재사용을 유지해 아주 빠른 병렬 System One 생성을 낸다. 64개 과제를 1초 미만에. https://t.co/bbRh4yAPAB https://t.co/misKQE8n8f

109.7K

조회

873

821

저장

리포스트

X에서 원문 보기

링크와 태그