Jev AI

pytest-jev

a pytest plugin that asks one Jev Noul per plain-English claim about a reply (all claims in one request), passes a claim at p ≥ 0.8 and fails anything unsure, and adds Choice and Score checks; on its 12 example tests it matched Claude Sonnet 5's verdicts in 5.3 s vs 27.1 s at $0.00017 vs $0.0192 per run.

작성자
allebee
분야
LLM app testing
분류
평가와 벤치마크
유형
REPO
호스트
github.com
GITHUB에서 보기

무엇을 판단하는가

CHOICE

Picks one option from a fixed set

SCORE

Rates against ordered levels

NOUL

Answers a yes / no question

Inferred from this project's own one-line summary in the community list — it reads as a SCORE + NOUL decision. Read the source to confirm.

SCORE 호출은 이렇게 생겼다

이 질문 유형의 일반적인 뼈대이지 이 프로젝트의 실제 코드가 아니다.

from typesafe import TypeSafe

ts = TypeSafe()
result = ts.evaluate(
    state=candidate,
    questions={
        "relevance": {
            "type": "score",
            "levels": ["low", "medium", "high"],
            "instructions": "How relevant is this to the query?",
        }
    },
)
if result["relevance"] >= 0.7:
    keep(candidate)
평가와 벤치마크 프로젝트 더 보기