Mister Morph
EN JA ZH
はじめる

罠LLMSNARE

LLMSnare

エージェントの振る舞いを測るベンチマーク

モデルが書く前に読んでいるかを確かめ、エージェントの信頼性を左右する習慣を追跡します。

ダウンロード GitHub

BENCHMARK

測るもの、測らないもの

ONGOING

単発の順位ではなく、回帰を継続して見る

SCOPE

能力上限を直接測るものではない

TOOLS

tool calling 寄りの benchmark

LAZY

怠惰な早書きを検出する

CASE

Case-driven で基準を変えられる

LIMITS

今は直接点数に入れていない軸

EXPLAIN

加点も減点も理由を追える

CASES

見抜けるミス

P-01

十分に把握しないまま手を動かす

P-02

誤った道だと分かっていても進む

P-03

曖昧さに論理がはまり込む

UPDATES

更新ログ

benchmark の読み方に関わる最近の変更だけを載せています。

  1. Grok 4.1 を削除し、Gemini 3.5 Flash と GPT 5.5 を追加しました。
  2. DeepSeek V4 Pro と DeepSeek V4 Flash を追加しました。
  3. 更新頻度を 3 時間ごとに変更し、Claude Sonnet 4.5 と Claude Opus 4.5 を削除しました。
  4. Claude Opus 4.7 を追加し、OpenAI GPT 4.1 と Claude Haiku 4.5 を削除し、新しい search_text ツールを加え、難易度も引き上げました。
  5. Google の Gemma 4 31B と Xiaomi の Mimo v2 Pro の 2 モデルを追加しました。
  6. 満点を取るモデルが増えたため、難易度を引き上げました。
  7. LLMSnare のライブ benchmark を開始しました。