「benchmark」の最新AIニュース

AIの推論能力を測るベンチマークの仕組みと課題について解説しています。人間の入試偏差値に例えながら、順位が変動する理由や、ベンチマークがAIの一面を切り取った測定に過ぎないことをわかりやすく紐解いています。

ClaudeのOpus 5.5とSonnet 5.5にそれぞれ同じお題で10枚のスライドを作成させ、作品を伏せた状態で採点して比較した結果、3つのテーマすべてで合計の差が3点以内という引き分けになりました。

NVIDIA A10Gを用いた360回の測定により、次トークンを先読みする補助モデルを活用することでGemma 4の出力速度が最大2.19倍に向上することが判明した。GPUカーネルの変更なしで高速化を実現する2つの方法を解説する。

文章生成を行わず確率と確信度のみを返す判断特化AIのClefを検証した結果、モデルが自信を持った回答の高精度な的中が確認されました。

未知の環境において、LLMエージェントが経験から学習し適応する能力を正確に評価するための新ベンチマーク Learn2Play Benchが提案されました。事前知識による推論とインタラクションを通じた学習の区別を困難にしていた従来の課題を克服し、エージェントの動的な環境適応力を測ります。

人型ロボットの学習を制限するデータギャップを埋めるために構築された、高精度な大規模モーションキャプチャデータセットとベンチマークを紹介するホワイトペーパー。データセットで訓練したポリシーを現実のロボットへ転送する方法を示している。

NVIDIAのNemotronモデルファミリーを微調整し、国際情報オリンピックと国際数学オリンピックで金メダル級の成果を達成したことを発表。高度な推論能力と問題解決におけるLLMの有効性を示しています。

Googleが画像生成・編集モデルのNano Banana 2.1を発表しました。Gemini 3.6 Flashベースで最大100万トークンに対応し、ベンチマークで従来モデルを上回る性能を示しています。APIの画像出力料金は前モデルの約半額に引き下げられました。

Mistral AIが総パラメータ1兆500億のMoE型大規模言語モデル「Mistral Large 4」のプレビュー版を公開しました。サイバーセキュリティやコーディングで高い性能を発揮し、今月末にオープンウェイトで公開される予定です。

ClaudeのOpus 5.5とSonnet 5.5を使用し、家計簿アプリのバグ修正や機能追加を行い性能を比較。見せていない8つのテストケースすべてに合格し、今回の課題では引き分けという結果になりました。

大規模言語モデルの性能低下が本当に起きているのか、ペリカンテストなどの検証を通じて錯覚と事実の境界に迫る。単発のサンプリングによる評価の難しさや、AIの空間理解力に関する考察が行われている。

新しく発表されたClaude Sonnet 5.5は、前モデルと比較して30%以上の高速化と最大30%のコスト削減を実現しつつ、上位のOpus 5.5に迫る性能を発揮します。開発者がClaude CodeやAPIでモデルを選ぶ際の目安を解説しています。

AnthropicがClaude Sonnet 5.5をリリース。価格据え置きで処理速度とコスト効率が大幅に向上し、各種コーディングベンチマークでも飛躍的なスコア改善を達成しました。

マイクロソフトとハグギングフェイスが発表したThinkingBoxは、AIエージェントの表面的な完了報告と、実際のデータベースの状態や副作用のずれを検証するための新しい評価フレームワークとベンチマークです。

主要AIモデル23種の性能スコアとAPI料金をグラフ化し、コストパフォーマンスを比較。高価格なモデルが必ずしも最も賢いとは限らず、安価でも優れた性能を持つモデルが存在することが明らかになった。

AIモデル23種の性能スコアとAPI料金をグラフ化し、価格と賢さが必ずしも比例しない実態を検証した。最高性能のモデルが最安ではない一方で、低価格でありながらトップに迫る性能を持つ高コスパなモデルが存在することが明らかになった。

OpenAIが発表したMentalHealthBenchは、単なるメンタルヘルス向けデータセットを超え、AIと人間の関係性や評価軸を再定義する長期的な転換点となる可能性を秘めた重要な試みである。

Apolloが公開したベンチマークにより、GraphQL経由のMCPツールはREST経由よりもLLMエージェントのトークン消費効率が良いことが示されました。AI時代におけるデータ取得手法としてのGraphQLの優位性を検証します。

超小型の0.8B級LLMであるJeff-0.8BとKev-0.8Bの実機性能を比較。単発推論レイテンシや並列スループットにおいて、Jeff-0.8Bが圧倒的な高速性と長文汎用推論の優位性を示しました。

ClaudeのOpusとSonnetを暗算、プログラム計算、高速化の3つの課題で比較検証。両モデルとも全問正解で引き分けとなったものの、処理時間やコスト、回答の検証方法において違いが見られた。

AlibabaのQwen3.5-4Bをベースに多段蒸留LoRAなどを統合したオープン決定モデル、JevK5 v0.3の実機検証結果を解説。8Bクラスを超える分類精度と優れた実用バランスを実証し、各種評価指標や他モデルとの比較を網羅しています。

LLMの出力を別のLLMで評価するLLM-as-a-judgeにおいて、判定がブレる原因とプロンプトの書き方に関する3つの対処法について詳しく解説しています。

同じLLMを使用してもAIコーディングツールの成功率が大きく異なる原因を検証。モデル自体の性能ではなく、モデルを囲むツール側の仕組みであるハーネスの設計が成果を大きく左右していることが判明した。

2026年10月時点の最新情報に基づき、各社の意思決定モデルであるSystem Oneモデルの仕様やベンチマークを仕組みの観点から比較・解説しています。

Cloudflareが公開した判定モデルClefおよびClef-flashについて、精度、速度、料金、互換性の観点からJevと比較検証した結果をまとめています。

公開スコア1位のAIを複数回測定したところ大きな数値のばらつきが発生しました。原因を分解して検証した結果、大半の差は知能の高さではなくCPUの利用状況や実装方法の違いに起因していることが明らかになりました。

DeepSeekとGPTの実務課題における性能差を検証。同じ問題でも正しくコードが生成される回と空レスポンスになる回があるなど、モデルの挙動の不安定さが報告されています。

Claudeに別のClaudeをプロンプトさせるマルチエージェントの連鎖設計が、単一のプロンプトによるコード生成タスクに対して本当に優れているのかをAPIを用いて実際に計測・検証した記事。

RAMが32GiB以上の環境でCPUを使用してLLMを効率的に動かすための量子化手法や、llama.cppを用いたベンチマーク結果について解説しています。

AIの性能評価におけるテストの点数が必ずしも実質的な能力向上の反映とは限らないという課題について解説しています。AIを活用するビジネスパーソンが、見せかけのスコアに惑わされず正確に判断するための視点を提供しています。