vLLM Releases の最新AIニュース

LLMの高速推論エンジンであるvLLMに関連するプロトコルライブラリのバージョン0.5.0が公開されました。

キャッシュされたプロンプトトークンをキャッシュ層ごとに公開するメトリクス機能が追加されました。AIモデルの実行効率やキャッシュ利用状況の細やかなモニタリングが可能になります。

vLLMプロジェクトのバージョン0.31.0rc5における軽微な更新として、要件定義ファイルにTransformersライブラリのバージョン上限が追加されました。

vLLMプロジェクトにおいて、Transformersライブラリのバージョン上限を要件に追加するアップデートが行われました。

Model Runner V2のアップデートにより、ランダム化されたダミー入力のサポートが追加されました。開発プロセスの効率化やテスト環境の改善に寄与します。

AIモデルの推論や学習を効率化するソフトウェアのバージョン0.31.0rc2が公開されました。Mambaモデルにおけるプロンプト終了時のプレフィルチェックポイントの保持に関する不具合などが修正されています。

AMDのMI355 GPUにおけるNVFP4およびMoRIカーネルミラーのサポートを追加するアップデートが行われました。ROCm環境での計算処理最適化を目的としており、大規模モデルの実行性能向上や計算効率化に寄与する技術的な修正が含まれています。

DeepGEMMにおいてCUDA 12.9のリリースビルドで発生していた不具合を修正するアップデートが実施されました。エンジニアによる修正およびOpenAI Codexによる支援が行われ、安定したビルド環境の提供に向けた改善が完了しています。

大規模言語モデルの推論高速化技術であるFlashInferにおけるBF16自動チューニングのバグを修正するアップデートが公開されました。推論エンジンにおける安定性と計算効率の最適化を図るためのリリースとなります。

vLLMプロトコル関連のアップデートであるv0.3.0が公開されました。推論エンジンやLLMのサービング基盤に関連する機能強化や修正が含まれており、開発環境やデプロイメントの効率化を目的とした重要なリリースとなっています。

大規模言語モデルの推論エンジンとして広く利用されるvLLMにおいて、プロトコル機能の最新アップデートとなるバージョン0.2.0が公開されました。本リリースは関連するプルリクエストによる検証を経て提供されており、推論基盤の安定性と機能改善が図られています。

AIの推論過程で生成されるテキストに対し、推論デコードを用いたデュアルキーガンベルマックス電子透かし技術が導入されました。生成物の識別と安全性を強化する新しい手法として注目されています。

LLM推論エンジンvLLMのプロトタイプ実装であるvllm-protoのバージョン0.1.0がリリースされました。効率的な推論実行環境の構築を目指した開発版として提供されており、今後の機能拡充が期待されるアップデートとなっています。

大規模言語モデルの推論エンジンであるvLLMがv0.29.0rc6へアップデートされました。ハイブリッドモデルに対する密なプレフィックスキャッシュの適用など、コア機能のバグ修正が中心に行われており推論性能の安定化が図られています。

LLM推論最適化エンジンであるvLLMがバージョン0.29.0へアップデートされました。今回の更新ではハイブリッドモデルにおける密なプレフィックスキャッシュのデフォルト適用など、主にコア機能のバグ修正が実施されており、推論の効率性と安定性が向上しています。

TensorRT-LLMのバージョン0.29.0rc4がリリースされました。今回のアップデートではラグドプリフィル処理における同期の問題を修正し、推論の最適化と安定性の向上を図っています。開発者向けに不具合が解消された最新のコードベースが提供されています。

llama.cppの最新リリース候補版が公開されました。今回の更新では不要なモデル設定の削除といったCIプロセスの最適化が行われています。ローカル環境での推論性能や互換性を向上させるための継続的な修正が含まれており、ユーザーは最新のビルド環境にて各モデルの実行検証が可能です。

マルチモーダルモデルの処理における共有メモリワーカーキャッシュのバグ修正が中心のアップデートです。プレフィックスでカバーされた項目を適切に処理するように改善されました。

PyTorchにおけるCUTLASS MoEの順列処理において発生していたパディングルートの不具合を修正するアップデートが公開されました。MoEモデルの効率的な推論や学習の安定性を向上させるための重要なバグ修正が含まれており、開発者コミュニティによりコードの最適化が行われています。

機械学習の実験管理ツールであるWandBの最新アップデート版が公開されました。今回の更新ではスワイプ推奨機能の改善や短いエイリアスの解析機能の強化など、開発者のワークフロー効率を高めるためのツール機能やレシピの改良が中心となっています。

vLLMプロジェクトにおいてarm64環境でのビルドを安定させるため、Cythonのバージョンを3.3未満に固定する修正が行われました。OpenAI Codexの支援を受けて開発されたこのアップデートにより、ビルドプロセスの互換性が改善されています。

推論最適化エンジンであるvLLMがアップデートされ推論を高速化する投機的デコード手法DFlash2が実装されました。ローカル畳み込み処理と候補セレクタを活用することでモデル推論の効率性を高めより高速な応答生成を実現します。

llama.cppのリリース候補版が公開されました。今回の更新ではKVキャッシュのオフロード機能に関連するメトリクス名称の修正などが行われており、ローカル環境での推論最適化が進められています。

推論エンジンvLLMの更新により推論の高速化手法であるSpeculative Decodingにおける検証プロセスが強化されました。Confidence-scheduled verificationの導入によりモデル生成時の効率と精度を両立させ、大規模言語モデルの実行パフォーマンスを向上させています。

arm64環境のテスト用ロックファイルがarctic-inferenceを除外していることを踏まえ、CIにおけるネイティブ拡張の検証をパッケージがインストールされているx86環境のみに制限する修正が行われました。

vLLMの最新アップデートにおいてKimiモデルのVision Transformer機能に対する変更が行われました。具体的にはTPU環境で発生していた互換性の問題を回避するため動的なtorch.compileの適用を無効化する修正が実装されています。

ソフトウェア開発におけるバージョン0.27.0のリリース候補第二版が公開されました。具体的な変更内容は明示されていませんが、新機能の実装やバグ修正が含まれる開発途上のバージョンです。利用者は安定性に注意してテストを行うことが推奨されます。

ソフトウェアの次期メジャーアップデートに向けた最初のリリース候補版が公開されました。詳細な変更内容については公式ドキュメントを参照してください。

高性能LLM推論エンジンvLLMの最新リリース候補版が公開されました。今回のアップデートでは、ROCm環境におけるテストの参照値修正が行われており、主に推論エンジンの安定性と信頼性向上に寄与する修正が含まれています。

推論エンジンvLLMのバージョン0.26.0が公開されました。今回のアップデートは主にAMDのA.X-K1設定の登録に関するバグ修正が行われており、ハードウェアの初期化処理が正しく動作するように改善されています。