llama.cpp Releases5時間前LocalLLMNEWllama.cppがGemma-4のOpenCL対応を強化llama.cppのOpenCLバックエンドが更新され、Gemma-4のE4BおよびE2BモデルのGPUデコードが有効化されました。また、DK64やDK512などの処理改善や最適化が行われています。gemmallamaopen-sourcelocal-llm
llama.cpp Releases7時間前LocalLLMNEWllama.cppのOpenCL画像制限を修正q4_k dense binカーネルやq4_0 bcast、rmなどのOpenCLにおける画像制限の不具合を修正するアップデートが公開されました。llamalocal-llmopen-source
llama.cpp Releases9時間前LocalLLMNEWGGMLのRPCデバッグログ機能の改善GGMLのRPCデバッグ機能が詳細度レベルの指定に対応しました。環境変数により0から3までの段階的なログ出力を設定可能になり、ログ処理が共通化されて効率的なトラブルシューティングが実現します。llamalocal-llmopen-source
llama.cpp Releases11時間前LocalLLMNEWPrism Bonsai 2 27Bモデルに対応AIモデルのランタイムおよび変換処理において、Prism Bonsai 2 27Bのサポートが追加されました。Hadamard演算や重みの処理に関する修正とコードのクリーンアップが行われています。local-llmopen-source
llama.cpp Releases11時間前LocalLLMNEWllama.cpp b11555リリースllama.cppのアップデートb11555が公開され、AVX2対応CPUで利用可能な場合にF16C命令が使用されない不具合が修正されました。llamalocal-llmopen-source
llama.cpp Releases12時間前LocalLLMNEWVulkanバックエンドの修正ローカルLLM実行エンジン等の開発において、Vulkanバックエンドのmul_mat_idの重複処理をループ内からプリパスへ移行する修正が行われました。llamalocal-llmopen-source
llama.cpp Releases1日前LocalLLMllama.cppのサーバー更新 b11552llama.cppのサーバー機能におけるアップデート情報。リクエストがピン留めされている際にビジースロットをそのまま維持する修正などが含まれています。llamalocal-llmopen-source
llama.cpp Releases1日前LocalLLMMiniCPM-V 4.7モデルに対応マルチモーダルAIモデルであるMiniCPM-V 4.7のサポートが追加されました。追加の位置スロットからのmropeタイムの許可や、変換スクリプトの更新が含まれています。multimodalopen-source
llama.cpp Releases1日前LocalLLMllama.cppでz17ターゲットを無効化ローカルLLMの実行基盤であるllama.cppにおいて、サポートされていないコンパイラ向けのs390xアーキテクチャにおけるz17ターゲットの無効化が行われました。llamalocal-llmopen-source
llama.cpp Releases1日前LocalLLMllama.cppに環境変数設定機能が追加llama.cppにスロット保存パスを環境変数から設定できる機能が追加されました。systemdの環境ファイル等からの設定が可能になり、ローカルLLMの運用管理がより柔軟になります。llamalocal-llmopen-source
llama.cpp Releases1日前LocalLLMllama.cppなどの仕様修正AIモデルのマルチモーダル入力処理に関する仕様を適切にハンドリングするように修正が行われました。llamaopen-source
llama.cpp Releases1日前LocalLLMllama.cppがビルド機能のアテンションマスクを更新ローカルLLMの実行環境であるllama.cppにおいて、mtmdモジュールへのbuild_inp_attn_mask追加を含むビルドのアップデートが実施されました。llamalocal-llmopen-source
llama.cpp Releases1日前LocalLLMllama.cppがCUDAのMMVQ最適化を更新llama.cppのビルドにおいて、sm_60環境での行列積演算子MUL_MAT_IDに対するMMVQの使用を常に有効化するアップデートが行われました。llamalocal-llmopen-source
llama.cpp Releases1日前LocalLLMCUDA/HIPフラッシュアテンションの修正CUDAおよびHIP環境におけるフラッシュアテンションの処理において、複数バッチ実行時の競合状態を修正するアップデートが行われました。local-llmopen-source
llama.cpp Releases1日前LocalLLMggml-cpu:fp32からfp16への変換をベクトル化LLMのローカル実行などに用いられるGGMLのCPUバックエンドにおいて、単精度から半精度浮動小数点数への変換処理をベクトル化するアップデートが実施されました。llamalocal-llmopen-source
llama.cpp Releases1日前LocalLLMVulkanバックエンドのNVIDIA向け最適化llama.cppなどのVulkan実装において、NVIDIA製GPUのMUL_MAT_ID処理を改善するため、Pre-Turingを除くNVIDIA製GPUで4行を使用するポリシーにアップデートされました。llamalocal-llmopen-source
llama.cpp Releases1日前LocalLLMggmlのs390xにおけるCPUビルド修正大規模言語モデルのローカル実行を支えるggmlライブラリにおいて、IBMのs390xアーキテクチャにおける全CPUビルドの問題を修正するアップデートが行われました。llamalocal-llmopen-source
llama.cpp Releases1日前LocalLLMOpenCL向けの量子化モデル用カーネル追加オープンソースのLLM実行環境において、OpenCL向けに量子化された混合専門モデル用の新しいバイナリカーネルが追加されました。ローカル環境での効率的な推論処理のパフォーマンス向上が期待されます。local-llmopen-source
llama.cpp Releases1日前ResearchSYCLによるMXFP4 MoEの高速化SYCL環境において、算術デコーディングと重みの再順序付けを活用してMXFP4形式のMixture of Expertsモデルを加速する取り組みについて報じています。researchopen-source
llama.cpp Releases2日前LocalLLMllama.cppの更新情報llama.cppリポジトリにおいて、上流からのディープネストされたJSONパッチを適用するベンダーアップデートが行われました。llamalocal-llmopen-source
llama.cpp Releases2日前LocalLLMllama.cppの更新:b11535llama.cppのベンチマークツールにおいて、必要なベンチマークサイズよりも大きい場合にfitcパラメータを適切に反映させる修正が行われました。llamaopen-sourcelocal-llm
llama.cpp Releases2日前LocalLLMllama.cppがCUDAの丸め処理の不具合を修正llama.cppのリポジトリにおいて、CUDAの丸め処理に関する不具合が修正され、MSVC環境下におけるCPUとGPU間の演算結果の一致が確保されました。llamalocal-llmopen-source
llama.cpp Releases2日前LocalLLMllama.cpp:埋め込み処理の最適化とGemma修正llama.cppのリポジトリにおいて、埋め込み処理のためのグラフ最適化やGemmaモデルの入力埋め込み構築ロジックの修正、LoRAに関するTODO追加などのアップデートが行われました。llamagemmalocal-llmopen-source
llama.cpp Releases2日前LocalLLMGGUFメタデータからのコンテキスト長読み込み機能の改善モデル全体を読み込むことなくGGUFファイルのメタデータから訓練済みコンテキスト長を効率的に取得する機能が追加され、ファイル読み込みの最適化と利便性が向上しました。llamalocal-llmopen-source
llama.cpp Releases2日前ResearchCUDA:SSM_SCAN後の冗長なCUDAコピーを削除SSMスキャンにおいて更新された状態スナップショットのコピーをリカレントキャッシュへ統合し、特殊デコード以外のシナリオでも冗長なCUDAコピーを削除するCUDAの最適化が行われました。open-source
llama.cpp Releases2日前LocalLLMllama.cppのA6x GPUカーネルコンパイル修正llama.cppのOpenCLバックエンドにおいて、A6x系GPUのシェーダーコンパイラクラッシュを回避するための修正が実装されました。引数が多すぎるカーネルのスキップや定数畳み込みのワークアラウンドが含まれています。llamaopen-sourcelocal-llm
llama.cpp Releases2日前LocalLLMModernBERTの正確なGELUに対応ModernBERTエンコーダー向けに正確なGELU活性化関数を実装し、GGMLにおけるtanh GELUのエイリアス保持やマッピングの追加を行いました。llamalocal-llmopen-source
llama.cpp Releases2日前LocalLLMllama.cppがb11531をリリースローカルLLM実行基盤のllama.cppにおいて、APIのリファクタリングを含む更新が行われました。llamalocal-llmopen-source
llama.cpp Releases2日前LocalLLMllama.cpp: サンプリンググラフの静的化llama.cppにおいて、マイクロバッチ間でバックエンドのサンプリンググラフを静的に保つ修正が行われました。サンプリングチェーンの構築方法を統一し、グラフのトポロジ変更によるエラーを防いでいます。llamaopen-sourcelocal-llm
llama.cpp Releases2日前LocalLLMGGML、負のオフセットによるOOB書き込みを修正GGMLライブラリにおいて、size_t型のオフセットがint32_t型に縮小される際の検証不足により発生していたメモリの境界外書き込みの脆弱性が修正されました。llamalocal-llmopen-sourcesecurity