「llama」の最新AIニュース

llama.cppのOpenCLバックエンドが更新され、Gemma-4のE4BおよびE2BモデルのGPUデコードが有効化されました。また、DK64やDK512などの処理改善や最適化が行われています。

EVO-X2環境を活用し、Qwenモデル向けにllama.cppのベース入れ替えやMTPの調査を行った技術的な取り組みについて解説しています。

llama.cppのサーバー機能におけるアップデート情報。リクエストがピン留めされている際にビジースロットをそのまま維持する修正などが含まれています。

RedditのLocalLLaMAコミュニティにおいて、LLMの適切なサイズ選択や好みのモデル規模について議論が行われており、ユーザーに対してXでの意見表明が呼びかけられています。

llama.cppリポジトリにおいて、上流からのディープネストされたJSONパッチを適用するベンダーアップデートが行われました。

ローカルLLM実行ツールであるOllamaのアップデート版v0.40.3が公開され、ローカルモデルの互換性マイグレーションをスキップする修正などが行われました。

llama.cppにてMusa FWHTの不具合を修正するプルリクエストがマージされ、ビルド11514として公開されました。

ローカルLLM実行プラットフォームであるOllamaのバージョン0.40.2が公開されました。バグ修正やパフォーマンスの改善が含まれています。

ローカルLLMの実行フレームワークであるllama.cppに関する話題が取り上げられています。オフライン環境でのモデル実行や量子化技術における活用が注目されています。

ホストメモリに保持されるMixture of Expertsモデルの専門家層に対し、GPUキャッシュを追加するプルリクエストが公開されました。ローカル環境での効率的な推論処理の高速化が期待されます。

ローカルLLM実行ツールOllamaのバージョン0.40.0がリリースされ、埋め込み処理におけるルーティングの修正などのバグ対応が行われました。

UIシェルのデザインを洗練させ、セカンダリボタンやチャット追加ボタンの見た目を調整しました。また、ポインターカーソルやフォントレンダリングの改善、プロパティ解決の修正などが行われており、一部の開発アシストにllama.cppおよびDeepSeekモデルが使用されています。

サブスクリプションのトークン制限を解消するため、一部の処理をローカルLLMに移譲する試みについて解説しています。実行環境にllama.cppを選び、モデルにはQwenを採用して効率的な運用を目指す構成を紹介しています。

ローカル環境で動作する意思決定特化のOllamaモデルを使用し、システムの安全性を脅かす危険なコマンドを自動判別する手法を検証した記事。AIハーネスにおける安全レビューの自動化を目的としています。

ローカル環境で動作するOllamaの意思決定特化モデルを用いて、実行すべきでない危険なコマンドを自動判別し、人間のレビューを求める仕組みを検証した事例について紹介しています。

バージョン文字列からプレリリース部分を除去することで、RC版でも同一リリース向けモデルのプルが可能になりました。

Ryzen AI搭載マシンと大規模言語モデルを用いた検証において、llama.cppの改造とROCm版の初ビルドに挑戦した開発の記録。ベースリポジトリを変更し、ローカル環境での実行最適化を進める過程を描いている。

llama.cppリポジトリにおいて、Windows環境での非推奨なstrdup関数に関する警告を修正するアップデートが行われました。

AI Security Labにおける今後の実験の比較をしやすくするため、共通して利用するOllamaとPythonを用いたLLMの動作検証環境について解説しています。

llama.cppのサーバー機能に新しいシステムワンAPIが追加され、layaやjulia-1などの複数モデルに対応しました。

高価な二足歩行やクラウド依存に疑問を投げかけ、Surfaceと車輪ベースを組み合わせた実用的なフィジカルAIロボットを総予算約90万円で設計。内蔵NPUとOllamaを活用し、ネット不要の爆速ローカル駆動を実現している。

KDDIグループのELYZAが、国立情報学研究所のLLM-jp-4をベースに性能を強化した新しいAIモデルを無料公開しました。事後学習により推論能力を高めた国産オープンモデルとして注目されています。

ローカルLLM実行環境を提供するOllamaのバージョン0.35.1が公開され、ビルドコンテキストの欠落を修正するCIのバグ修正などが行われました。

ローカルLLM実行環境を提供するOllamaの新しいリリース候補版であるv0.35.1-rc1が公開され、clefモデルのサポートなどのアップデートが含まれています。

llama.cppの更新において、非因果モデルにおける画像処理の最大数をubatchに制限する修正が行われました。

RAMが32GiB以上の環境でCPUを使用してLLMを効率的に動かすための量子化手法や、llama.cppを用いたベンチマーク結果について解説しています。

llama.cppのリポジトリにおいて、Qwen4Expモデルに対するMulti-Token Prediction機能の追加を進めるプルリクエストが公開されました。ローカル環境での推論最適化に関する話題です。

llama.cppリポジトリにおいて、因果注意機構の切り替えによるグラフ形状変化の検知機能などの更新が行われました。

ローカルLLMの導入が進む開発現場において、限られた12GBのVRAM環境でOllamaを安定稼働させるためのプロキシ設計と運用ノウハウについて解説しています。

IBM Graniteの8Bモデルを活用してレースシミュレータTORCSのAIコードを部品ごとに開発し、自動テストで検証した実践の記録。すべてのテストに合格しながらも車が走行しなかった原因から、AI開発における仕様設計の重要性を考察しています。