「local-llm」の最新AIニュース

llama.cppのOpenCLバックエンドが更新され、Gemma-4のE4BおよびE2BモデルのGPUデコードが有効化されました。また、DK64やDK512などの処理改善や最適化が行われています。

EVO-X2環境を活用し、Qwenモデル向けにllama.cppのベース入れ替えやMTPの調査を行った技術的な取り組みについて解説しています。

Python開発環境におけるRustベースのツールへの移行や、自己改善型AIエージェントの活用、およびローカルLLMやOpenAIによるAstral買収の動向など、2026年の技術トレンドについて解説しています。

ローカルAIやエージェントの学習プロセスにおける興奮や圧倒される感覚、そして直面するフラストレーションについて実体験を交えて解説する記事。

クアルコムのCEOによると、AI企業は2028年までに1000億パラメータ規模のモデルをスマートフォン上で常時実行できるデバイスの実現を求めていることが明らかになりました。

10人規模のスタートアップ企業向けに、4基のR9700を搭載したローカルLLM用のカスタムハードウェア環境を構築する事例について紹介しています。

llama.cppのサーバー機能におけるアップデート情報。リクエストがピン留めされている際にビジースロットをそのまま維持する修正などが含まれています。

EmbeddingGemma 2を活用し、Mac上でローカル実行してファイルの内容から目的のデータを検索できるオープンソースアプリケーションが登場しました。

自分専用のローカルAIシステムを構築するため、モデルの選定や実行環境の調査を行った開発記録。Pythonによるアプリケーション制御や会話履歴の管理を組み合わせ、仕組みを理解しながら実装を目指すプロセスについて解説しています。

分散した顧客データを接続し共通の業務モデルとして探索できるオープンソースソフトウェアであるHelix Foundryの概要とローカル起動の検証結果を紹介。サービスごとのデータ構造の違いをオントロジーで結びつける直感的な操作性を持つ一方で実運用におけるセキュリティの懸念についても触れている。

RedditのLocalLLaMAコミュニティにおいて、LLMの適切なサイズ選択や好みのモデル規模について議論が行われており、ユーザーに対してXでの意見表明が呼びかけられています。

オープンウェイト化されたd1-3Bモデルを低スペックPCのローカル環境で動かし、クラウドに出せない設備点検記録48件の一次選別への実用性をC#からの呼び出しを含めて検証した実践記録。

中国発の公開ウェイトモデルに関するリスクの網羅的調査を実施。ローカル実行環境においても潜在的な危険性が複数の独立した研究によって実証されていることを報告している。

テキスト、画像、動画をネイティブ処理できる350億パラメータのローカル実行向けGGUFモデルが登場。Mixture-of-Expertsアーキテクチャを採用し、262Kトークンの長文コンテキストに対応しています。

llama.cppリポジトリにおいて、上流からのディープネストされたJSONパッチを適用するベンダーアップデートが行われました。

ローカルLLM実行ツールであるOllamaのアップデート版v0.40.3が公開され、ローカルモデルの互換性マイグレーションをスキップする修正などが行われました。

中国などの制限がある環境でもノートパソコン上でAIを利用するため、OpenVINOを活用してローカル環境でLLMを動かす方法について解説しています。文章の整形や打ち合わせのまとめなどに活用可能です。

設計書や仕様書などの資料を効率的に検索するため、用語による全文検索と意味検索を組み合わせたローカル知識ベースを自作した試みについて解説しています。リポジトリ外の文書も含めた横断的な検索を実現します。

クラウドAPIの利用を避け、セキュリティを考慮してローカル環境でAIを実行したいというモチベーションから、Jevおよびそのオープンウェイトの代替となる複数の構成について調査・比較を行った内容をまとめています。

Googleが画像や動画などのマルチモーダルデータに対応した軽量なオープンモデル「EmbeddingGemma 2」を発表しました。Hugging FaceやKaggleで重みが公開されており、オンデバイスでのデプロイや各種開発ツールとの連携をサポートしています。

Apple Silicon上でローカルLLMを効率的に実行するためのオープンソース推論エンジンax-engineを開発し、MTPによる高速化やメモリ帯域の検証結果について解説している。

アドビのライトルームの代替となる、AI機能を搭載した完全ローカルで動作する無料のオープンソース写真編集ソフトが発表されました。インターネット接続不要でプライバシーを保護しながら高度な画像処理を利用できます。

llama.cppにてMusa FWHTの不具合を修正するプルリクエストがマージされ、ビルド11514として公開されました。

ローカルLLM実行プラットフォームであるOllamaのバージョン0.40.2が公開されました。バグ修正やパフォーマンスの改善が含まれています。

Googleは、デバイス上のAIを活用して会話の文字起こしやノート生成、質問への回答をオフラインで行う新しい会議ノート作成アプリ、AI Edge Foresightを発表しました。

NVIDIA A10Gを用いた360回の測定により、次トークンを先読みする補助モデルを活用することでGemma 4の出力速度が最大2.19倍に向上することが判明した。GPUカーネルの変更なしで高速化を実現する2つの方法を解説する。

Microsoftは、NVIDIA RTX Sparkを搭載しローカル環境での大規模AI実行を可能にする新型SurfaceノートPCおよび開発者向けデスクトップPCの予約受付を開始しました。

一人企業が自宅のMac1台を使用し、Claude Codeによる17の無人ジョブをセルフホスト環境で運用している構成と実践時の注意点について解説しています。

WindowsにおけるハイブリッドAIの進化と、分散処理を行う新しいアプローチであるHydraFusionについて、開発者視点を交えて解説しています。ローカルとクラウドの双方を活用した処理のあり方が変化しつつあります。

ローカルLLM実行プラットフォームであるOllamaのバージョン0.40.1がリリースされました。Apple Silicon向けMLXフレームワークのMetalレジデンシーパッチがアップストリームに統合されたことに伴う変更が含まれています。