Apple ML Research の最新AIニュース

拡散モデルの少数ステップ生成における課題を解決するため、各逆ステップを条件付き正規化フローとしてモデル化し、尤度ベースの正確な学習を可能にする新しい手法である正規化軌道モデルを提案する。

多様な環境で汎用AIエージェントを効率的に訓練するため、プロンプトグループ選択とセルフ蒸留を組み合わせた新しいフレームワークRISEDを提案。環境間の関係性を考慮し、学習の効率と性能を向上させる。

ユーザー自身が構築するパーソナルセンシングシステムにおける存在論的境界の交渉について考察。使いやすさや有用性だけでなく、システムがもたらす制限やデザインの権限委譲に焦点を当てたオープンエンドなプローブを設計し検証している。

多言語自己教師あり音声モデルの事前学習において言語識別能力を強化することで、多言語特有の性能低下を軽減し、単言語モデルとのギャップを縮小できることを示しました。言語間共有を維持しつつ音声および言語学的指標での改善を確認しています。

自律型機械学習エンジニアリングエージェントの性能向上において、複雑なマルチエージェントシステムとシンプルなコード実行エージェントのどちらが必要十分であるかを検証しています。

大規模言語モデルの出力制御における効果性と流暢さのトレードオフを体系的に調査しました。概念の注入と削除のシナリオを通じて、既存の効率的な制御手法が生成品質に与える影響を明らかにしています。

言語モデルが構造化情報を自然言語にシリアライズする際の情報損失を検証するため、算術木構造を用いたラウンドトリッププロトコルを提案。生成と抽出を通じて、思考の連鎖における構成的コンテンツの生存率を実証的に明らかにしている。

確率的変分不等式を解くための連合最適化における収束レートの改善に関する研究。従来の凸最適化の最先端の境界との間にあったギャップを埋めるため、新たな改良された収束レートを確立し、スムーズで単調な変分不等式に対する効率的なアプローチを提示している。

Appleデバイスの音声入力で動作するオンデバイスのニューラル音声エンコーダーについて、潜在空間蒸留を用いてモデルを圧縮し、メモリ消費量、電力、レイテンシーを削減する手法を提案しています。

既存の拡散モデルの内部状態を利用して推論時の追加処理を不要にする新しい誘導手法、プローブガイダンスを提案。連続拡散言語モデルに適用しその有効性をベンチマークで検証している。

生成モデルの挙動を制御する活性化ステアリングにおいて、介入の必要性を適応的に判断し強度を調整する新手法DSASを提案。従来の一律的な介入によるモデル性能低下を抑制しつつ、有害性の軽減などの制御をより柔軟かつ効率的に実現する汎用的なフレームワークです。

自律型強化学習において環境の復元が困難な課題に対処するため新しい評価指標を導入。物体の落下や散乱など操作が不可逆な環境における学習の限界を測定するため、連続的なパラメーターで環境の可逆性を制御し、リセットオラクルを用いた厳密な評価を可能にするフレームワークを提案している。

エージェント型LLMが過去のセッションの知見を継承できず毎回ゼロから開始する問題を解決する新しいメモリ構造を提案。過去の全履歴を保存する非効率さを避け、ドメイン制約やツール利用パターンなど必要な情報のみを選択的に保持することで、コンテキストの質を高め生成パフォーマンスを向上させる。

文章レベルに留まっていた従来の手話翻訳とは異なり、談話構造を考慮した新しい翻訳フレームワークであるDiscoSignが提案されました。大規模言語モデルを活用し、空間的な照応関係や手話特有の言語現象をモデル化することで、より自然で文脈に即した手話グロスへの変換を実現します。

従来のVLAモデルが抱えるモノリス的な動作生成の限界を克服するため、行動を再利用可能な抽象的モジュールとして学習するREFACTOR-VLAを提案。これにより長期間のタスク実行能力を向上させるとともに、モデルの動作の解釈可能性と構造化を強化する新しいアプローチを実現した。

大規模言語モデルを情報処理ルールとして捉え、ベイズ更新からの逸脱度を測定することで、モデル内部の確率的信念における不整合性を調査する手法を提案した。医療や科学など不確実な領域での応用において、モデルがどのように情報を更新し判断を下すかの理論的基盤を検証する研究である。

オープンドメインQAにおける報酬信号の設計課題に対し、検索された根拠に基づき品質を多次元分解したルーブリックを生成する手法を提案。この手法は、事後学習において回答の質を細かく評価・監督することを可能にし、多角的な基準を同時に満たす高精度なモデルの調整を実現する。

ツール呼び出し能力をモデルに蒸留する際、教師モデルの生成とフィルタリングに頼る従来のプロセスは非効率的で失敗から学習できない課題がありました。PROOF-Genは最適化されたデータを用いてこれらの課題を解決し、より効果的でコスト効率の高いモデル学習を実現する新しい手法を提案しています。

STARFlow2は言語モデルと正規化流を融合させ、テキストと画像の交互シーケンス生成における構造的な断絶を解消する手法である。従来の離散的トークン化や非対称な生成プロセスの限界を克服し、視覚的な忠実度を維持しながら、事前学習済みの理解能力を損なうことなく高度なマルチモーダル生成を実現する。

マルチモーダルAIが推論時に中間画像を生成する視覚的思考は計算負荷が課題となっている。本研究では推論中に画像を出力せず学習を通じて視覚的思考をモデル内部に統合する手法を提案し、動画に対する能動的な推論を効率化しつつ性能を維持することに成功した。

訓練データが不足する言語に対して多言語言語モデルの性能を向上させるため、語彙的な介入を通じて高リソース言語から効率的に知識を転移させる手法を提案した研究。科学的推論や一般知識の習得を目的とし、データ制約下でのクロスリンガル転移の課題解決を目指している。

大規模言語モデルが示す感情表現や関係構築などの人間らしい振る舞いがユーザーに与える影響や、システムプロンプトによる制御のあり方を多角的に分析した研究。モデルがどのような状況で人間のような挙動をとるべきかという指針を策定するため、モデルの特性やユーザー要因を包括的に調査している。

言語モデルの推論能力向上に用いられるGRPO手法が、英語以外の言語や多言語環境でどのような効果を発揮するかを大規模に検証した研究。ネイティブ言語での推論訓練がモデルの推論能力強化に寄与することや、多言語設定での最適化戦略について包括的な分析を行い、英語中心の研究に一石を投じている。

モデルから特定の学習データを削除するアンラーニングにおいて、モデルへの影響度が極めて低いデータは削除対象から除外することで計算コストを大幅に削減する手法を提案した。影響関数を用いた比較分析により、効率的なデータ削除プロセスを実現し、プライバシー保護と学習効率の両立を目指している。

言語モデリングにおいて自己回帰モデルに代わる手法として連続拡散やフローマッチングモデルが注目されている。本研究はガウス分布とワンホット符号化データ間のフローマッチングによる離散データ生成の可能性を拡張し、カテゴリカルデータにおける生成プロセスの効率化とスケーリング手法を提示している。

オープンソースモデルの利便性を維持しつつ、不正な改変や悪用を防ぐための新しい重み固定手法を提案。事前学習済みモデルの重みを凍結した状態で低ランク残差アダプターのみを学習させることで、モデルの性能を保持しながら堅牢な保護を実現し、再配布時のセキュリティと信頼性を向上させる研究。

画像生成モデルである拡散Transformerにおいて特定の高ノルムトークンが注意を過剰に占有する現象を分析した研究。この外れ値トークンはエンコーダーとデノイザー双方で発生し、モデルの性能や生成品質に影響を及ぼす。本稿ではこれらのトークンを適切に制御することで生成プロセスを最適化する手法を提案する。

大規模言語モデルで重要な選好調整がマルチモーダルモデルに与える影響を調査した研究。画像理解タスクにおける幻覚現象は事実誤認だけでなく画像との不一致からも生じることを指摘し、マルチモーダルモデル特有の調整の重要性を明らかにしている。

UMAPが内部で構築するkNNグラフに着目し、低次元埋め込みでは失われがちな高次元空間の構造情報を活用する手法を提案。標準的なグラフアルゴリズムを適用することで、従来の可視化手法よりも高精度なデータ分析とセンスメイキングが可能であることを実証した研究報告。

AppleはSiriの表現力豊かな音声をオンデバイスでリアルタイム生成する技術を発表しました。AFM 3 Core Advancedモデルから出力されるセマンティックトークンを、Apple Matrix Coprocessorの厳しいメモリ制約下で高忠実度オーディオに変換する新しいデトークナイザーアーキテクチャを採用しています。