「fine-tuning」の最新AIニュース

QwenやGemmaなどの大規模言語モデルをファインチューニングし、較正された確率を用いて正確な意思決定を行わせる手法について解説しています。

NVIDIAのNemotronモデルファミリーを微調整し、国際情報オリンピックと国際数学オリンピックで金メダル級の成果を達成したことを発表。高度な推論能力と問題解決におけるLLMの有効性を示しています。

Qwen Image 2.1 LoRAを活用した商品画像生成のチュートリアル記事。商品ライティングや背景統合の方法、対応プラットフォーム、具体的なユースケースについて詳しく解説しています。

Irodori-TTS v4.1を用いた短い単語の読み上げ実験において、参照音声に無音除去や音量正規化などの下処理を施すと、音声の前後に意図しない音が混入する現象とその原因を検証しています。

EmbeddingGemma 2をローカル環境で実行し、Unslothを使用してモデルをファインチューニングする方法について解説しています。

YouTuberのPewDiePieがローカルAIモデルの訓練データ作成にOpenAIのAPIを使用したところ、利用規約違反によりアカウントを二度にわたりBANされたことが話題となっています。

大規模言語モデルの強化学習における低精度化の課題を解決するため、ロールアウト誘導型量子化学習手法であるTRACEを提案。学習とロールアウトのパス間における量子化の不整合を直接削減することで効率的なFP4強化学習を実現する。

汎用大規模言語モデルを特定の専門領域に適応させるため、多段階の最適化を必要とする従来の教師あり微調整と強化学習のパイプラインではなく、強化学習のみを用いた新しい領域適応手法を提案し、その課題とアプローチについて解説している。

単一コマンドでLLMのファインチューニングが可能なCLIツールSoupのLayer Streaming機能について、4GBのVRAMを搭載したGPU環境で実際に検証を行った結果、学習の動作は確認できたものの、生成されたアダプタが空になる現象が発生したことを報告している。

大規模言語モデルエージェントの長期的タスク実行能力を向上させるため、検証済み経験の自己蒸留を用いたオンラインテスト時訓練フレームワークASCENTを提案。関連タスクのストリームからモデルの重みを直接適応させる手法を研究している。

LLMにコードを書かせて検証器で選抜する進化エンジン「TANREN」を用いて、Xの本番キャッシュアクセス記録を対象に実験を実施しました。人間の指示のもとで最適化されたコードは、20年来のキャッシュ管理の定石を上回る性能を記録しました。

ベースモデルを用いて多様な環境下での成功した解決策を発見し、一般的な環境の学習軌跡として再構築する新しいフレームワークを提案。プランナーと批評家により効果的なトレーニングデータを抽出・生成する。

AIとの対話や業務活用において、データを学習させたのか、入力として一時的に参照させただけなのかを区別して考える重要性について解説しています。プロンプトへの添付やRAG、ファインチューニングなどの仕組みの違いを整理しています。

線形アテンションの固定サイズリカレント状態における低精度量子化の精度低下を解決する手法STEPQuantを提案。時間軸と空間軸の両方における誤差の伝播メカニズムを分析し、効率的なメモリ削減と精度維持を両立します。

オンポリシー学習とオフポリシー学習の違いがモデルの蒸留ダイナミクスに与える影響を制御された設定で検証。ロールアウトポリシーやKLダイバージェンスの方向、学習率を独立して変化させ、それぞれの効果を詳細に分析している。

LLMのポストトレーニング手法であるRLHFの課題を克服するため、人間の採点を介さずに報酬を設計するRLVRの仕組みについて解説する記事。

LangChainがLangSmithの大型アップデートを発表しました。レッドチーミングや自動テストを備えたEngine v2、管理型ディープエージェントの新バージョン、ファインチューニング機能などが追加されています。

リアルタイム制御が可能なLLMモデルであるJevのゲームプレイデモを受け、古典的手法や軽量化のためのLLM蒸留について解説する技術記事。入力が自然言語ではないゲーム等における効率的なモデル置き換えの手法を探る。

LangChainはモデルのポストトレーニングを支援するCLIツールSmithTuneとLangSmith Fine-Tuningを発表しました。手動でのデータパイプライン構築なしで、特化型モデルの訓練が可能になります。

大規模言語モデルのプロンプト処理とテキスト生成において異なる量子化アプローチを使い分ける新しい手法を提案しています。計算形式や重みの配置を各フェーズに特化させることで、推論コストを増やさずに精度を向上させます。

TypeSafe AIのJevはLLMの生成モデルではなく較正済み確信度を返す閉世界の分類器であると解説する。LLMのlogprobsの歪みを解決するためRLCDを用いて較正自体を学習目標としており、信頼性が求められる意思決定プロセスにおいて、従来の生成型AIとは異なるアーキテクチャ上の役割を果たすことを提唱している。

TypeSafe AIが公開したオープンソースモデルLayaについて公式情報の整合性を検証した。公開された複数の資料で性能数値に乖離があることを指摘し、モデルカードの数値を基準にすべきと提言している。また素の状態ではベースラインを下回るため追加学習が実用化の鍵であると結論付けた。

TypeSafe AIが開発した判断モデルJevを用いて日本語IMEの変換候補を再選定したところ、Apple標準IMEと比較して正解率が41.4%から89.7%へと大幅に向上した。試作段階で驚異的な精度改善を確認しており、コーパスの最適化がIMEの利便性に大きく寄与する可能性を示した。

AIモデルの事前承認プロセスにおけるプロンプトの最適化および回帰テストの評価指標向上に関する更新が行われました。開発フローにおける精度向上と安定化を目的とした技術的な修正です。

大規模言語モデルを用いたキャラクターの挙動制御に関する技術的考察。特定のプロンプト構造や実行ロジックを導入することで、キャラクターの性格を動的に変容させる手法を検証した。物語アプリMooXでの実装事例に基づき、禁止項目を設けない制御下での安定した応答生成やモデルの自律的な振る舞いについて解説している。

生成モデルの挙動を制御する活性化ステアリングにおいて、介入の必要性を適応的に判断し強度を調整する新手法DSASを提案。従来の一律的な介入によるモデル性能低下を抑制しつつ、有害性の軽減などの制御をより柔軟かつ効率的に実現する汎用的なフレームワークです。

大規模言語モデルを用いた分類タスクを従来の機械学習における特徴量エンジニアリングの一形態として再定義する考察記事。モデルの出力を構造化データへ変換することで予測精度を向上させる手法や従来のパイプラインとの統合の重要性について論じている。

会話履歴から人物像を推定させるタスクにおいて、指示の強弱による挙動の違いを検証しました。年齢の推定には属性名指しの強い忌避指示が有効でしたが、職業や役職については完全な抑制が難しく、カテゴリレベルの推測が残るなど、指示の文脈や対象による出力傾向の差異が明らかになりました。

オンポリシー蒸留において学習中のモデルの回答が不自然に長くなる長さ膨張現象を分析した研究。教師モデルと生徒モデルの間で終了トークンに対する解釈の不一致が生じることが主な原因であり、この不一致がモデルの生成終了を阻害していることを特定した。

AIが科学論文の査読を自動化する機会が増える中、AI生成の査読データが次世代モデルの学習に再帰的に利用されることによる判断精度の低下を検証した。研究ではLlama 3.1をベースに査読モデルを構築し、このフィードバックループが科学的評価に与える負の影響と、それを緩和するための手法を提案している。