MKLを拡張し、指数型分布に従う応答変数も扱えるGLIMARK(Generalized Linear Models with Integrated Multiple Additive Regression with Kernels)を提案。
従来のMKLが連続値のみであった制限を克服し、より多様なデータ型に対応可能。
COVID-19患者の胸部X線画像データにGLIMARKを適用し、ICUへの移行を予測し、臨床的に意味のある特徴を抽出することに成功。
深層学習モデルは訓練データを記憶する傾向があり、特にパラメータ数 p がサンプル数 n より多い場合に顕著です。
本研究では、この記憶をデータ再構成の観点から分析し、p がデータ次元 d とサンプル数 n の積 (dn) を超える場合にデータ再構成が可能であることを示します。
ランダム特徴量モデルでは、p が dn を大きく超えるとき、モデルパラメータから訓練データセット全体を復元できる「データ再構成の法則」が明らかになりました。
LLMの強化学習(RL)におけるスカラー報酬の限界を克服するため、より豊かな「テキストフィードバック」を教師信号として活用する研究。
フィードバックを学習中に利用するが推論時には使わない「RL from Text Feedback (RLTF)」を提案。自己蒸留(RLTF-SD)とフィードバックモデリング(RLTF-FM)の2手法を提示。
推論パズル、数学、創作執筆タスクで、提案手法が既存手法を上回り、リッチな教師信号の可能性を示唆。
カーネル法は複雑な非線形パターンを捉えるのに有効ですが、単一カーネルは限定的です。
提案手法GLIMARK(Generalized Linear Models with Integrated Multiple Additive Regression with Kernels)は、指数型分布族の出力を扱えるようにMKLを拡張したものです。
この手法はCOVID-19の胸部X線画像からICU転帰を予測するために応用され、臨床的に意味のある特徴を抽出しました。