第4章 統合目次

1. 4.1 データに基づくドメイン適応の概要
2. 4.2 事例ベースのドメイン適応
   • 4.2.1 重要度重み付き学習
   • 4.2.2 深層学習に基づく重要度重み付け
3. 4.3 特徴ベースのドメイン適応
   • 4.3.1 ドメイン不変特徴量の表現学習
   • 4.3.2 非対称型の特徴ベースのドメイン適応
   • 4.3.3 対称型の特徴ベースのドメイン適応
4. 4.4 深層学習に基づく特徴ベースのドメイン適応
   • 4.4.1 深層ニューラルネットワークによる表現学習の進化
   • 4.4.2 中間層における分布マッチング
   • 4.4.3 深層オートエンコーダに基づく表現学習
   • 4.4.4 敵対的学習に基づく表現学習
5. 4.5 不変性に基づく教師なしドメイン適応の限界
   • 4.5.1 実験的な限界の示唆
   • 4.5.2 不変性と同時リスクの関係
6. 4.6 まとめ

第4章で学ぶこと

データに基づくドメイン適応とは？

事例ベース

元ドメインのデータを目標ドメインに転移

適用：同質的ドメインシフト

特徴ベース

特徴量を変換して新しい特徴表現を作成

適用：同質的 異質的

4章の構造

ドメイン適応手法の比較

分布マッチング (Distribution Matching)

基本概念

• 空間上で両ドメインの特徴量の確率分布のマッチングを行う
• $\mathbb{D}_T \approx \mathbb{D}_S$ とできれば、変換後の元ドメインの特徴量は目標ドメインの特徴量と結合して予測モデルの学習に利用可能

実現方法

共変量シフトの仮定

同質的ドメインシフト

• 転移学習の目的は目標ドメインにおける期待リスク最小な仮説の学習
• 共変量シフトの仮定のもとでは、ある仮説 $h$ の目標ドメインにおける期待リスク $R_T(h)$ を元ドメインの重み付き期待リスクとして書くことができる

共変量シフト下での期待リスクの変形 (1/2)

期待リスクの書き換え

これを以下のように変形できます：

共変量シフト下での期待リスクの変形 (2/2)

確率密度の分解と変形

同時分布を条件付き分布と周辺分布に分解し、巧妙な1の掛け算を挿入：

共変量シフトの仮定 $p^T(y|\mathbf{x}) = p^S(y|\mathbf{x})$ を使うと：

重要度重み付け

最終的な形式

結論： (4.1)を最小化する問題を解けば目標ドメインの仮説を学習することができる

4.2 まとめ

事例ベースのドメイン適応の要点

• 分布マッチング：元ドメインと目標ドメインの特徴量の確率分布を合わせる
• 共変量シフト：$P_{Y|X}^T = P_{Y|X}^S$ だが $P_X^T \neq P_X^S$
• 重要度重み付け：確率密度比 $p^T(\mathbf{x})/p^S(\mathbf{x})$ を使った重み付け学習

問題設定

基本的な仮定

• 密度比 $r(x) = p^T(x)/p^S(x)$ をデータから推定
• 元ドメインのデータ $\mathcal{D}_S = \{(x_i^S, y_i^S)\}_{i=1}^{n_S}$ を利用

ここで、$\hat{r}(x)$ は推定された密度比

IWLの2段階学習アルゴリズム

重要度重み付き学習（IWL）の特徴

主な特徴

• 目標ドメインのラベルデータは不要
• 重点サンプリングのアイデアに基づく
• 目標ドメインの事例に近い元ドメインの事例に大きな重みを与える

応用範囲

• 重みは事例に対して付与される仮説 $h$ とは独立であるため汎用的
• = 線形モデルから多層ニューラルネットワークまで様々な機械学習モデルに適用可能

マルチソースドメイン適応への拡張

複数の元ドメインがある場合

$M$ 個の元ドメイン $\mathbb{D}_{S_1}, ..., \mathbb{D}_{S_M}$ がある場合の学習問題：

ここで、$h_{S_m}$ を $m$ 番目の元ドメイン $\mathbb{D}_{S_m}$ を用いて推定された目標ドメインの仮説とする

ドメイン間の類似度に基づく重み付け

最適化問題

目標ドメインの入力データと元ドメインの予測の差が最小になるように $\boldsymbol{\beta}$ を決定：

類似度行列

• $W_{ij}$ は目標ドメインの入力 $x_i^T$ と $x_j^T$ の類似度行列 $W$ の $(i,j)$ 成分
• 類似度の計算：$W_{ij} = \exp\left\{-\frac{\|x_i^T - x_j^T\|^2}{2\sigma^2}\right\}$（ガウスカーネル）

2段階重み付け法（2SW-MDA）

統合的なアプローチ

この枠組みにより、複数の元ドメインを効果的に活用して目標ドメインでの予測性能を向上させることができる

4.2.1から4.2.2への橋渡し

転移アダブーストとは

特徴

• 仮説学習に悪影響を与える事例の重みを減らす
• 代表的な研究としてアンサンブル学習の一種であるブースティング手法を利用
• 2値分類問題 $\mathcal{Y} = \{-1, 1\}$ の場合を対象

4.2.2.1 アダブースト

アダブーストとは

• 弱学習器と呼ばれる単体では予測精度のあまり高くない単純な仮説を多数組み合わせて、予測精度の高い仮説を生成する学習法
• 代表的な弱学習器として決定株 (decision stump) を使用

アダブーストのアルゴリズム

通常のブースティングの学習

データ $\{(\mathbf{x}_i, y_i)\}_{i=1}^n$ に対して次の重み付き経験リスク最小化問題を考えます：

アダブーストにおける重みの更新

弱学習器の重み $\alpha_j$ の決定

事例の重み $\beta_i$ の更新

4.2.2.2 転移アダブースト

転移アダブーストの設定

• 目標ドメインと元ドメインでそれぞれラベルありデータ
• $\mathcal{D}_T = \{(\mathbf{x}_i^T, y_i^T)\}_{i=1}^{n_T}$: 目標ドメインのデータ
• $\mathcal{D}_S = \{(\mathbf{x}_i^S, y_i^S)\}_{i=1}^{n_S}$: 元ドメインのデータ

転移アダブーストの特徴

• 目標ドメインと元ドメインの分布の違いによる影響を軽減
• 新しい重み付けの方法を採用

転移アダブーストのアルゴリズム

統合データ $\mathcal{D} = \mathcal{D}_T \cup \mathcal{D}_S$ を訓練データとし、弱学習器を訓練します。

重みベクトル $\beta = (\beta_1^S, ..., \beta_{n_S}^S, \beta_1^T, ..., \beta_{n_T}^T)$ とします。

転移アダブーストにおける重みの更新

重みの更新式

最終的なアンサンブルモデル

最後に $h_1, ..., h_J$ を以下のように統合して、アンサンブルモデル $h$ を構成します：

転移アダブーストの特徴と拡張

転移アダブーストの利点

• アンサンブルモデル $h$ では、学習の前半の弱学習器は捨て、後半のものだけを用いて分類器が構成される
• 各事例の重みがある程度更新され、目標ドメインの分類に寄与する元ドメインの事例が相対的に大きな重みを持つようになる
• $h$ の性能を低下を防ぐ働きがある

マルチソース転移アダブースト

事例ベースから特徴ベースへ

4.3.1 ドメイン不変特徴量の表現学習

特徴ベースのドメイン適応の方法

• 特徴量を変換して目標ドメインと元ドメインを合わせるアプローチ
• 同質的ドメインシフトと異質的ドメインシフトのどちらの設定でも用いることができます

クロスドメインのテキスト分類問題の例

• 関連するドメインのラベルありデータを用いて目標ドメインでのテキスト分類器を学習
• 潜在トピックのようなドメイン間で共通する潜在的な特徴量を見つけることができれば、目標ドメインへの知識転移を円滑に行える

ドメイン不変特徴量とドメイン不変表現学習

ドメイン不変表現学習の実現方法

ドメイン不変表現学習は、以下の2ステップで実現することができます：

ドメイン不変表現学習の2ステップアプローチ

ドメイン不変表現学習のイメージ

非対称型の特徴ベースのドメイン適応

概要

• 元ドメインの特徴を目標ドメインの特徴に変換する写像を構成することで知識転移を行う
• そのためのいくつかの手法を紹介します

4.3.2.1 リスク最小化による翻訳学習

画像識別タスクにおけるドメイン適応

• テキストデータ（元ドメイン）から画像データ（目標ドメイン）への知識転移
• テキストの特徴から画像の特徴への変換を学習する方法

TLRiskの定式化

データ設定

• $D_S = \{(\mathbf{x}_i^S, y_i^S)\}_{i=1}^{n_S}$: 元ドメインのデータ
• $D_T = \{(\mathbf{x}_j^T, y_j^T)\}_{j=1}^{n_T}$: 目標ドメインのデータ

TLRiskの目的

それぞれのドメインの入力データから何らかの特徴抽出器を用いて獲得された特徴を $f^S$, $f^T$ で表すことにします。

TLRiskの目的は、$f^S$ から $f^T$ への確率的なドメイン翻訳器 $\phi(f^S, f^T) = p(f^T | f^S)$ を構成し、目標ドメインにおける分類器

を学習することです。

TLRiskにおける期待リスク

期待リスクの定式化

ここで、$R(y, \mathbf{x}^T)$ は以下で定義される期待リスクです：

記号の説明

• $\theta_\mathcal{Y}$, $\theta_{\mathcal{X}_T}$: それぞれラベルの生成モデル $p(\mathbf{y}|\theta_\mathcal{Y})$ と目標ドメインの入力の生成モデル $p(\mathbf{x}|\theta_{\mathcal{X}_T})$ のモデルパラメータ
• $\Delta(\theta_\mathcal{Y}, \theta_{\mathcal{X}_T})$: これらの関連度を表す尺度

パラメータの推定

パラメータ空間が大きいとき

(4.17) を直接計算することは難しいため、パラメータを最大事後確率推定 (maximum a posteriori estimation) した値

を用いて、以下のように近似します：

パラメータ推定の詳細 (1/2)

リスク関数の最小化

リスク関数として以下のKLダイバージェンスを最小化することで分類器 $h_t$ を学習します：

推定のための仮定

パラメータ、観測データおよびその特徴に対して、以下のようなマルコフ性が成り立つと仮定：

パラメータ推定の詳細 (2/2)

条件付き確率の推定式

マルコフ性の仮定の下で、$p(f^T | \hat{\theta}_y)$ は次のように推定されます：

推定式の解釈

推定式の構成要素

• $p(f^T | f^S)$: 元ドメインの特徴 $f^S$ から目標ドメインの特徴 $f^T$ への変換器
• $p(y' | \hat{\theta}_y)$: $y = y'$ のときに1、それ以外のときに0をとるディラック測度
• $\lambda$: 目標ドメインのラベルありデータの推定への影響をコントロールするトレードオフパラメータ

ここで、$p(\mathbf{x}^{T'} | \hat{\theta}_{\mathbf{x}^T})$ は $\mathbf{x}^T = \mathbf{x}^{T'}$ のときに1、それ以外のときに0をとります。また、$p(f^T | \mathbf{x}^T)$ は目標ドメインの特徴抽出器を使って推定することができます。

4.3.2.2 非対称正則化付きドメイン変換

TLRiskにおける学習の安定性

TLRiskにおける学習の安定性は、利用可能な共起データの質に依存します。

ARC-tの学習問題

ARC-tの学習問題は以下のように定式化されます：

ARC-tの詳細説明

記号の説明

• $W$: パラメータ行列
• $\Omega$: 正則化項
• 損失関数 $\ell$: $\mathbf{x}_i^S$ と $\mathbf{x}_j^T$ が同一のラベルを持つ場合は $\ell((\mathbf{x}_i^S)^{\top} W \mathbf{x}_j^T) = (\max\{0, a - (\mathbf{x}_i^S)^{\top} W \mathbf{x}_j^T\})^2$
• 異なるラベルを持つ場合は $\ell((\mathbf{x}_i^S)^{\top} W \mathbf{x}_j^T) = (\max\{0, (\mathbf{x}_i^S)^{\top} W \mathbf{x}_j^T - b\})^2$ と定義

ARC-tの最適化問題の解析

いま、$K_S = (X^S)^{\top} X^S$、$K_T = (X^T)^{\top} X^T$ とします。このとき、ARC-tの最適化問題 (4.23) に関して、以下の補題が成り立ちます：

ARC-tの最適化問題の簡略化

次元の呪いと最適化問題

計算量の課題

以上より、最適化問題 (4.23) を直接解くのではなく、最適化問題 (4.25) を解いて $L$ を求めることで、変換行列 $W$ を得られることがわかりました。

(4.23) の代わりに (4.25) を考察する利点は、最適化問題がデータの次元によらずに定まる点にあります。元の最適化問題 (4.23) では、データの次元の増加に伴って指数的に推定パラメータの数が増大します。一方で、最適化問題 (4.25) の変数 $L$ はデータのサンプルサイズのみに依存するため、データの次元の増加による影響は (4.23) に比べて軽微です。

4.3.2.3 最大マージンドメイン変換

2ステップアプローチの背景

TLRiskやARC-tは、ドメインの翻訳器を学習した後でラベル規則に対する仮説を学習するという、2ステップの方法でした。

MMDTの学習問題

具体的には、ドメイン翻訳行列 $W$ と分類器のパラメータ $\theta$ をサポートベクトルマシン (support vector machine, SVM) 型の学習問題

で同時に最適化します。ただし、(4.26) はそのままでは実行可能解の存在が保証されません。

ソフトマージン制約への拡張

実行可能解を保証する問題の緩和

そこで、実際にはソフトマージン制約に緩和した以下の問題を解いてパラメータを推定します：

4.3.2.4 リンケージによるクロスドメイン知識伝播

ドメイン間の対応関係の活用

TLRiskではドメイン翻訳器の学習のためにドメイン間の対応関係の情報が要求されました。一方、ARC-tやMMDTではドメイン間の対応関係の情報は要求されませんが、目標ドメインにおいて教師ありデータが十分に利用可能であることが前提でした。

CDKPLの特徴

• ドメイン翻訳器 $T$ を、元ドメインの入力と目標ドメインの入力の組 $(\mathbf{x}^S, \mathbf{x}^T)$ に対して $\mathbf{x}^S$ と $\mathbf{x}^T$ の関連性の強さを表す実数値を対応させる関数 $T: \mathbb{R}^{d_S} \times \mathbb{R}^{d_T} \rightarrow \mathbb{R}$ として定義
• 両ドメインのデータに対して共通の潜在空間への射影

CDKPLにおける潜在空間への射影

射影の定式化

を考えます。ここで、$W^S$、$W^T$ は、$d_c$ を潜在空間の次元としたとき、それぞれ $d_c \times n_S$、$d_c \times n_T$ 行列です。

ドメイン翻訳器の定義

このとき、ドメイン翻訳器 $T$ は、射影後の両ドメインの入力 $W^S \mathbf{x}_i^S$、$W^T \mathbf{x}_j^T$ に対する潜在空間上の内積

として実現できます。ここで、$\tilde{W} = (W^S)^{\top} W^T$ です。

CDKPLにおける予測器の学習

新たな目標ドメインの入力のラベル予測

また、新たな目標ドメインの入力 $\mathbf{x}^T$ のラベルは、$T$ と元ドメインのラベルありデータ $\{\mathbf{x}_i^S, y_i^S\}_{i=1}^{n_S}$ を用いて、

で予測すると、予測器 $f$ は行列 $\tilde{W}$ を用いて

と書くことができます。

CDKPLの最適化問題

各項の説明

• 第1項: $\ell_1$ を損失関数＊2、$f$ を予測器としたときの目標ドメインにおけるラベル予測のための経験リスクを表しています
• 第2項: $\ell_2$ は単調減少関数、$c_{i,j}$ はTLRiskにおける同時確率 $p(\mathbf{x}_i^S, \mathbf{x}_j^T)$ のような $\mathbf{x}_i^S$ と $\mathbf{x}_j^T$ の共起の度合いを表すスコアです
• 第3項: $\|\tilde{W}\|_{\text{tr}} = \inf_{\tilde{W} = (W^S)^{\top} W^T} \frac{1}{2}(\|W^S\|_F^2 + \|W^T\|_F^2)$ で定義されるトレースノルム正則化項であり、$\tilde{W}$ に低ランク性を誘導します

4.3.3.1 潜在因子に基づく方法

因子分析（Factor Analysis）

• 観測変数とそれらの間の関係を少数の潜在因子（latent factor）で表現する統計手法
• ドメイン適応問題においては、元ドメインと目標ドメインでそれぞれ与えられた特徴表現から、両ドメインに共通する潜在因子を抽出
• 目標ドメインの特徴を元ドメインの知識を圧縮した潜在因子が存在する潜在空間に射影することで、特徴表現の質を向上させ各種タスクの性能を改善

アノテーションに基づく確率的潜在的意味解析（aPLSA）

aPLSA (annotation-based probabilistic latent semantic analysis) [324]

• ラベルなしテキスト文書の大規模コーパスを元ドメインとして、目標ドメインである画像データのクラスタリングの性能向上を目標とする手法
• 画像とテキストという多視点（multi-view）データを利用
• 具体的には、Flickr *3 上のタグ付けされた画像データに対して、画像とタグの両方を潜在空間に射影
• その後、画像の低レベル特徴を決定付けている潜在因子をクラスタとして抽出

aPLSAのモデル

手法の流れを詳細に見ていきましょう。以下では、$\mathcal{Z} = \{z_t\}_{t=1}^T$ を潜在変数、$X^T$, $X^S$ をそれぞれ画像データと付随するタグ、$f$ を画像の低レベル特徴とします。

数学的には、このモデルの目標は各画像データ $x_j^T$ に対してある潜在因子 $z \in \mathcal{Z}$ を割り当てる確率的な対応

を学習することです。このとき、潜在因子 $z$ は $x_j^T$ が属するクラスタの代表点と解釈することができます。

aPLSAのグラフィカルモデル

aPLSAモデルの詳細

図4.3より、このモデルは画像 $x_j^T$ から潜在変数 $z$ を経由して特徴 $f$ を決定する項

と、タグ $x_i^S$ と特徴 $f^T$ との関係を潜在変数 $z$ で特徴付ける項

の二つから構成されていることがわかります。この二つの項を同時に考慮した尤度関数

をExpectation-Maximization (EM)アルゴリズムで最大化して、$P(f|z)$, $P(z | x_i^S)$, $P(z | x_j^T)$ を推定します。

異質的スペクトル写像

潜在因子を抽出するための方法

行列分解（matrix factorization）もよく用いられます。

Shiらによる異質的スペクトル写像（heterogeneous spectral mapping, HeMAP）[263]

• 行列分解によって元ドメインと目標ドメインに共通の潜在空間を学習する方法
• その学習問題は以下のように定式化されます：

ここで、第1項および第2項は各ドメインにおける再構成誤差 $\mathcal{L}(Z^r, X^r) = ||X^r - Z^rP^r||^2, r = S, T$ であり、潜在表現 $Z$ が元の特徴 $X$ の情報をできるだけ保持することを要請する損失関数です。

HeMAPの詳細

$P^S$, $P^T$ は射影行列を表しており、元の特徴 $X$ から潜在表現 $Z$ を抽出します。第3項は

と定義され、「元ドメインの潜在表現 $Z^S$ と目標ドメインの潜在表現 $Z^T$ が似ている」という暗黙の仮定を実現するためのペナルティの役割を持ちます。

4.3.3.2 多様体アラインメント

多様体アラインメント（manifold alignment）

• 「元ドメインと目標ドメインのデータが共通の多様体上に分布している」という多様体仮説（manifold assumption）に基づくアプローチ
• 両ドメインのデータをその幾何学的な構造を保つように共通の低次元多様体上に射影する

データの幾何学的な構造

• データ点の間の類似度として表現される
• 同じドメインに属するデータの間の類似度と、異なるドメインに属するデータの間の類似度の2種類が考えられます
• 前者の構造は、カーネル関数などを用いて入力の間の類似度を評価することで射影の前後で保存することは容易
• 後者の構造を保つためには、ラベル情報などによって両ドメインのデータの間に対応関係を付けておく必要があります

異質的な多様体アラインメント（HMA）

異質的な多様体アラインメント（heterogeneous manifold alignment, HMA）[303]

元ドメインと目標ドメインのデータをそれぞれ共通の次元の部分空間に移す写像 $f_S$ と $f_T$ を学習することが目標です。

このとき、ドメイン内の構造の保存は以下の式で表現されます。

ここで、$W_S(i, i')$ は元ドメインの事例 $x_i^S$ と $x_{i'}^S$ の間の類似度を表します。

HMAの詳細

例えば、$W_S(i, i') = e^{-||x_i^S - x_{i'}^S||^2}$ を用いることができます。

目標ドメインの類似度 $W_T$ についても同様です。また、$\mu$ は重みパラメータを表します。

ドメイン間の構造の保存

ドメイン間類似度：

• $W_s(i,j) = \begin{cases} 1 & x_i^S と x_j^T が同じラベルを持つ場合 \\ 0 & \text{otherwise} \end{cases}$
• 条件を入れ替えたドメイン間非類似度：
• $W_d(i,j) = \begin{cases} 1 & x_i^S と x_j^T が異なるラベルを持つ場合 \\ 0 & \text{otherwise} \end{cases}$

を用いて

で表現されます。

HMAの最適化

直感的には、元ドメインと目標ドメインで同じラベルを持つ力は近くに、異なるラベルを持つ力は離れるように射影されることを要請する定式化になっています。

以上の準備の下で、射影 $f_S$, $f_T$ を学習するための損失関数は以下で定義されます。

$O(f_S, f_T)$ を最小にする $f_S$, $f_T$ について、$f_S$, $f_T$ が線形の射影行列の場合には以下の理論的な性質が示されています [303]。

その他のアライメント手法

目標ドメインにラベルありデータが少ししかないか、またはまったく存在しないとき、$W_S$ および $W_d$ をうまく設定できないため、上述した方法によるアラインメントを実行するのが困難な場合があります。

対応関係の再定義

• 別の方法で元ドメインと目標ドメインのデータの間に対応関係を付けることで、同様の手順で射影を学習することができます
• そういった対応関係も事前にわからない場合はどうすればよいでしょうか

一つの方向性

各ドメインの局所的な構造、すなわちデータ点の近傍の構造をドメイン間で比較するというものです [302]。

いま、$R_{x_i^a}$, $a = S, T$ を、$\ell$, $\ell'$ 成分が $R_{x_i^a}(\ell, \ell') = \text{dist}(z_\ell, z_{\ell'})$ であるような $(k + 1) \times (k + 1)$ 行列とします。

ここで、$z_1 = x_i^a$, $\{z_2, ..., z_{k+1}\}$ は $x_i^a$ の $k$ 近傍点です。$\text{dist}$ は距離関数であり、Wangら [303] はユークリッド距離を用いています。

距離の定義とドメイン間対応関係

$R_{x_i^a}$ は、高次元な $x_i^a$ の近傍の幾何学的な構造を行列として表現していると解釈できます。このとき、$R_{x_i^S}$ と $R_{x_j^T}$ の間の距離は以下で定義できます。

ここで、$\text{dist}_1(h) = ||\{R_{x_j^T}\}_h - k_1\{R_{x_i^S}\}_h||_F$, $\text{dist}_2(h) = ||\{R_{x_i^S} - k_2\{R_{x_j^T}\}_h\}||_F$ であり、

です。$\{R_{x_j^T}\}_h$ は、$k!$ 通りある $x_j^a$ の $k$ 近傍点の並べ方の $h$ 番目に対応する局所構造行列を表します。

(4.41)で定義される $\text{dist}(R_{x_i^S}, R_{x_j^T})$ を $(i,j)$ 成分に持つような $W$ をドメイン間の対応関係を表す行列として用いることで、既知の対応関係がある場合と同様に、固有値問題の解として射影を得ることができます。

4.3.3.3 カーネル法による表現学習に基づくドメイン適応

カーネル法

データ解析を行う際にデータの非線形性や高次モーメントを取り込むための方法論です。

カーネル法に基づく転移学習手法の例

異質的転移学習の方法である異質的特徴拡張（heterogeneous feature augmentation）[86]を紹介します。

以下では、2個分類問題における教師あり転移学習の設定を考えます。すなわち、元ドメインと目標ドメインそれぞれからラベルありデータ

• $\mathcal{D}_S = \{(x_i^S, y_i^S)\}_{i=1}^{n_S} \in \mathcal{X}_S \times \mathcal{Y}_S$
• $\mathcal{D}_T = \{(x_i^T, y_i^T)\}_{i=1}^{n_T} \in \mathcal{X}_T \times \mathcal{Y}_T$ が得られているとします。

ここで $x_j^S$, $x_j^T$ はそれぞれ $d_S$, $d_T$ 次元のベクトル（$d_S \neq d_T$）であり、$y_i^S, y_i^T \in \{-1, 1\}$ です。$\mathcal{X}_S$ と $\mathcal{X}_T$ の次元が異なるため、これは異質的転移学習の問題となっています。

異質的特徴拡張の定式化

写像関数の定義

元ドメインと目標ドメインの入力 $x^S$, $x^T$ に対する射影行列をそれぞれ $P^S \in \mathbb{R}^{d_C \times d_S}$, $P^T \in \mathbb{R}^{d_C \times d_T}$ とし、特徴写像 $\varphi_S$, $\varphi_T$ をそれぞれ

で定義します。ここで、$\mathbf{0}_{d_S}$, $\mathbf{0}_{d_T}$ はそれぞれ $d_S$, $d_T$ 次元のゼロベクトルを表します。

サポートベクトルマシン型の定式化

さて、$\varphi_S(x^S)$, $\varphi_T(x^T)$ はもはやある一つのドメインの特徴ベクトルとみなせるため、従来の機械学習手法を適用することができます。

ここでは、文献 [86] で提案されているサポートベクトルマシン型の定式化を説明します。

いま、$\mathbf{w} = [\mathbf{w}^C, \mathbf{w}^S, \mathbf{w}^T]^T$ を $\varphi_S(x^S)$, $\varphi_T(x^T)$ に対するカーネル線形モデルの重みベクトルとします。

$\mathbf{w}^C$, $\mathbf{w}^S$, $\mathbf{w}^T$ はそれぞれ両ドメイン共通、元ドメイン、目標ドメインの特徴に対する重みを表しています。このとき、以下のような最適化問題を考えます。

最適化問題の定式化

subject to

• $y_i^S(\mathbf{w}^T \varphi_S(x_i^S) + b) \geq 1 - \xi_i^S$, $\xi_i^S \geq 0$
• $y_i^T(\mathbf{w}^T \varphi_T(x_i^T) + b) \geq 1 - \xi_i^T$, $\xi_i^T \geq 0$
• $||P^S||_F^2 \leq \lambda_S$, $||P^T||_F^2 \leq \lambda_T$

(4.43)

双対問題への変換

subject to $\mathbf{y}^T \boldsymbol{\alpha} = 0$, $\mathbf{0}_{n_S+n_T} \leq \boldsymbol{\alpha} \leq C\mathbf{1}_{n_S+n_T}$, $\text{tr}(H) \leq \lambda_S + \lambda_T$ (4.44)

ここで、$H = [P^S, P^T]^T[P^S, P^T] \in \mathbb{R}^{(d_S+d_T) \times (d_S+d_T)}$ は半正定値行列であり、$K_H$, $L_S$, $L_T$ はそれぞれ

で定義される行列です。SVMの双対変数 $\boldsymbol{\alpha}$ を固定したとき、

半正定値計画問題による解法

(4.44)は行列 $H$ に関する半正定値計画（semi-definite programming, SDP）問題となることがわかります。

これより、$\boldsymbol{\alpha}$ を止めた $H$ の更新と、$H$ を止めた $\boldsymbol{\alpha}$ の更新を繰り返す交互最適化によって (4.44)の解を得ることができます。

深層学習がもたらした表現学習の革新

機械学習のパラダイムシフト

カーネル法の新しい解釈

カーネル法と一般のニューラルネットワークの違い

深層学習：データに適したアーキテクチャ

代表的な深層学習アーキテクチャ

階層的特徴抽出の実例：AlexNet

図4.6：畳み込みニューラルネットワークによる階層的特徴抽出

各層で学習される特徴

転移学習のための表現学習

カーネル法 vs ニューラルネットワーク

深層表現学習によるドメイン適応

図4.7：複数のドメインで共通の特徴空間を共有

深層表現学習のアプローチ

中間層での分布マッチングとは？

4.4.2.1 MMD最小化による分布マッチング

Tzengらによる先駆的研究 [295]

MMD（Maximum Mean Discrepancy）とは

MMD損失の定式化

ここで：

• $X_S$：ソースドメインのデータ
• $X_T$：ターゲットドメインのデータ
• $\phi$：特徴写像（カーネル関数により定義）
• $\mathcal{H}_k$：再生核ヒルベルト空間

4.4.2.2 動的重要度重み付き学習

課題：同質的 vs 異質的ドメインシフト

定理4.4（Fang et al.の Theorem 1）

動的重要度重み付き学習（DIWL）アルゴリズム

Fangらの提案手法 [91]

DIWLの重み更新式

特徴

• ターゲットドメインの少量のラベルありデータが取得できる場合を想定
• 重み付き経験リスク最小化と分布マッチングによる推定を交互に繰り返す
• 深層モデルの中間層出力を使う場合と同様に分布マッチングを行う

図4.9：動的重要度重み付き学習のフレームワーク
元ドメインと目標ドメインの少量のラベルデータを利用し、特徴抽出器と分類器を同時に学習

MMDを用いた重要度重みの推定

DWLにおける重要度推定の詳細

ここで、$K$ はカーネル行列、$k$ は元・目標ドメイン間のカーネルベクトルです。

4.4.3 深層オートエンコーダに基づく表現学習によるドメイン適応

設定

• 元ドメイン：教師ありデータ $\mathcal{D}_S = \{x_i^S, y_i^S\}_{i=1}^{n_S}$
• 目標ドメイン：教師なしデータ $\{x_i^T\}_{i=1}^{n_T}$ のみ
• 出力：$c$ クラスのカテゴリ変数 $y_i^S \in \{1, ..., c\}$

教師なし転移学習の課題設定

多クラス識別問題の設定

TLDA（Transfer Learning with Deep Autoencoders）の基本戦略

TLDAの3つの主要目的

1. 知識共有のために符号化と復号化のモデルパラメータをドメイン間で共有
2. 表現学習を行う際に元ドメインと目標ドメインの距離を最小化
3. 獲得される特徴表現にクラスラベルの識別情報を取り込む

TLDAのネットワーク構造

図4.10：深層オートエンコーダによる教師あり転移学習
元ドメインと目標ドメインで符号化と復号化の重みをそれぞれ共有することで、両ドメインで共有可能な潜在表現を獲得

符号化・復号化の定式化

TLDAの最小化目的関数

各項の役割

潜在表現の分布マッチング

KLダイバージェンスによる分布間距離

マルチタスクオートエンコーダ（MTAE）への拡張

MTAE [105]の特徴

• 元ドメインにもラベルありデータなし
• 図4.11のように、出力層をドメインの個数分用意
• 通常のオートエンコーダに対応するドメイン内再構成層（$r = k$）
• ドメイン間で共通な特徴を抽出するためのドメイン間再構成層（$r \neq k$）を同時に学習

図4.11：マルチタスクオートエンコーダによる複数ドメインデータの表現学習
入力に対して、各ドメインのデータであることを想定したデコーダを学習

MTAEの学習定式化

潜在表現と出力の計算

MTAEの目的関数

第1項の $\sum_{k=1}^K J(x^r, \hat{x}^k)$ は再構成誤差であり、$r = k$ のときドメイン内再構成、$r \neq k$ のときドメイン間再構成を表します。

敵対的生成ネットワーク（GAN）の登場

GAN [110] の構成要素

転移学習におけるGANの望ましい性質

• データの生成器を学習できる
• 二つのネットワークに対する敵対的訓練によって学習される

CoGAN：結合敵対的生成ネットワーク

図4.12：CoGANによる二つの生成モデルの同時分布の学習
GAN1が元ドメインの生成モデル、GAN2が目標ドメインの生成モデル
生成器の入力に近い層の重み（赤矢印）を二つのGANで共有
対になっている画像（一方のドメインにのみある画像）から同時分布を学習

CoGANの重要な特徴

• 個別にサンプリングされた画像データのみで学習可能
• 生成器 $G_1(z; \theta_{g_1})$ と $G_2(z; \theta_{g_2})$ で同じ乱数 $z$ を使用
• 識別器 $D_1(x; \theta_{d_1})$ と $D_2(x; \theta_{d_2})$ は各ドメインを識別

DANN：ドメイン敵対的ニューラルネットワーク

Ben-David [32] による理論的背景

→ DANNでは右辺第1、2項を最小化してドメイン不変な特徴を獲得し、$R_T(h)$を小さくする仮説を学習

DANNのネットワーク構造

図4.13：DANNのネットワークモデル
特徴抽出器 $G_f$ がGANにおける生成器に相当
ラベル識別器 $G_y$ と ドメイン識別器 $G_d$ が存在
勾配反転層（GRL）によって $\mathcal{L}_d$ の勾配を反転

DANNの3つの構成要素

DANNの学習定式化

各コンポーネントの出力

損失関数の定義

DANNの最適化戦略

最適化目的

$\mathcal{H}$-ダイバージェンスの最小化

元ドメインと目標ドメインの特徴表現 $\mathcal{F}_S(G_f) = \{G_f(x) | x \in \mathcal{X}_S\}$ および $\mathcal{F}_T(G_f) = \{G_f(x) | x \in \mathcal{X}_T\}$ について：

DANNの学習手順

正則化項の導入

統合目的関数

勾配反転層（Gradient Reversal Layer, GRL）

GRLの動作原理

• 順方向計算：恒等写像として作用（入力をそのまま出力）
• 逆伝播時：勾配に $-1$ を掛けて符号を反転

ワッサースタイン距離に基づく不変表現学習

Shen ら [262] による拡張

ワッサースタイン距離を最小化するような敵対的表現学習を提案

リプシッツ制約の実装

従来のクリッピング手法の問題

勾配ペナルティによる解決

WDIRL (Wasserstein Distance-based Invariant Representation Learning)

多クラス分類問題への拡張

目標ドメインのラベル識別器の同時学習

DANNと同様に目標ドメインのラベル識別器 $G_y(\cdot; \theta_y)$ を同時学習します

統合的な最適化問題

ワッサースタイン距離に基づく転移学習アルゴリズム

理論的保証

深層学習に基づく特徴ベースのドメイン適応

手法の特徴と利点

• 不変性は汎用性も高く実用的なアプローチ
• 深層ニューラルネットワークの表現学習能力を活用
• 教師なし設定での転移学習が可能

限界の認識

不変表現学習の課題と限界

4.4.4節までの振り返り

• ニューラルネットワークの中間層で両ドメインに共通な不変特徴表現を獲得する方法に注目
• DANNに代表される敵対的生成ネットワークに基づく不変な特徴量の獲得は実用性の観点からも重要視
• 不変表現学習は汎用性も高く実用的なアプローチ

本節では、特徴表現の不変性のみではドメイン適応を行ううえでは不十分な場合があることを例示します。

DANNの理論的背景と同時リスクの無視

DANNなどの不変表現学習の問題点

共変量シフト仮定の問題点

共変量シフト仮定

この仮定の問題

図4.14：教師なし転移学習が失敗する例 [252]
教師なし転移学習は、目標ドメインのラベル識別器を考慮せずに両ドメインの分布を合わせるため、
生成される特徴表現にドメイン固有の識別情報をうまく取り込めない可能性があります

Liu ら [184] による実験的検証

実験設定

図4.15：Liu ら [184] による実験的な同時リスクの検証
VisDA-17データセット（左：Synthetic元ドメイン、右：Real目標ドメイン）
DANN のようなドメイン不変な表現学習のみを行う手法では、
同時リスク $R_S(h) + R_T(h)$ が大きくなるような仮説が学習されてしまっています

Zhao ら [349] による理論的説明

図4.16：Zhao ら [349] によるドメイン不変な表現学習が同時リスクを大きくしてしまう例
変換前の状態では、$x \in [-0.5, 0.5]$ のとき $h(x) = 1$、それ以外のとき $h(x) = 0$ となるような仮説 $h$ をとると同時リスクを 0 にできます。
一方、$g$ による変換後には両ドメインは完全に一致していますが、どんな仮説も同時リスクを小さくすることはできません。

例の詳細

問題の背景と動機

図4.16の振り返り：Zhao ら [349] によるドメイン不変な表現学習が同時リスクを大きくしてしまう例
変換前の状態では、$x \in [-0.5, 0.5]$ のとき $h(x) = 1$、それ以外のとき $h(x) = 0$ となるような仮説 $h$ をとると同時リスクを 0 にできます。
一方、$g$ による変換後には両ドメインは完全に一致していますが、どんな仮説も同時リスクを小さくすることはできません。

Zhao ら [349] による定理4.5

定理4.5と既存上界(4.50)の比較

図4.16の例による具体的な検証

共変量シフトが成り立つときの解析

ドメイン横断的なリスクの解釈

Jensen-Shannon ダイバージェンスによる解析

マルコフ連鎖による理論的解析

定理4.6：同時リスクの下界と転移学習成功の必要条件

定理の含意と転移学習成功の必要条件

ドメイン適応手法の比較

表 4.1 データに基づくドメイン適応の方法のまとめ。手法ごとにドメインシフトの種別、何を転移するか、元ドメインおよび目標ドメインでラベルありデータが必要か否かを示しています。

不変表現学習の特性と限界

不変性のみに注目することの問題

今後の展望と次章への橋渡し

第5章で扱う発展的トピック

• 半教師ありドメイン適応
• 少数ショット学習との組み合わせ
• より効果的な転移戦略
• 実用的な応用手法