HARK Document Version 2.2.0. (Revision: 7981) : ML

6.3.8 ML

6.3.8.1 ノードの概要

最尤推定法 (Maximum Likelihood estimation)を用いた音源分離を行う．本アルゴリズムでは入力信号は単一の目的音源とガウス雑音の和であると仮定し，尤度関数最大を条件に分離行列を求める．音源からマイクロホンまでの伝達関数情報および，音源の区間情報（発話区間の検出結果）が必要となる．

ノードの入力は，

混合音のマルチチャネル複素スペクトル
音源方向のデータ
既知雑音の相関行列

である．また，出力は分離音ごとの複素スペクトルである．

6.3.8.2 必要なファイル

Table 6.47: ML に必要なファイル

対応するパラメータ名	説明
TF_CONJ_FILENAME	マイクロホンアレーの伝達関数

6.3.8.3 使用方法

どんなときに使うのか

所与の音源方向に対して，マイクロホンアレーを用いて当該方向の音源分離を行う．なお，音源方向として，音源定位部での推定結果，あるいは，定数値を使用することができる．

典型的な接続例

ML ノードの接続例を図 6.58 に示す．入力は以下である．

INPUT_FRAMES : MultiFFT 等から来る混合音の多チャネル複素スペクトル
INPUT_SOURCES : LocalizeMUSIC や ConstantLocalization 等から来る音源方向
INPUT_NOISE_SOURCES : 既知雑音の相関行列

出力は分離音声となる．

$\includegraphics[width=.8\textwidth ]{fig/modules/ML.png}$

Figure 6.58: ML の接続例

6.3.8.4 ノードの入出力とプロパティ

入力

INPUT_FRAMES: : Matrix<complex<float> > 型．マルチチャネル複素スペクトル．行がチャネル，つまり，各マイクロホンから入力された波形の複素スペクトルに対応し，列が周波数ビンに対応する．
INPUT_SOURCES: : Vector<ObjectRef> 型．音源定位結果等が格納された Source 型オブジェクトの Vector 配列である．典型的には， SourceTracker ノード，SourceIntervalExtender ノードと繋げ，その出力を用いる．
INPUT_NOISE_CM: : Vector<ObjectRef> 型．INPUT_SOURCES と同じ Source 型オブジェクトの Vector 配列である．雑音方向の情報のオプション入力である．

出力

OUTPUT: : Map<int, ObjectRef> 型．分離音の音源IDと，分離音の1チャネル複素スペクトル
(Vector<complex<float> > 型) のペア．

パラメータ

LENGTH: : int 型．分析フレーム長[samples]．前段階における値（AudioStreamFromMic ，MultiFFT ノードなど）と一致している必要がある．デフォルト値は512[samples]．
ADVANCE: : int 型．フレームのシフト長[samples]．前段階における値（AudioStreamFromMic ，MultiFFT ノードなど）と一致している必要がある．デフォルト値は160[samples]．
SAMPLING_RATE: : int 型．入力波形のサンプリング周波数[Hz]．デフォルト値は16000[Hz]．
DECOMPOSITION_ALGORITHM: : 型．音源分離で用いる演算アルゴリズムの選択． GEVDは一般化固有値分解を，GSVDは一般化特異値分解を表す． GEVDはGSVDに比べて雑音抑制性能が良好だが計算時間がかかる．使用目的や計算機環境に応じて演算アルゴリズムの使い分けができる．
ALPHA: : float 型．フィルタ更新係数．デフォルト値は 0.99．
ENABLE_DEBUG: : bool 型．デフォルトは false． trueが与えられると, 分離状況が標準出力に出力される．

Table 6.48: MSNRで利用するパラメータ

パラメータ名	型	デフォルト値	単位	説明
LENGTH	`int`	512	[pt]	分析フレーム長
ADVANCE	`int`	160	[pt]	フレームのシフト長
SAMPLING_RATE	`int`	16000	[Hz]	サンプリング周波数
DECOMPOSITION_ALGORITHM	`string`	GEVD		演算アルゴリズム
ALPHA	`float`	0.99		フィルタ更新係数．
ENABLE_DEBUG	`bool`	`false`		デバッグ出力の可否

6.3.8.5 ノードの詳細

技術的な詳細: 基本的に詳細は下記の参考文献を参照されたい．

音源分離概要: 音源分離問題で用いる記号を表 6.49 にまとめる．演算はフレーム毎に周波数領域において行われるため，各記号は周波数領域での，一般には複素数の値を表す．音源分離は $K$ 個の周波数ビン( $1 \leq k \leq K$ )それぞれに対して演算が行われるが，本節ではそれを略記する． $N$ , $M$ , $f$ をそれぞれ，音源数，マイク数，フレームインデックスとする．

Table 6.49: 変数の定義

変数	説明
$\boldsymbol {S}(f) = \left[S_1(f), \dots , S_ N(f)\right]^ T$	$f$ フレーム目の音源の複素スペクトル
$\boldsymbol {X}(f) = \left[X_1(f), \dots , X_ M(f)\right]^ T$	マイクロホン観測複素スペクトルのベクトル．INPUT_FRAMES 入力に対応．
$\boldsymbol {N}(f) = \left[N_1(f), \dots , N_ M(f)\right]^ T$	加法性雑音
$\boldsymbol {H} = \left[ \boldsymbol {H}_1, \dots , \boldsymbol {H}_ N \right] \in \mathbb {C}^{M \times N}$	$1 \leq n \leq N$ 番目の音源から $1 \leq m \leq M$ 番目のマイクまでの伝達関数行列
$\boldsymbol {K}(f) \in \mathbb {C}^{M \times M}$	既知雑音相関行列
$\boldsymbol {W}(f) = \left[ \boldsymbol {W}_1, \dots , \boldsymbol {W}_ M \right] \in \mathbb {C}^{N \times M}$	分離行列
$\boldsymbol {Y}(f) = \left[Y_1(f), \dots , Y_ N(f)\right]^ T$	分離音複素スペクトル

音のモデルは以下の一般的な線形モデルを扱う．

$\displaystyle \boldsymbol {X}(f)$

$\displaystyle =$

$\displaystyle \boldsymbol {H}\boldsymbol {S}(f) + \boldsymbol {N}(f) \label{eq:ML_ observation}$

(63)

分離の目的は，

$\displaystyle \boldsymbol {Y}(f)$

$\displaystyle =$

$\displaystyle \boldsymbol {W}(f)\boldsymbol {X}(f) \label{eq:ML-separation}$

(64)

として， $\boldsymbol {Y}(f)$ が $\boldsymbol {S}(f)$ に近づくように， $\boldsymbol {W}(f)$ を推定することである．

最尤法に基づく分離行列 $W_{\textrm{ML}}$ は次式であらわされる．

$\displaystyle W_{\textrm{ML}}(f)$

$\displaystyle =$

$\displaystyle \frac{\tilde{\boldsymbol {K}}^{-1}(f)\boldsymbol {H}}{\boldsymbol {H}^{H}\tilde{\boldsymbol {K}}^{-1}(f)\boldsymbol {H}}$

(65)

ここで，

$\displaystyle \tilde{\boldsymbol {K}}(f)$

$\displaystyle =$

$\displaystyle \boldsymbol {K}(f) + ||\boldsymbol {K}(f)||_{\textrm{F}}\alpha I$

(66)

であり，ここで $||\boldsymbol {K}(f)||_{\textrm{F}}$ は既知雑音相関行列 $\boldsymbol {K}(f)$ のフロベニウスノルム， $\alpha$ はパラメータ REG__FACTOR， $I$ は単位行列である.

トラブルシューティング: 基本的には GHDSS ノードのトラブルシューティングと同じ．

6.3.8.6 参考文献

F. Asano: ’Array signal processingfor acoustics —Localization, tracking and separation of sound sources—, The Acoustical Society of Japan, 2011.