- 著者
-
久保 陽太郎
渡部 晋治
中村 篤
小林 哲則
- 出版者
- 情報処理学会
- 雑誌
- 研究報告音声言語情報処理(SLP) (ISSN:09196072)
- 巻号頁・発行日
- vol.2010, no.8, pp.1-6, 2010-02-05
識別学習は,デコーダの出力する認識仮説と比較して正解ラベルの尤度を相対的に高めることで識別に特化したモデルを得るための手法であるが,経験的に過学習しやすいことが知られている.近年,音響モデルの識別学習において過学習を軽減するため,最小相対エントロピー識別が音響モデルの識別学習に導入されてきた.この手法ではパラメタ推定の不確実性をパラメタ分布によって表現することで適切に取り扱うことを可能としており過学習に強いと考えられるが,従来の実現法では大量の認識仮説,および大量のトレーニングデータを取り扱うには膨大な量の計算を単一のコンピュータで実行しなければならなかった.そこで,本研究では,ラティス型認識仮説表現を導入することで認識仮説の数に対する計算効率を,また勾配法に基づく並列化可能な最適化法を導入することでトレーニングデータの数に対する並列計算効率を向上させた.提案法を用いることで,最小相対エントロピー識別学習に必要なステップのほぼ全てがグリッドコンピュータのような並列計算環境で実現可能になり,また,従来の N-best に基づく認識仮説表現では表現しきれないような膨大な数の認識仮説に対する最適化が行なえるようになった.In order to improve the performance of automatic speech recognition, discriminative training methods are introduced for training processes of acoustic models in speech recognizers. Recently, minimum relative entropy discrimination (MRED) training of acoustic models is introduced in order to prevent overfitting problems in discriminative training methods by representing parameters as random variables. Despite of these advantages, the conventional implementation of MRED lacks scalability to the amount of training dataset and the number of the hypothesis label sequences obtained from decoders. In this study, we attempt to improve scalability of MRED training. The lattice-based representations of the hypothesis label sequences are introduced in order to improve scalability due to the number of the hypothesis label sequences. Further, the gradient-based optimization method is introduced in order to ensure parallelism in the MRED training method. By incorpolating proposed methods, it is confirmed that the MRED training procedure can now be performed in parallel computing environments such as grid computers. Furthremore, the large number of the hypothesis label sequences can be handled in the MRED by using hypothesis lattices obtained from decoders.