金融テキストマイニングにおけるモデルの評価
コーパスとテキストマイング
の読書メモ
モデルの評価の基礎的な流れは以下のとおりです.
1.訓練データからモデルを学習する
2.評価データの説明変数をモデルに入力し評価データの目的変数の値を推測する.
3.実際の評価データの目的変数の値と推測した値とを比較することで予測精度(予測誤差)を計算する.
さて金融テキストマイニングでは,データは時系列である点に注意しましょう.未来の訓練データで学習したモデルを過去の評価データに適用しても,予測精度を正しく計算することはできません.
一般のデータマイニングでは予測精度を計算する際に交差検定が用いられますが,上記の理由から金融テキストマイニングには向きません.
(個人的な疑問:これは交差検定ではデータ・セットを過去・未来にかかわらずランダムに選んで数個の訓練データ+評価データの塊に分割するから,なのかな?時系列に沿って分割)
予測精度を正しく求めるためには,評価データよりも過去の訓練データから学習したモデルで予測精度を計算しなければなりません.また,モデル選択(複数のモデルからあるモデル-たとえば重回帰や回帰木など-を選んだり,パラメータをチューニングする)のために訓練データをさらに訓練データと検証データに分けることがありますが,この際に検証データも訓練データより過去のものとしなければなりません.
この理解でいくと,
もし,単体の時系列データ・セットが渡されたなら,
データを時系列に沿って2つ(検証データが必要であるならば3つ)にわけ,一番古い時系列のデータを訓練データ,(検証データが必要であるならば次に古いものを検証データ,)そして一番最新の時系列データを評価データとする.
というのが一般の流れのようです.当たり前なところなんですが悩む人も多いところななのでまとめました.
参考文献