予測の精度を評価する方法

最近、新型コロナのPCR検査の精度が話題になったりしていますが、予測の精度の評価の仕方は意外と直感に反するところがありますので、私なりにちょっと説明してみようという記事です。

題材にするのはDQライバルズで3/19に実施されたバランス調整。調整内容について私は事前予想を立てていたのですが、その結果がどれだけ精度がよかったのかの検証を通じて、予測の精度評価の説明をしていきます。

バランス調整予想

以下に記載するのが、バランス調整が入ると予想していたカードです。下方修正が入ると予想したのが6枚、上方修正が入ると予想したのが2枚でした。

下方修正

ビルド

レベルアップが早くてシンクロユニットを強く使える上、ビルダー城によって更に強化可能なため、序盤から強い盤面を作れます。それでいて、中盤以降も超スーパーカーによって粘り強く戦うことができるため、全く隙がないヒーローカードになってしまっています。このため、大幅な下方修正が入ると予想しました。

武器屋

奇跡の剣をサーチできるのはいいとして、コスト-1するのがやりすぎな気がします。3ターン目に奇跡の剣を装備できなければ強さもマイルドになると思いますので、武器のコスト-1がなくなると予想しました。

ファラリスブル

武器の攻撃力+1が削除されると予想しました。

ラリホー

ビルドテリーをナーフしたらビルドゼシカもナーフするのが妥当だと思いますが、何をナーフすればいいかが難しいところ。今さらメラミやメラゾーマのナーフはないとすると、有力候補はラリホーであろうと予想しました。

修道院

修道院ククールが上振れたときの強さには不条理を感じる人も多いため、ナーフされると予想しました。

ワイバーンドッグ

結局イレブンカミュが強いという状況で、何らかのカードには調整が入るのではないかと考え、最右翼であるワイバーンドッグがナーフされると予想しました。

上方修正

少年シドー

世論的にも上方修正を受ける可能性は高そうかなと予想しました。

ばくれつけん

今いちばん使われていないリーダーはアリーナであると思い、色々なアリーナデッキに対してあまねくプラスになると考えられるばくれつけんを上方修正予想しました。

実際に行われたバランス調整の内容

【カードバランス調整のお知らせ】
3月19日(木)に実施予定のメンテナンスにて、一部カードのコスト、攻撃力、HP、効果の調整を行います。
詳細についてはこちらをご覧ください→https://t.co/YS50Mlm8wv #DQライバルズ
— ドラゴンクエストライバルズ公式 (@DQ_RIVALS) 2020年3月18日

実際にバランス調整が入ったのは全部で8枚でした。

私が予想した中で実際にバランス調整の対象となったのは、武器屋、ラリホー、ビルド、ワイバーンドッグ、少年シドーの5枚。私が予想した中でバランス調整の対象外となったのは、ファラリスブル、修道院、ばくれつけんの3枚。私が予想していなかったバランス調整対象のカードは、パラサキス、墓所、ミラクルブレイドの3枚。このような結果になりました。

この結果について、バランス調整の対象になると予測したカードの枚数と、実際にバランス調整が入ったカードの枚数を、マトリックスで表すと以下のようになります。

		実際
		調整が入る	調整が入らない
予測	調整が入る	5	3
予測	調整が入らない	3	多数

予測の精度を評価する

上記の表において、左上の数字が大きく、かつ右上と左下の数字が小さいほど、良い予測だったということができます。

上記の表を一般的な用語に置き換えて定義すると、以下のようになります。

		実際
		陽性	陰性
予測	陽性	真陽性	偽陽性
予測	陰性	偽陰性	真陰性

真陽性：陽性だと予想し、実際に陽性だったもの
偽陽性：陽性だと予想したが、実際は陰性だったもの
偽陰性：陰性だと予想したが、実際は陽性だったもの
真陰性：陰性だと予想し、実際に陰性だったもの

ここで重要なのは、真陽性の数だけを大きければいいという訳ではないということです。真陽性の数だけを大きくしたいなら、極端な話、ライバルズの例であれば「全てのカードがナーフされる」と予想すればいいわけです。その場合、真陽性の数は最大になりますし、偽陰性の数は0にできますが、偽陽性の数が膨大になってしまいます。

今回の例で言えば、真陽性とは「ナーフ予想したカードが実際にナーフされた」ものを意味しますが、その数字だけを殊更に強調してもダメということです。下手な鉄砲数撃ちゃ当たるなので、予想を外した数の少なさも大事です。

よく予測結果の評価の際に使用されるのが、「適合率」と「再現率」という2種類の指標値で、以下の計算式で求められます。

適合率：真陽性／（真陽性＋偽陽性）
再現率：真陽性／（真陽性＋偽陰性）

この2つの値が高いほど良い予測だったと言えます。そして、この2つはどちらか一方だけが高くてもダメで、両方がバランスよく高いことが求められます。

最近話題になっている新型コロナウイルスのPCR検査は、検査の精度がそれほど高くないので、検査で陽性になったが実際には陰性だった人（偽陽性）、検査で陰性になったが実際には陽性だった人（偽陰性）がそれなりの割合で出てしまいます。

こういった病気の検査の場合は、どちらかと言えば偽陰性の数を減らすことが重要になります。なぜなら、偽陰性の人というのは本当は病気なのに病気であることを見逃されている人ということで、これは問題が大きいからです。新型コロナのケースで言えば、そういう人は「陰性だったから大っぴらに外出できるぜ」となって感染を拡大させる原因になります。

なので、適合率が多少低くても再現率が高くなるように検査を設計するわけですが、それでも完全に0にはできるわけではありません。ですから、むやみに検査を受けさせればいいというのは誤りで、検査を受けようが受けまいがしっかりと自粛生活を送るようみんなで努力することが大事です。

にほんブログ村