2008/4/3 木曜日

データが全てです 2

Filed under: 金融工学よもやま話 — 雲岡 @ 7:25:26

気付いた人もいるかもしれませんが、前回の二つのグラフ、使用しているデータは全く同じです。過去一ヶ月のトヨタの日足データを両方とも使っています。嘘ではないです。二つのグラフは、縦軸の上限と下限を変えているだけです。左は5500円~6500円ぐらい、右は3000円~9000円ぐらいにしています。グラ フは軸の幅を変えただけで、見た目が劇的に変わります。今回の教訓としては「グラフには騙されるな」と言えるかも知れませんが、これを逆手にとって「(欠 点は)グラフでごまかせ」とも言えます。

例えば成績がここ数ヶ月右肩下がりでこのままでは上司に怒られてしまうという悩める営業マンは、縦軸をちょこっと操作してしまえば、

dodgy_chart2.png

随分とごまかせました。そして運よく成績が上向いてきた時には、今度は横軸を操作して昔の記録を消してしまいましょう。

dodgy_chart3.png

まだまだ印象が弱いですか?もっとインパクトを与えたいと。では縦軸も操作してあわせ技にしてみましょう。

dodgy_chart4.png

随分良くなりましたね。これなら今期のボーナスも期待できそうです。

ここまで来ると詐欺に近いですが、グラフは作成者の思うがままに操作することができます。世の中には様々なグラフが出回っていますが、作成者の意図を読み取って、都合の悪い情報が隠されていないか、誤った解釈をしていないかどうか、注意深く見ましょう。数字と言えども、お

統計でごまかす方法については、もう半世紀も前の本ですが、ダレル・ハフの「統計でウソをつく法―数式を使わない統計学入門」という名著があります。興味を持った方は一読をお勧めします。

統計でウソをつく法―数式を使わない統計学入門


2008/4/2 水曜日

確率 3

Filed under: 金融工学よもやま話 — 雲岡 @ 20:16:15

ちょっと難しいので本の力を借ります。以下の本に書かれた挿話です。
Weighing the Odds: A Course in Probability and Statistics
条件付き確率2で話した、検査を受けて陽性が出て実際に伝染病に感染している確率をもう一度取り上げてみます。この確率は約8%でした。 で、ここに私の知り合いがやってきて、仮に彼の名前をギョオテとしておくと、私が感染している確率はどれぐらいなのかねと尋ねたとします。彼になんと答えればよいでしょう。

確率には大きく二つの見方があります。頻度派とベイズ派です。

頻度派は例えばコインを投げて表が出るか裏が出るか、これをずっと繰り返して表が出た回数を数える。すると表が出る割合は最初のうちは10回中3回などばらつくかもしれないけれど何万回、何百万回と繰り返したらほぼ5割に【収束】していくはずだ。なので50% だ、とする考え方です。

ベイズ派はもっと主観的で、表か裏かしかなくてどちらかが重いとかどこかが曲がっているとかそんな事がないので、半々で出るんでしょ、と考えて50%だ、とする考え方です。

この両者がギョオテに確率を伝えるとすると、次のようになります。

頻度派:

ギョオテは感染しているかしていないかのどっちかだ。感染しているなら感染している確率は100%、感染していないなら、感染している確率は0%だ。ただ、もし仮に全世界の人が検査を受けたとすると陽性が出て実際に感染していた人の割合は約8%だ。そう言う意味でギョオテは感染していないと92%だけ自信を持つ事ができる、としか言えません。

ベイズ派:「何かが正しい確率」というのは「その正しさを信じる、信念の度合い」だとベイズ派は考えます。この意味で「ギョオテが感染している確率は8%です」と言う事ができます。

——–

天気予報などで聞く降水確率や、実生活で目にする「確率」はベイズ的に解釈すれば分かりやすいです。 降水確率20%と聞いたら、さいころ投げて1が出るぐらいの可能性なんだろうな、と考えればよいでしょう。ただし「確率は120%だ!」と言う人は極力関わらないほうが良いかもしれません。

二つの見方の話は神学的論争に発展する程奥深い話です。ものすごい賢い人の追求に耐えられるほど私の頭は高級ではないので、文句のある方、不満な方は大学の数学科に進んで確率・統計学を極めてください。

余談ですが森鴎外はゲーテをギョオテと言っていたらしいです。

2008/3/31 月曜日

データが全てです 1

Filed under: 金融工学よもやま話 — 雲岡 @ 18:13:26

最近では「数字力」なる言葉も流行しているようで、物事を定量的に見るという事が ますます重要視されてきているようです。多分、数字は嘘をつかない、データに基づいた分析は恣意性が排除され、より客観的だ、と考えられているからでしょう。

果たして本当にそうでしょうか。

下の二つの株価チャートを見てください。どちらに投資したいですか。dodgy_chart12.png

左のほうは上下に値動きが激しいです。 リスクを恐れぬ人たちは左の株を選ぶかもしれません。一方右はどうでしょうか。ほとんど値動きがなく、一定の水準にとどまり安全に思えます。株に投資したいけどリスクが高いのはちょっと、という方は右の株を選ぶかもしれませんね。

別に正解も何もないのですが、紙面の都合上次回へ続きます。

2008/3/27 木曜日

シンプソンのパラドクス 3

Filed under: 金融工学よもやま話 — 雲岡 @ 20:13:12

前回に引き続き多変量解析と言う大変いかめしい話の続きです。今までは少しややこしかったかも知れないので、もう少し身近な例を見てみます。

自動車保険といえば、車に乗る人なら良くご存知かと思います。昔はどのような人も一律保険料は同じでした。ところが最近では年間の走行距離が短い人や、ゴールド免許証を持っている安全ドライバーなどは保険料が安くなることがあります。これは、データを複数の要因で細かく分析したからこそ可能になったことです。

今までは車に乗る人は全て合算して、みんな同じものとして考えていました。車に乗りまくる人と週末しか乗らないような人でも、事故を起こす可能性は同じと想定していたわけです。ところが、ゴールド免許を持っている人といない人を区別して、あるいは走行距離が多い人と少ない人を区別して分析したところ、事故を起こす可能性がそれぞれのグループで異なることが分かり、それによって安全ドライバーには安い保険料を提供できる仕組みが出来たという訳です。

車を運転する人と事故率という一つの関連性しか見ていなかった時には見えなかったことが、複数の要因を考慮する事で見えたという一例です。複数の要因を考慮しないことの弊害がお分かりいただけたでしょうか。

2008/3/26 水曜日

確率 2

Filed under: 金融工学よもやま話 — 雲岡 @ 16:02:02

身近な例で言うと、天気予報というのがあります。明日の降水確率は80%です。というやつです。一方学校で習った(はず)の確率では、さいころを振って1が出る確率、などが代表的です。

さいころの方は直感的にも理解しやすいと思います。さいころの面は全部で6個あって、それぞれの面は特に細工とかもしていないしどの面が特に出やすいという事もなさそうです。何度もさいころを振れば結局1が出る割合は6回に1回になるから、確率1/6=16.7% と言えそうです。

では天気予報はどうでしょうか。 明日が5回来たとしたらそのうち4回は雨が降る、と考えればよいのでしょうか。しかし明日は一度しか来ません。今日と同じような天気図、気温、季節と言った状態で次の日が来ると、5回のうち4回雨が降ると考えればよいのでしょうか。ただ、天気のような複雑な状態について、今日と全く同じ条件がそう何度も何度も来るとは考えにくいです。

前回の話の中で出た大学合格率も同じ問題をはらんでいます。10回のうち1回は受かる、そう考えるのは別に構わないのですが、さいころと違ってそう何度も受験はできません。しかも勉強を続けるうちに賢くなってくるので、仮に何度も受けられるとしてもさいころと違って毎回受かる可能性が同じと考える事はできません。

2008/3/25 火曜日

確率 1

Filed under: 金融工学よもやま話 — 雲岡 @ 15:51:55

高校時代に全国統一模試なるものの結果について友達が話しているのを聞きました。なんでも彼はT大学の合格率が10%と判定されたということでした。しかし彼は非常に楽観的というか知性的で、

「確率10%って10回受けたら1回受かると言うことだろ?だったらその1回が今年来たら受かるじゃん。」

なかなかレベルの高い冗談話として友人の間では伝説として語り継がれたのですが、 今から考えるとこれは非常に重要なことを示唆していたのでした。彼の確率の解釈はどこかおかしいのでしょうか。コインを投げて表が出る確率は50%、2回投げると1回は表が出るということではないか。であれば彼の解釈は間違っていないのではないか。そもそも確率が何%というのはどういうことなのだろうか。

世の中では「何々が起きる確率」、「何とかが正しい確率」などよく見かけます。中には「確立」と漢字を間違えている恥ずかしい事例もあります。漢字を間違えるのは問題外ですが、「確率」はよく理解しているようで実は分かっていない事が多いです。ためしに周りの人に、聞いてみてください。「君はさぁ、漏らす確率が0.01%と言うけどそれってどういう意味なの?」と聞くと、多分その人の確率の解釈は間違っているか、そもそも答えられない事が多いと思います。

よく分かっていないことをあれこれ語られるのは誤解の元ですので、細かい話ですが説明しようと思います。

2008/3/24 月曜日

条件付確率 4

Filed under: 金融工学よもやま話 — 雲岡 @ 13:18:33

専門家でも間違えてしまう確率計算は、条件付確率がからむことがよくあるようで、最近書店でよく見かける「まぐれ」(原題はFooled By Randomness)という本の中では、有名なO.J.シンプソン事件でとあるハーバード大学の弁護士がおかした間違いが引用されていました。天下のハーバード大学の、しかも弁護士という非常に優秀と考えられている人でも間違えてしまうようなので、勘違いしてもあまり気にしないようにしましょう。

余談ですが、伝染病に関する問題のような直感に反する確率計算というのは、どうも外資系証券会社などの面談では特に外国人相手だと好んで出題されるようです。流行の「地頭(じとうではない)」 というのを測るのかもしれませんが、これらの問題に答えられることと、入社後のパフォーマンスに相関があるとは必ずしも言えないらしいです。というより、誰も調べた事がありません。

とあるトレーダーの採用ではなかなかいい人が見つからず、ヘッドハンターもどのような人を紹介すればよいか分からず困り果ててしまった所、採用担当のトレーダーは「一番運のいいやつを連れてこい!」と言ったそうです。。。

まぐれ―投資家はなぜ、運を実力と勘違いするのか O.J. シンプソン事件での勘違いを読むには...

Traders, Guns & Money: Knowns And Unknowns in the Dazzling World of Derivatives 採用に関するトレーダーの話を読むには...

2008/3/18 火曜日

条件付確率 3

Filed under: 金融工学よもやま話 — 雲岡 @ 13:09:04

下品な話で恐縮ですが、社会人たるものめったに大を漏らす事はありません。あったとしても何十年に一度あるかないかでしょうか。「漏れる」という定義は非常に厳密になされる必要がありその点の議論を十分にし尽くさないことにはご先祖様に申し訳がたたないですが、ここではあまり深く考えず、とにかくある一日に大をもらしてしまう確率を0.01%(1万日に1回の割合)とします。

ここであなたはつい油断をして、放屁をしてしまったとしましょう。この時に思わず漏れてしまう確率はどれぐらいになるでしょうか。ほとんど変わらないけれども、0.01%よりは高くなる、 と考えるのが普通でしょう。

さらに、あなたは不幸にも朝から下し気味でピーピーの状態であったとします。しかもなぜだか放屁も止まりません。この時に大をもらしてしまう確率はどれぐらいでしょうか。限りなく100% に近くなるでしょうか。どれぐらいになるかは分かりませんが、非常に高くなる、と考えるのが普通でしょう。

これが条件付確率です。

何かが起きる可能性というのは、前提となる条件・状況が変わると、当然変化することがあります。他には例えば明日雨が降る確率を考える時、台風が来ているという情報を知ったら雨が降る確率は高くなるはずです。もちろん条件が変わっても確率が変わらない場合もあります。下駄をほうって裏が出ても、多分雨が降る確率は変わりません。

2008/3/17 月曜日

条件付確率 2

Filed under: 金融工学よもやま話 — 雲岡 @ 13:16:32

前回の答え合わせです。

1や2と思った方。心配しないで下さい。専門家であるお医者さんも結構同じような誤りをするらしいです。つまりはずれです。意外だったでしょうか。

正解は4の10%ぐらいです。

正しく伝染病を検出する 確率は90%なのに、なぜそんなに低いのだ?と直感に大きく反するかもしれませんが、これで正しいのです。では考えて見ましょう。

人口の1%が感染しているので、1000人いたとすると、うち10人が感染しています。この10人のうち、陽性反応が出るのは90%の9人。一方残りの990人は感染していませんが、10%(100%-90%)の人が誤って陽性反応が出てしまいます。これは990×10%で 99人です。

今あなたは陽性反応が出ました。陽性反応が出るのは1000人のうち9+99=108人です。このうち本当に感染しているのは9人ですので、感染している確率は9÷108=8.3%です。納得できましたか?

これは「条件付確率」というもので、別に名前は覚える必要は全くないですが非常に重要な概念です。次回はこれについて説明をします。

2008/3/14 金曜日

条件付確率 1

Filed under: 金融工学よもやま話 — 雲岡 @ 19:16:26

人の直感はあまり当てにならないものですが、専門家の直感も当てにならないことが多いようです。有名な例ですが、次の問題を考えてみてください。

ある伝染病があって、人口の約1%が感染しているとします。 その伝染病に感染しているかどうか調べるテストがあり、90%の確率で正しく検出できるとします。今あなたがテストを受けたら、陽性の反応が出ました。このときあなたが伝染病に感染している確率はどれぐらいでしょうか。

1.90%ぐらい
2.75%ぐらい
3.50%前後
4.10%ぐらい

正解は次回。

次のページ »

Copyright (c)2000-2008 QuantsResearch, Inc. All Rights Reserved.
HTML convert time: 0.599 sec. Powered by WordPress ME