IN WAYS OF THINKING · ISSUE 190
● 12 SEC1995年に Psychological Review へ出た実験です。オーストリア・ザルツブルク大学の学生60人が、15種類の推論の問題を解きます。答えだけでなく、考えている手順も書き出させています
変えたのは、数字の書き方だけ。確率(%)で書いた版と、自然頻度〔実際に数えた人数のままの数字〕で書いた版です。ベイズの定理どおりの解き方に到達した答えは、確率版で16%、自然頻度版で46%。短い版では28%と50%。
よく引かれるのは、ここまで。落ちるのは3層。2つのセッションは同じ日ではありません——"There were two sessions, one week apart, with 15 problems each."(15問ずつの、1週間おきの2セッション)。16%と46%も同じ人の中の対ではなく、無作為に分けた各30人の値。同じ人の中の対は16%と50%、28%と46%です。その1週間で、成績自体も.30から.38へ動いています。
確率的思考(probabilistic thinking)は、起きるかどうか分からないことに重みを付けて扱う道具です。まず「人間は確率が分からない生き物だ」と言い、その欠陥を直す訓練が出てくる。確かめられていない前提が入っています——分からないのは人のほうだ、という前提。
16%や46%は正答率ではありません。値がベイズの定理の計算と1%まで一致し、書き出させた手順もベイズ的だったものだけを数えた割合です。まぐれ当たりは除いてあります。
効くのは「頻度」という言葉でもありません。2つ目の研究では、コンスタンツ大学の学生15人に、%のままの相対頻度の版も解かせました。"the number of Bayesian algorithms is not larger for the relative frequency format (60) than for the probability format (66)"(相対頻度の形でのベイズ的算法の数は、確率の形より多くはない)。効いたのは、実数の数え上げに戻すことでした。
まず測られたのは、この3本です。
01割り算が1回で済む書き方に戻すと、16%が46%になった。原典の表にある実在の問題です。1,000人のうち300人が経済学の講義を選び、その300人のうち210人が仕事志向。選ばなかった700人のうち350人も仕事志向。仕事志向の学生のうち、経済学を選ぶのは何人か。足すと560人、そのうち210人で37.50%。足し算1回と割り算1回です。確率の形でいちばん良かった28%は、自然頻度の形でいちばん悪かった46%より小さい。
02手がかりが増えても、書き方の効き方は小さくならなかった。2015年に Frontiers in Psychology へ出た研究は、ベルリン自由大学の医学生64人に、手がかりを増やした4課題を出します。平均は確率の形が7%、自然頻度の形が45%。課題1は1%と59%、差は58パーセントポイント〔%どうしの差の単位〕。2つ目の研究では、別の医学生78人に3種類の説明書を無作為に割り付け、公式のままが18%と22%、最初から自然頻度なら73%と81%。著者たちは "even natural frequencies require computation and effort"(自然頻度でも計算と労力は要る)と断ります。手がかりが10個なら、木の最下段は2,048個です
03訓練の効果は、直後ではなく5週間後に分かれた。2001年に Journal of Experimental Psychology: General へ出た研究が、公式に当てはめる訓練と、頻度の形に描き直す訓練を比べます。シカゴ大学の62人(6人除外・2人未完了、残る54人を4群へ無作為に)では、公式の群は5週間後に20%。ベルリンの56人では直後が公式64%・頻度の木86%、5週間後も木は86%。ミュンヘンの72人では、15週間後に頻度の木100%・公式50%、同じ木の図を確率で使う条件は57%。図を渡しても、確率のままなら落ちています。
動くのは、引用されていく途中のほうです。落ちやすいのは3か所。
01「人は確率が苦手だ」と読むと、いちばん有名な反例の論文が、自分で書き方を変えていたことが消える。1983年に Psychological Review へ出た論文の「リンダ問題」。条件を足したほうの記述を、多くの人が「起こりやすい」側へ並べる——連言錯誤。同じ論文は後半、統計未履修の学生への健康調査の推定課題で書き方を操作。パーセントの形で65%(147人)が、人数で聞くと25%(117人)。構成要素も見積もらせると31%(159人)と11%(360人)。結びは "the replacement of percentages by frequencies and the request to assess both constituent categories markedly reduced the incidence of the conjunction fallacy."(パーセントを頻度に置き換え、両構成要素も見積もらせると、連言錯誤が著しく減った)。ただし貼り合わせないでください。測られたのは健康調査の課題で、リンダ問題ではありません
02「統計に詳しくなれば直る」と読むと、その論文の二つの答えの、片側しか引かないことになる。答えは二つ。順位づけの直接テストは、熟達の3段階で88人が89%、53人が90%、32人が85%——"there is no effect of statistical sophistication, in either indirect or direct tests."(統計の熟達による効果はない)。引かれるのはここまで。同じ論文は、透明な形のテストでは大学院生64人で36%まで下がった、違反はなお高いが、とも書きます。*2010年に Games and Economic Behavior へ出た米国の実験は、同じ2択を学生361人へ。単独で報酬なし50/86=58.1%・報酬あり31/94=33.0%、ペアで27/56=48.2%・5/38=13.2%、3人組で10/39=25.6%・5/48=10.4%(報酬と相談の条件に割り付けの記載はなし)。基線の1983年の値(142人中121人=85.2%)も再現できず。効く操作が違うのだから、対処も分けて置く——というのが、この号の読み筋です。
03「研修すれば身につく」と読むと、何が残って何が残らないかの層が消える。「そのあと」の数字は、研究と群によって20%・43%・14%・50%・57%と変わります。第2の研究では、56人をまとめると43%、報奨金の見込みが無かった公式訓練の15人だけなら14%、あった群では減衰なし。原典自身が、43%と20%の直接比較は混合のため誤解を招くと注記。よく引かれる「14%」は、15人の値です。そして抄録の一行——"Rule training was as good in transfer as representation training, but representation training had a higher immediate learning effect and greater temporal stability."(転移では公式訓練も同等。上だったのは直後の効果と持続)。*2017年に Psychological Bulletin へ出たメタ分析(35本・226件の推定値)の抄録が言うのも、短い提示と図の補助が両方の形式の成績を上げたこと。差を広げたとは書かれていません
全文まで読めたのは6点のうち5点。読めていないものについては書きません。答えたのは、上の3本のほかにコンスタンツ大学の15人、UBCとスタンフォードの学生、サンタバーバラの361人。性別の記載は6本中2本だけ。実施地はオーストリア・ドイツ・カナダ・米国で、日本での実施はなし。すべて実験室の課題で、締切のある本物の判断にそのまま当てはまるとは限りません。
6本のうち3本は同じ著者を含む、自然頻度を提唱した側の連作で、独立した3件の検証ではありません。2017年のメタ分析の著者2人の所属も、2015年の論文と同じ研究所・同じセンター。外から来た独立の検算ではありません。別系統は1983年と2010年の2本だけ。医療の検査結果の読み方も、保険・投資・賭けの判断の仕方も、ここにはありません。
%を、人数に書き直しただけ。
同じ人が、1週間おきに解いた。
次の3手も、研究が命じた順番ではありません。測られたのは紙の上の問題への答えで、%を書き直すと何が起きるかを確かめた研究はありません。判定も採点もしません。
TRY IT TODAY
- 01COPY
今週見かけた%の数字を、ひとつだけ、元の文ごと書き写す。**医療・保険・投資・賭けの数字は選ばないでください。**
- 02REWRITE
その下に、同じことを「1万人のうち何人」で書き直す。分母は毎回1万人に固定。書き直せなくても構いません。
- 03MARK
書き直すのに必要だったのに元の文に無かった数字へ×を付け、×の数を行の右端に書く。判定はしません。
確かめられたのは三つ。①書き方だけで16%が46%に、手がかりが増えた4課題でも確率7%・自然頻度45%になったこと(16%と46%は別々の30人・1週間おきの値)。②訓練の効果は5週間後に20%・43%・14%と分かれ、頻度の木は15週間後も100%、確率で使えば57%、転移では差なしだったこと。③統計の詳しさは順位づけでは効かず、透明な形では36%、人数に書き直すだけで連言錯誤が65%から25%になったこと。確率に強くなる方法は、どこにも書かれていません。同じ人でも紙の書き方で答えが変わる——書かれているのは、そこまでです。残るのは、%がひとつと、書き直した文と、×の数。記録が1件です。
SECOND LAYER · FULL SYLLABUS確率的思考を、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- メタ分析
- 同じテーマの研究をたくさん集めて統合し、平均的な効き目を推定する方法。1本の研究より安定しますが、集めた研究の質と偏りに左右されます。