IN ORGANIZATIONAL FOUNDATION · ISSUE 173
● 12 SEC「振り返りをすると、成果が約25%上がる」。出所はあります。2013年のメタ分析〔多くの研究の結果を集めて一つの値にまとめる手法〕が、46の標本・のべ2,136人を統合し、振り返り(debrief)を行った群は対照群よりおよそ25%成果が高かった(d=.67)と報告しました。dは効果量〔2つの群の差を、ばらつきで割った値。0なら差なし〕。研究の本数は参考文献の印で31本、抄録の言明は46標本のほうです。
ただし原典の結論はこうです——「適切に行われた振り返りによって(by using properly conducted debriefs)、組織は個人とチームの成果をおよそ20〜25%改善しうる」。25%は、条件が付いた数字です。この号が扱うのは増やし方ではなく、その25%が何と何の差として測られ、引用の途中で何を落とすかのほう。読者は運営する側ではなく、いる場所を見立てる側です。書けるのは、対照群より高かったところまで。
学習・実験の制度化(Organizational Learning)は、会議を1本増やす技術の名前ではなく、経験が組織の知識に変わるかどうかという問いの名前です。2011年の論文が置いたのは、組織の経験は文脈と相互作用して知識を作る、その文脈には潜在的な成分と、学習が起きる能動的な成分がある、という見取り図まで。理論の枠組みであって、効果を測った研究ではありません。
この号が見るのは一点だけ。振り返りという手続きについて、何が、どこまで数字になっているか。7本のどれも、あなたの職場で来月起きることを測ってはいません。
では、どこまで数字になっているのか。答えたのは、46の標本を集めた統合と、兵士の航法訓練の準野外実験と、24の研究のメタ分析。まず測られたのは、この3本です。
0146の標本では、対照群との差はおよそ25%だった。ただし原典は条件を書いている。2013年のメタ分析。46の標本・のべ2,136人を統合し、振り返りを行った群は対照群よりおよそ25%成果が高かった(d=.67)。平均の効果量は、チームでも個人でも、模擬でも実環境でも、群内でも群間でも、医療でもそれ以外でもほぼ同じ。示されたのは「そろっていること(alignment)」の押し上げと、「進行役」「構造」がもちうる影響まで。条件ごとの内訳は抄録に無いため、数字を一つも書いていません。個々の研究が一様だった意味ではありません。
02兵士の航法訓練では、伸びたのは成功も振り返った側だった。2005年の準野外実験〔参加者を無作為に割り付けてはいない、現場での比較〕。連続する航法訓練を行う兵士は、失敗と成功の両方を振り返ったとき、失敗した出来事だけを振り返った側より、成果が有意に向上した。操作の前は、どちらの群でも、失敗した出来事の心的モデル〔頭の中に作られる見取り図〕のほうが構成要素も結びつきも豊かでした。
0324研究のメタ分析では、差が大きかったのは似ていない課題のほうだった。2008年のメタ分析。訓練中に誤りを起こすことを促し、そこから学ばせる訓練を集めたもの。24の研究・のべ2,183人で、全体の平均効果量は d=0.44。訓練後の転移〔身につけたことが別の課題で使えること〕は d=0.56(比較の相手は訓練中の成績)、構造の違う課題への転移(適応的転移)は d=0.80 で、似た課題への転移(類推的転移)より大きい。類推的転移の値は抄録に無く、書けるのは向きまで。結論も「新しい課題への転移を促すのに適しているかもしれない」という形です。
数字そのものは動きません。動くのは、引用されていく途中のほうです。落ちやすいのは3か所。
01条件が、一語に畳まれる。原典に付いていた条件は、どこで薄くなるのか。同じ2013年、著者の一方が実務者向けに配った資料では、「平均して、振り返りを行うチームがそうでない相手を25%上回る」と要約され、概要では「効果的な(effective)振り返り」。抄録の「チームでも個人でも同程度」は「チーム」に、「適切に行われた」は effective の一語に畳まれました。誤りではありません。ただ、条件はこういう場所で一語になり、次の引用で消えます。書き手はメタ分析の著者本人で、独立した2つの証拠ではありません。
02数字と出所が、入れ替わる。この号のもとになったシラバス側の資料には、「振り返りをするチームは25%高い成果」という一行と、根拠として別の論文の名前が並んでいました。開くと、2015年のその論文は、競争が注意・持続的な身体的努力・学習に及ぼす影響を調べた2つの実験。参加者は個人で、対戦相手は実験者側のサクラ。チームの振り返りも、25%という数字も出てきません。数字は2013年のメタ分析のもので、概ね正しい。入れ替わっていたのは、隣に貼られた名前でした。この型だけは、読み手の側から検算できます。
03「失敗から学べ」が、「失敗だけを見る」に読み替えられる。2010年の分析が使ったのは、世界の軌道打ち上げ機の産業のデータ(無作為に割り付けた実験ではありません)。経験の種類を分けると、組織は成功よりも失敗からより効果的に学び、失敗から得た知識のほうが減衰が遅い、過去の経験の蓄積と失敗の大きさがその学び方に影響する、と報告されます。2005年と反対に見えますが、比べた層が違う。2010年は経験の種類、2005年は振り返りの中身です。「失敗のほうが学びになる」と「失敗だけを振り返ればよい」は、同じ文ではありません。
この統合に日本の職場の研究がどれだけ入っているかは、たどった範囲では分かりません。全文まで読めたのは7点のうち2点。残る5点は抄録の範囲までで、読めていないものについては書きません。条件ごとの内訳も、類推的転移の値も、知識の置き場所の列挙も、ここにはありません。
この号の7本に、参加者を無作為に割り付けたと確認できた研究はありません。だから、「振り返りを制度にすれば成果が上がる」も、「振り返りは意味がない」も、ここからは出てきません。仕組みを変える手順も、残るかどうかの判断も渡しません。統合値は、あなたの来月の見通しではありません。
25%には、条件が書かれていた。
伸びたのは、成功も振り返った側だった。
次の3手も、研究が命じた順番ではありません。3行書き留めたとき何が起きるかを確かめた研究はありません。ここからは、ALIFEが提案する実践の入口です。誰にも送りません。
TRY IT TODAY
- 01PICK
直近1か月で、思ったとおりにならなかったことを1件選ぶ。返信が遅れた、見積もりが外れた、で十分。そのすぐ隣で、思ったとおりになったことも1件選ぶ(2005年が比べたのも、この2つでした)。
- 02WRITE
2件それぞれについて3行だけ書く。1行目は事実(いつ、何が起きたか。評価語を入れない)。2行目は思い当たること。3行目は次に変えるとしたら1点。**人名は書かない。**
- 03CLOSE
書いた場所を一言メモして閉じる。判定も、目標も、点数も書かない。誰にも送らない。送らない前提のほうが、事実が正確に書けます。
確かめられたのは三つ。46の標本・のべ2,136人の統合で、対照群との差はおよそ25%(d=.67)。ただし結論には「適切に行われた振り返りによって」という条件が付いていたこと。2005年の準野外実験で伸びたのは、失敗と成功の両方を振り返った側だったこと。2008年の24研究・2,183人で、効果は全体で d=0.44、訓練後の転移で0.56、構造の違う課題への転移で0.80だったこと。今日残せるのは判定ではありません。記録が2件、残るだけです。
SECOND LAYER · FULL SYLLABUS学習・実験の制度化を、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- 効果量
- 差や関連の「大きさ」を、単位の違う研究どうしでも比べられるようにした共通の物差し。「効果があるか」ではなく「どれくらいか」を表します。
- 効果量 d・g
- 2つのグループの平均の差を、ばらつきの大きさで割った値。一般的な目安では 0.2=小、0.5=中、0.8=大。g は d を小規模研究向けに補正したものです。
- メタ分析
- 同じテーマの研究をたくさん集めて統合し、平均的な効き目を推定する方法。1本の研究より安定しますが、集めた研究の質と偏りに左右されます。
- 統計的に有意
- 「偶然だけでは説明しにくい」という意味の専門用語。効果が大きい・重要だという意味ではありません。ごく小さな差でも、人数が多ければ有意になります。