これほど大がかりなテストをした成果が，この程度のことなのか。
例の「全国学力調査」に関する，朝日新聞の社説（2007年10月25日付）の出だしである。
全く同意見であるが，朝日新聞のレベルもこの程度なのか，と正直思う。
ただし，文部科学省のレベルはもっと低い。全国学力調査の試験問題を考案したり，同時に行なった生活習慣調査の具体的中味を考案したりしたのは，文部科学省の官僚たちではないだろうが，ともあれ，そのレベルの低さに唖然とする。
試験問題自体に関しては，あえて批判する気はない。
問題なのは「生活習慣調査」である。この点も，私は同新聞の社説に同意見である。
同時に実施した生活習慣調査を重ね合わせると、こんな傾向もみられた。
・家で宿題をする方が点数が高い。
・朝食を毎日食べる方が点数が高い。
文部科学省は今回の結果を各都道府県に通知し、今後の取り組みに生かしてもらうという。
しかし、これらのデータに新味があるだろうか。ほかの調査ですでにわかっていた傾向が大半ではないか。
まさにその通りだが，調査の本質的な欠点を指摘し得ていないのは底が浅いと言わざるをえない。
調査した生活習慣は，「宿題」や「朝食」だけではなく，テレビゲームやインターネット，読書などいくつかある。そして，それぞれに関して，「△△の方が点数が高い（低い）」というデータを示している。
これは「データ」であって「結論」ではない，ということが分かっているのは流石に朝日新聞だと言ってよいが，「結論」を出すことの重要性を指摘していないことに「朝日もこの程度なのか」と思わざるをえない。
また，こうした書き方では，このようなデータを結論だと誤解してしまう読者が多いのではないか―この点でも，不用意な物言いである。
詳しく述べると長くなるし，科学的訓練を受けた人には自明なことなので，簡単にするが，データと結論は違う。そして，重要なのはむろん結論である。
本来はデータを適切に解析して，「点数」と統計的に有意に結び付いている要因（生活習慣）とその寄与度（重回帰解析なら標準偏回帰係数β）を，多変量解析で明らかにしなければならない。
この社説で言及されている例で，ごく簡単にいえば，「家で宿題をする」ことと「朝食を毎日食べる」こととの間に有意な正の相関があったとしよう。その場合，点数に各習慣がどの程度（独立要因として）有意に寄与しているのかどうか不明である。
「点数」という目的変数に寄与する「生活習慣」という多数の説明変数（要因）の間には複雑な関係がある。その関係をキャンセルする適切な統計的手法を使って初めて，結論が導かれる。具体的には，「点数」に統計的に有意に寄与する独立要因（各生活習慣）とその寄与度が分かる。
そうした結論なくして，「今後の取り組みに生かしてもらう」など，不可能である－－というか，その取り組みが間違ってしまう可能性がある。端的に「朝食を毎日食べる方が点数が高い」や「家で宿題をする方が点数が高い」ということが，多変量解析の結果，統計的に有意ではなくなったらどうするのか？（念のため言えば，比率の有意性を測定するChi二乗検定で各項目に有意性があることと，ここで言う統計的有意性は異なる）。
ちなみに，結論を導くためにはそれなりの方法論が必須なので，その方法論に即したデータ収集を行なう必要がある。しかし，結論を出すことを最初から想定していないようなデータ収集の仕方のように思える。
そして，むろん，この種の調査で「結論」を導くには２２０万人もいらない。
この全国学力調査では「基礎的な知識に比べて，活用する力が低い」という結論を出している。
これはデータではなく結論である。そんな結論を導くためには２２０万人などいらない。２０００人程度で十分である（母集団をどの程度の信頼度で推定するか，ということに応じて，そのサンプル数は異なるが，５％水準であれば数百人で十分である）。
したがって「これほど大がかりなテストをした成果が，この程度のことなのか」という朝日の主張は正しいし，朝日の社説には私は大筋において賛成する－－それでも，朝日の社説は底が浅いところがあるのは「科学的訓練を受けた人」が書いていないせいかもしれない。
とはいえ，文部科学省のレベルの低さは，朝日の比でない。
まさに「この程度のレベルなのか」と唖然とする。これでは「教育再生」など到底ムリだろう。
文部科学省（他の教育関係政府機関も）はレベルアップするしかないが，その方途自体が分かっていないらしいことを示唆するような，虚しい「イベント」であった。
