英語教育学者さんたち、ぜひ実験を

直接指導喉セミナーをご希望のかたは、メールくださいね(question AT estat.us)。詳細はメニューのほうにもあります。

私は仕事で、実験という方法を使った教育研究を読んでいる。それは、アメリカ教育省のプロジェクトの仕事をしているからだ。どんなやりかたをしたら、生徒の数学力、国語力を向上できるか?あるいは、どんなことをしたら、生徒がドロップアウトしなくなるか?というような研究をたくさん読む。で、読んで、その研究が科学的に正しい方法を使っているかを評価する。ただし、結果に関しては感知しない。ある方法Xが実際に効果があったかどうかではなく、その効果を確かめるメソッドが正しいかどうかを判断するのである。

さて、皆さんのとんちを試してみたい。以下の方法は、一つ、大きな失敗を含んでいます。それは何でしょう?まあ、まあ難しいと思います。

60人の生徒がいます。ランダムに30人VS30人に分けました。グループAは、普通の授業で英語を勉強します。グループBは、特殊なやりかたをします。研究の目的はこの特殊なやりかたに効果があるかを試すものです。グループAは田中先生が教えました。グループBは上田先生が教えました。3週間後に、テストをしました。すると、特殊なやりかたで英語を勉強したグループBのほうが、テストスコアが良かったのです(統計的にも優位でした)。

さて、なにが失敗でしょうか?

失敗は、この研究のセットアップだと、本当に、あるやりかたが効いたのか、あるいは、じつはたまたま上田先生が田中先生より教え方がうまかったのか?が区別できません。専門用語というほどではありませんが、

TREATMENT EFFECTとTEACHER EFFECTを区別できないのです。

だから、少なくとも、先生をグループごとに、一人以上にするとか、あるいは、複数の先生が両方のグループを教えるというような工夫がいります。

ネズミなどを使った医学の実験では、ランダムに分配するのが簡単なのですけど、上のように本当の人間を現場で実験する場合は、失敗が色々と起こりやすいのです。

じゃ、これはどうですか?ちょっと難しいですよ。

60人の生徒がいます。ランダムに30人VS30人に分けました。グループAは、普通の日本の典型的な授業で英語を勉強します。読んで訳すことだけです。グループBは、会話を中心とした授業です。研究の目的はこの特殊なやりかた(会話中心)に効果があるかを試すものです。3週間後に、会話力のテストをしました。すると、特殊なやりかたで英語を勉強したグループBのほうが、会話力テストのスコアが良かったのです(統計的にも優位でした)。

なんか、別に問題がなさそうですね?でも、実は大問題なのです。それは何かというと、片方は、会話の練習をしていません。片方は会話の練習をしました。でテストは会話力テストです。これはテストが実際のTREATMENTの内容に重複しすぎています。つまり、特殊な授業とテスト自体が同じ会話力なので、効果が出ている、、、つまり、特殊な授業自体に効果があるというより、たまたまテストで問われる内容と、TREATMENTと同じです。これはダメですね。片方のグループはそもそも会話をやっていないのですから。

ただ、上のケースは、「う~ん、まあいいか?」ぐらいのボーダーラインです。授業で使った会話の内容とテストで問われる内容が同じだったら、絶対だめです。

(これで思い出しましたけど、TOEICの準備勉強をする、、、ということ自体、実は、教育結果計測学的(EDUCATIONAL MEASURMEENT)には、好ましいことではないのです。特に、準備のときと同じ問題が出たぞ!となったら、ただしく個人の実力を測れませんから。)

じゃ、これはどうでしょう?簡単にしますね。

30人、30人とランダムにグループ分けをしました。実際に、TREATMENTを始めると、内容が嫌いな生徒が、グループを変えてたいと望んだので、好きなグループに移りました。

これはだめですね。生徒の好き嫌いが結果に影響を与えてしまいます。こういうのをSELF SELECTIONといいます。じゃ、これは?実際には、見つけにくい問題ですが、

グループAの先生とグループBの先生達は、友達同士なので、仕事が終わってから、お互いの教え方を議論しました。

これだと、教え方に影響を与えてしまいます。SPILL OVER と呼んでいる問題です。

英語教育だけにたよらず、社会的、心理的現象というのは、原因が一つとは限りません。英語力がなぜ伸びるか?というのにも色々あるでしょう。だから、二つのグループがあったとして、その違いを、あるTREATMENTを受けるかどうか、だけにすることで、結果を比べるのです。

英語教育者さんたちが発言をするうえで、やはり実験をして結果に基づいたものが好ましいと思います。

でも、多くの先生がたがおっしゃることは、予測できます。私は英語教育学者ではない、、、私はESLの研究者ではない、、、とかですかね?

ちなみに、以下は私自身も関わった実験です。これは教師の受けたある研修が、生徒のリーディング力に影響を与えるかというものです。

http://ies.ed.gov/ncee/pdf/20084030.pdf

英語をどうやって教えるのか、いや、他の教科も同じですが、という議論が多いですが、実際に実験をしてみたらよいと思います。

アメリカはものすごいお金をかけて、色々な教育の実験をレビューして、その結果を公表しています。

Related Articles

文法が大切だという言説について

直接指導喉セミナーをご希望のかたは、 http://nippondream.com/eigonodo/semina さて、大津由紀夫先生のサイトに、慶應義塾大学英語教育/言語教育シンポジウム http://www.otsu.icl.keio.ac.jp/ という企画の告知があって、実際にプレゼンテーションされるかたが紹介されている、だけでなく、PDF形式で簡単に内容も読める。 江利川先生は、歴史的に英文法がどのように教えられてきたかということのレビューをされている。 http://www.otsu.icl.keio.ac.jp/files/i/2011/2011-09-10%20Erikawa.pdf ただ4ページで、日本がコミュニケーション重視になったから、文法を軽んじているという主張は、いきすぎではないかと思う。実際に、データに基づいていないように思われる。それを主張するのであれば、インタビューであるとか実際の授業観察をし、データをコーディングしてからにするべきであろう。ただ、以下の引用がある。 斉田智里(2010)によれば、高校入学時での英語学力は 1995 年から 14 年連続で低下し続け、下落幅は偏差値換算で 7.4 にも達する。 私は教育研究の専門家であり、仕事で、教育の研究を評価している。またこのかたが使われているラッシュモデルというのもやっている(GOOGLEでRasch modelと打てば私の説明がWIKIに続いてランク2位として発見できる、、、これ。)。 このようなCLAIMができるデータが日本に存在するとは思えない。昔と今の全国のランダムサンプルなんてありえないと思うが。また、項目反応理論的にも、EQUATINGなど無理じゃない?そんなデータあるの? 実際にこの論文を読むのにはどうしたらよいのだろうか? <後日談 英語喉実践者のかたのご協力でこの博士論文がゲットできました。読んでみると、日本全体のデータではなく、茨城県のデータでした。また、リサーチの目的も、心理統計モデルを使って、こんなことできるかな、過去のデータを使えるかな?という実験的、メソッド的な試みに私には読めました。さらに、方法論の描写を読んだのですが、過去のデータの個人レベル+テストアイテムレベルでのデータ(つまり心理統計学をするのに必要なデータ)を使ったのかどうか分かりませんでした。 この論文を使って、日本人全体の英語力が下がっていると主張している先生への感謝の言葉などがありましたので、お知り合いのようです。> 斎藤兆史氏は、以下のPDFファイルで http://www.otsu.icl.keio.ac.jp/files/i/2011/2011-09-10%20Saito.pdf ジャズの即興演奏は、ジャズの理論を頭で覚えるところからはじまるのであり、理論も知らずに「シャワーのように」ジャズを聴き、ジャズっぽく楽器をかき鳴らしたところで、即 興演奏などできるようになるものではない…

わが国の教育にはメソッドがないのか?研究はある?

仕事で、「読み」を教える教育の評価研究論文(アメリカのもの)を、かなり読んでいる。80年代ぐらいからの論文をたくさん読むのだが、その研究の多様さ、量の多さに驚かされる。例えばだが、文の箇所を括弧にしておいて、その中に何が入るかを想像させるという教え方があれば(CLOZEと呼ぶ)、それが実際に生徒の読む力につながるのか?という研究論文がある。実験をつかって実証し、効果がなければなし、あればありと結論づけるのだ。私は統計とか実験を専門としているので、メソッドに問題がないかとかをチェックして、その研究に信憑性があるかを評価している[具体的にはこれをやっている http://ies.ed.gov/ncee/wwc/)。 日本にも、そういうのはあるのかな?いや、ないような気がする。国語の時間に何かメソッドを使ったというような記憶がない。そもそも、国語の時間に何をしたか?という記憶がない。 なぜにないのか?教科書があって、国全体で統一してやっていると、どうやって教えるかというメソッドが育ちにくいのだろうか? 論文(アメリカのもの)をたくさん読んでいると発達心理学の理論を応用したような教え方を実際に試し、その効果を統計的に数値化している。そんな論文が山のようにある。あ、そういえば、そういう実験を実際にやったこともあった。これは、教師が受ける研修が、生徒の学力に影響を与えるかという実験だ。 http://www.mdrc.org/publications/499/overview.html さて、こういうことを思い出したのは、先日、英語教育学の先生達が小学校での英語教育導入を批判して、「早めに教えれば効果があるという証拠がない」と書いていたからだ。実際、そういう研究の蓄積があるのだろうか? 「小学校での英語教科に反対する要望書」http://www.otsu.icl.keio.ac.jp/eigo/kosaka.pdf 文科省としては、そういう発言にびっくりしているのではないか?だって、言語を学ぶ上で臨界期、つまりこの年齢以上となると習得が難しいと言っていたのは、応用言語学者であるからだ。急に、証拠がないと言われて、えーー?とびっくりしているのではないだろうか? そういう意味でも、英語教育学者は、年齢と言語習得に関する研究の知見(国内のもの)を大いに、我々に伝えるべきであろう。例えば、小学校の学年別に同じ英語の授業をする。そして結果を見る。そうすれば、年齢、学年と語学の習得の関係が分かるはずである。リスニングの能力などの結果があれば面白い。あるいは、1年生レベルであれば、本人が喉で日本語をしゃべっているか(甘えたような声)、口でしゃべっているかも考察すると面白いだろう。 すでにそういう研究はあるはずなので、ぜひ紹介を願いたい。 証拠がないのか?研究がないのか?研究はあるはずだと思う。どう考えても。だって、小学校英語導入がさわがれて時間がたっているのだから、テーマとして大切なものはデータが集められ、経験研究がされているはずである。 ありゃ、もう一回読んでみたらこう書いてあった。(「小学校での英語教科に反対する要望書」より) 「日本における英語学習のような外国語環境における学習に関する括弧たる理論やデータは存在しません。」 はあ?研究してないの????  文部科学省も委託研究とかで学者に頼んでないといけないよね。国立教育研究所とかもあるし。  

Responses

Your email address will not be published.

This site uses Akismet to reduce spam. Learn how your comment data is processed.

  1. カズ先生、こんにちは。
    日本は今日は全国的に、割と過ごしやすい晴天です。

    カズ先生のご専門の立場から気持ちは理解できますが、おそらく日本の教育学者や英語学者の人達は、そんな教育実験は行わないでしょう。経験が無いということもありますが、それ以上に、日本の教育現場ではその必要性を感じないこと、および日本にはそのような実験研究機関が存在しないであろうからです。
    アメリカにおいてそのような教育実験研究が盛んなのは、素晴らしいことであり、同時に気の毒なことでもあると、私は思います。
    アメリカは元々が移民の国家であり多数民族社会ですから、生徒のそれぞれの文化的背景が違いすぎます。地域によっては、英語を普通に話せない生徒も多く、家族との会話は英語以外という人達も多いでしょう。従って、雑多な民族の集合である生徒達に対する教育方法について、アメリカの教育関係者は非常に昔から腐心してきたと聞いております。全国的な画一教育は、アメリカではあまりに非効率です。教育方法の研究が盛んなのも当然でしょうね。
    それに対し、日本ではほとんど全ての学校において、生徒はみんな日本人または日本語を普通に喋れる文化的背景を同じくする国民です。朝鮮人学校においてすらも、似たようなものです。つまり、生徒や先生達の性格的・能力的などの個性の差が少ないために、学習方法を、全国的にも画一的な方法で行った方が無難なのです。日本人一般の、いわゆる事なかれ主義とも係わります。
    以上のような理由で、あまり日本の教育学者の人達に対する期待は、なさらない方が無難だと私は思いますよ。

    日本で英語喉発音およびカズ先生も提唱する新たな外国語の勉強方法を普及させるためには、地道なる出版や広報活動(このブログも含む)を続けること、および英語喉メソッドを新たな実用的文法学習方法とも併せて普及させるように、各界の英語を必要とする人達の間で定着させるようにするしか、有効な方法はありえなでしょうね。教育界に普及するのは、その後だ。我々の死後かもしれません。教育者は惰眠を貪っているとは申しませんが。

    ところで、私が先日書き込みました、a_U の発音方法に関する内容につき、カズ先生のご意見を頂けませんでしょうか? あれは、私の友人の英語教師も気にして期待しているそうですので。しつこくて、どうもすみません。
    ではまた、お元気でお過ごしください。