June 2022
自分の仕事 データ、統計モデルを使って評価の仕事をしています
自分は評価の仕事をしています。 何かのプログラムに効果があるかを調べるのですが、英語喉の評価などもできるでしょうね。 二つの評価方法があります。一つは有名なRCTです。 これはワクチンの効果を調べたり、薬の効果を調べるのと同じ方法です。 Randomized Controlled Trial ですが、例えば、人をまず５００人集めておいて、その人たちを無作為に（ランダムに）、二つのグループに分けます。 そして、片方のグループだけに、薬を飲んでもらい、もう一つもグループには、薬のように見えるけど、実は、何でもないアメみたいなものを飲んでもらいます。 そして、二つのグループの結果（薬が効いたかどうか）を比べます。 私が評価するのは生徒、学生の大学進学とか、テストスコアとかのことが多いです。 だいたい、統計モデルを使い、実験が始まる前のスコアを考慮に入れた上で、結果となるものを比べます。 RCTは実際にするのが難しいです。 そこで、その代わりとしてQEDというのをやります。 Quasi-experimental design と言う意味ですが、私が良くするのは、matchingというテクニックを使うものです。 例えば、ある県の高校、２０校で英語喉を使って英語を指導するとしますね（これは例です）。 同じ県から、その２０高に似た高校をcomparison schoolsとして選びます。その際に、実験校と似た特徴を持った学校を統計モデルを使って選ぶのです。 そして、もう一回、マッチングをします。 英語喉を使う学校の生徒と、使わない高校の生徒をマッチングさせるのですが、それは、実験開始前の英語実力テストのスコアなどを使うのですが、例えば、実験校の生徒たちと同じ特徴を持った生徒たちを、comparison schoolの学校から選びます。これは統計メソッドを使ってやります。 propensity score matchingというモデルを使います。 このようにマッチングのモデルを使って、実験校（treatment school)の生徒とcoparison schoolのグループを二つ作りますが、二つのグループは、実験前のテストスコアで似ているようにしたわけです。 そして、英語喉を使って英語教育をし、１年後に英語テストをして、二つのグループを比べるのです。 この比較をするときに、multivariate regression modelを使います（呼び方が色々あるのでややこしいです）。 （RCTであれば、別にmultivariate じゃなくてもいいんですけどね。） こういう評価をするときに、色々なアルゴリズムを使うのです。例えば、実験前のテストスコアを二つのグループでだいたい同じにするといっても、どのくらい近かったら同じと見なすのか、、はアルゴリズムを使います。 以下はたまたま昨日、書いたコードです。SASという統計ソフトを使いました。エクセルでもできます。 mean_dif=(Mean_Yes-Mean_No);/Standardized effects/g1=((N_Yes-1)(StdDev_Yes*StdDev_Yes)) +((N_No-1)(StdDev_No*StdDev_No));g2=N_Yes + N_No -2;g3=sqrt(g1/g2);standardized_difference=mean_dif/g3; standardized_differenceというのが、0.05より小さければ、二つのグループの違いは同じだと考えてもいい、、というような判断をします。 え？なぜ0.05なの？というのは、他のリサーチャーが、研究をして、0.05ぐらいでいいでしょ、、と結論づけているので、それを使っているのです。 なぜg1, g2, g3と分けてコードを書いたの？と言う点ですが、そうしたほうが、間違いに気が付きやすい、QCがしやすいのです。 これも経験に基づいた判断です。 こういうアルゴリズムは、暗記をしているわけではないのですが、だいたい、感覚的には分かり、コードを書きたいときは、もう書いたものを、使うか、ネット検索をして、アルゴリズムを確認しておいて、書きます。 このアルゴリズムには、サンプル数が小さいときに、ある修正をする必要があるのですが、私のデータではサンプル数は小さくないので、それはアルゴリズムに加える必要はないと判断しました。 そのようなことを経験や知識で判断しながら、仕事をしています。 色々な判断をしないといけません。そして、どのような判断をしたかを記録しておきます。 アメリカであれば、こういうことの基本的な部分（実験の仕方など）は、心理学、社会学、経済学などで学ぶことになります。 ですが、細かい部分は経験です。 […]
Voicy 聞いてみてください
フロリダに到着しました。早速、VOICY放送のほうを更新しました。 https://voicy.jp/channel/834/333431 考えてみますと、このVOICY放送のユニークな点は 自然な英語で放送している点かなと思います。 普段の英語で話しています。 最初に、今日の表現を解説します。そして、その後で１０分間、テーマに基づいて話をします。今回のテーマは、フロリダへの道のりについてでした。 英語喉の発見者・開発者のジーナが最近は参加してくれていて、ジーナは妻ですので、となりで話している形式です。 フロリダに到着して、落ち着いたら、以前から参加してくださっているゲストのかたがたのエピソードも始めたいと思います。 10分間のテーマに沿った話の後で、「でてきた単語をおさらいする」コーナーがあります。 ジーナと私は、テーマディスカッションを、自分達でも聞いてみて、単語のメモをとります。そして、そのメモに基づいて解説しています。 そのメモを写真にとって、アップしてもいいかなと思うのですが、自分の字が下手くそすぎです。 新しい単語を覚えるときに、まずは読んだり、聞いたりしてみて、そして、そこに出てきた表現を覚えるようにすれば、 使わないのに覚えてしまう という無駄が省かれると思います。 そう言えば、私自身も、大学受験までは、決められた単語を覚えるスタイルでしたが、大学生になってからは、英字新聞に出てきた単語とか、ネイティブとの会話で出てきた単語を身につけていきました。 もしお時間がありましたら、ぜひ、私たちのポッドキャストをネタに、ボキャビルをしてみてくださいね。 https://voicy.jp/channel/834/333431