著者
中谷 安男
出版者
法政大学経済学部学会
雑誌
経済志林 = The Hosei University Economic Review (ISSN:00229741)
巻号頁・発行日
vol.87, no.1・2, pp.21-50, 2019-09-20

This paper explores the relationship between the results of the automated scoring system based on CEFR-J and human raters’ assessments. As a pilot study for further investigation dealing with more subjects, this study examines 3 different levels of CEFR-J writing test tasks for 37 participants. First, two independent raters evaluated a total of 111 test samples by using the CEFR-J assessment guidelines for each individual level. These results were compared with the assessment of a CEFR-J automated level judging system that utilized leveraged error types and text quality measures. The results show that although the indicators used for correlation are low, the consistency between each method of evaluation tends to be better at a higher level: B1.2.1. The qualitative analysis of the test samples with large discrepancies indicates that it is effective to use both human raters and methods and the automated level judging system when deciding candidates’ final scores and giving feedback on results.
著者
投野 由紀夫 根岸 雅史 相川 真佐夫 寺内 一 中谷 安男 奥村 学 金子 恵美子 能登原 祥之 石井 康毅 内田 諭 和泉 絵美 大羽 良
出版者
東京外国語大学
雑誌
基盤研究(A)
巻号頁・発行日
2012-04-01

本科研の目的は日本人英語学習者の英語力に関する到達指標の提案およびそのレベル別言語材料の科学的な整備である。これを行うことで、シラバス開発、教科書・教材・タスク開発、テスト開発などに資する一貫した英語資料を提供できる。指標に関してはCEFR-JというCEFR準拠の英語汎用枠に基づいた。言語材料配当は、CEFR準拠教科書コーパス・学習者コーパスを独自に構築し、500以上の文法事項、テキスト特性、エラー特性に関してコーパス解析と機械学習の手法を用いて調査し、文法、テキスト、エラーの各プロファイルとして整備した。
著者
中谷 安男
出版者
法政大学経済学部学会
雑誌
経済志林 = The Hosei University Economic Review (ISSN:00229741)
巻号頁・発行日
vol.87, no.3・4, pp.11-42, 2020-03-20

This study explores how persuasive literature review sections in Economics and Management Journals can be developed by using corpus data analysis. Although the importance of the critical review for developing a literature review section in research articles has been recognized, few studies precisely investigate the structure of these research genres. This study conducts a quantitative investigation of 100 representative research papers in social science by comparing the FBROWN and FLOB as reference corpuses. Keyword word analyses are introduced to examine relevant expressions in the research articles. The results indicate that the specific use of reporting verbs in a literature review has a significant effect on guiding readers in academic fields.
著者
根岸 雅史 投野 由紀夫 酒井 英樹 長沼 君主 高田 智子 内田 諭 金子 恵美子 村越 亮治 奥村 学 工藤 洋路 能登原 祥之 小泉 利恵 石井 康毅 篠崎 隆宏 和泉 絵美 印南 洋 中谷 安男
出版者
東京外国語大学
雑誌
基盤研究(A)
巻号頁・発行日
2016-04-01

まず、指導タスクとテスト・タスクのうち、CEFR-Jの各CAN-DOディスクリプタに基づくテスト・タスクの開発およびその困難度の検証を優先することを決定した。各CAN-DOディスクリプタに基づく評価タスクの開発としては、2017年度はPre-A1からA2.2を作成したが、2018年度はB1.1からB2.2までのテスト項目の開発と検証を行った。リーディングにおいては、リーディングのテキスト・タイプ、テキスト困難度、タスクについて検討し、修正をした後、テスト・セットを作成した。リスニングにおいては、リーディングと同様、リスニングのテキスト・タイプ、テキスト困難度、タスクについて検討し、修正をしたが、音声の収録およびテストの実施には至らなかった。ススピーキング(発表)・スピーキング(やりとり)・ライティングにおいては、タスクと採点方法について検討し、修正をした後、テスト・セットを作成した。これらのテストをそれぞれ実施し、採点・統計的な分析・解釈を行った。言語処理班では、リーディングやリスニングのテキスト分析の結果に基づき、テキストのCEFR-Jレベルの判定を可能にするプログラムの開発を行い、公開した。さらに、文法のレベル別基準特性を判定を可能にするCEFR-J Grammar Profileを開発・公開した。音声認識では、スピーキング・テスト解答データを追加することで、音声認識プログラムの精度を向上した。2019年3月23日に「CEFR-J 2019シンポジウム in 京都」を開催し、170名余りの参加者があった。このシンポジウムでは、3年間の研究成果の発表をするとともに、CEFR-Jのリソースの活用ワークショップも行った。さらに、CEFR-Jの利用企業や協力校の発表機会を提供した。これらの活動により、CEFR-Jが広く認知され、日本の英語教育の改善に大きく資することができた。