著者
石岡 恒憲
出版者
日本計算機統計学会
雑誌
計算機統計学 (ISSN:09148930)
巻号頁・発行日
vol.18, no.1, pp.3-13, 2006-06-30
被引用文献数
2

K-means法の逐次繰り返しとBICによる分割停止基準を用いることで,クラスター数を自動的に決定するアルゴリズムx-means法を改良した.その手続きは,分割順序に起因する好ましくないと考えられる分割クラスターを併合するものである.この併合操作により,さまざまな事例に対して,適当と考えられるクラスター数を得ることのできる事例の数が大幅に増加することが確認された.この方法は,クラスター数未知のときに発見的な方法に拠らずに情報理論的に最適と考えられるクラスター数を求めることができる.その計算量(computational complexity)は標本サイズをN,クラスター数をkとしたとき,ο(N log k)となる.
著者
石岡 恒憲 峯 恒憲 宮澤 芳光 須鎗 弘樹
出版者
独立行政法人大学入試センター
雑誌
基盤研究(B)
巻号頁・発行日
2020-04-01

センター試験など大学入試試験レベルの短答式記述試験の自動採点および人間による採点を支援する実用可能なシステムを試作・実装する。採点は設問ごとに作題者が用意した「模範解答」と「採点基準」に従いシステムがある程度の精度をもった採点計算(自動採点)を行うことを基本とし、その結果を人間が確認・修正できるものとする。このシステムの最大の特徴は「(予め用意された)模範解答」と「(被験者の実際の)記述解答」との意味的同一性や含意性の判定に採点済みの教師データを使わないことにある。予め別に用意された新聞や教科書、Wikipediaなど別のコーパスなどから自動構築した言語モデルによって判定を行う。
著者
石岡 恒憲
出版者
一般社団法人 CIEC
雑誌
コンピュータ&エデュケーション (ISSN:21862168)
巻号頁・発行日
vol.32, pp.22-28, 2012-06-01 (Released:2014-09-01)

従来の紙筆テストに替わって行なわれつつあるコンピュータによる作文テストについて,NAEP(全米学力調査)を例にとり,その仕様や電子化の背景,及び自動採点されない理由について考察する。またNAEPで実施されていない作文の自動採点について,GMAT(Graduate Management Admission Test)やMCAT(Medical College Admission Test)で使われている,代表的な採点システムの現在の仕様を紹介するとともに,ETS(Educational Testing Service)が進めている,教師による作文指導を支援するシステムText Adaptorについて詳解する。現在は,書かれた作文の内容,構文について意味的な評価・コメントを与えることや,段落構造の自然な流れについての評価など,より高度な処理に関心が移りつつある。
著者
石岡 恒憲
出版者
日本行動計量学会
雑誌
行動計量学 (ISSN:03855481)
巻号頁・発行日
vol.31, no.2, pp.67-87, 2004 (Released:2005-11-22)
参考文献数
70
被引用文献数
5 1 8

With the aim of removing human errors and providing critical feedback and suggestions for improvement, considerable research has be done on computer-based automated essay-scoring systems. Examples of these include e-rater, PEG, IEA, IntelliMetric, and BETSY. This paper summarizes how these systems work in an attempt to comprehend their features. They are also compared. An automated Japanese essay-scoring system named Jess is introduced, including our analysis of its performance. Lastly, difficulties caused by its treatment of Japanese passages and related problems are discussed.
著者
石岡 恒憲 亀田 雅之
出版者
日本計算機統計学会
雑誌
計算機統計学 (ISSN:09148930)
巻号頁・発行日
vol.16, no.1, pp.3-19, 2003
参考文献数
33
被引用文献数
8

アメリカで実施される適性試験のひとつであるGMAT(Graduate Management Admission Test)において,実際に小論文の採点に用いられているe-raterを参考にして,その日本語版ともいうべきJessを試作した.Jessは,文章の形式的な側面,いわゆる文章作法を評価する「修辞」と,アイディアが理路整然と表現されていることを示す「論理構成」と,トピックに関連した語彙が用いられているかを示す「内容」の3つの観点から小論文を評価する.毎日新聞の社説およびコラム(「余録」)を学習し,これを模範とした場合に適切でないと判断される採点細目に対して減点することで採点を行う.また書かれた小論文の診断情報を提示する.システムは現在UNIX上で動作し,800-1,600字の小論文を通常能力のパソコン(Plat'Home Standard System 801S; Intel Pentium III 800MHz; RedHat7.2)で1秒程度で処理する.
著者
石岡 恒憲 峯 恒憲 宮澤 芳光 橋本 貴充
出版者
独立行政法人大学入試センター
雑誌
基盤研究(B)
巻号頁・発行日
2017-04-01

短答式記述採点支援システムを実装した。採点エンジンの性能を評価するために、国立情報学研究所が主催するタスク競争型の国際研究集会NTCIR-13の質問応答のサブタスクに参加し、国内外11の研究機関が参加する中、横浜国立大学と並んでトップの成績を収めた。タスク課題は東大2次試験の世界史における500字論述試験の自動採点(過去5年分)である。研究成果は国際的なトップカンファレンスの一つであるWI 2007に採択された。その後も九州大学と連携しシステム性能の向上を目指した。技術的には、LSTMというストリーム型の言語モデルに学習の精度を上げるための工夫を創案し、JAWS 2019にその成果を発表した。
著者
石岡 恒憲 亀田 雅之
出版者
日本計算機統計学会
雑誌
計算機統計学 (ISSN:09148930)
巻号頁・発行日
vol.16, no.1, pp.3-19, 2003-12-20 (Released:2017-05-01)
被引用文献数
4

アメリカで実施される適性試験のひとつであるGMAT(Graduate Management Admission Test)において,実際に小論文の採点に用いられているe-raterを参考にして,その日本語版ともいうべきJessを試作した.Jessは,文章の形式的な側面,いわゆる文章作法を評価する「修辞」と,アイディアが理路整然と表現されていることを示す「論理構成」と,トピックに関連した語彙が用いられているかを示す「内容」の3つの観点から小論文を評価する.毎日新聞の社説およびコラム(「余録」)を学習し,これを模範とした場合に適切でないと判断される採点細目に対して減点することで採点を行う.また書かれた小論文の診断情報を提示する.システムは現在UNIX上で動作し,800-1,600字の小論文を通常能力のパソコン(Plat'Home Standard System 801S; Intel Pentium III 800MHz; RedHat7.2)で1秒程度で処理する.
著者
石岡 恒憲
出版者
Japanese Society of Applied Statistics
雑誌
応用統計学 (ISSN:02850370)
巻号頁・発行日
vol.40, no.3, pp.193-209, 2011-12-30
被引用文献数
2

Breimanによって提案された分類や非線形回帰のための集団学習の方法の一つであるRandom Forest(RF)が,欠測を多く含む大量データに対して安定してかつ精度のよいデータ補完(imputation)を実施することを示す.本報告では,RFによるデータ補完の方法について解説し,ある年度のセンター試験の理科および社会の科目間難易比較についての応用例を示す.説明変数が全て同等もしくは同列ではなく,幾つかの説明変数がグループにまとめられ,またそのグループの中から一つが排他的に選択されるような場合には本報告の手順は有効であろう.
著者
石岡 恒憲 長塚 豪己 荒井 清佳
出版者
独立行政法人大学入試センター
雑誌
挑戦的萌芽研究
巻号頁・発行日
2011

研究開始当初は、入力解答を模範解答と比較し、正確性を測るために再現率と精度という2つの指標を用いることを考えていた。しかしながら、その後、含意関係認識という文法に基づく正統的な自然言語処理技術の利用が有望であることがわかり、国立情報学研究所のメンバーから知見を得ながら研究を進めた。成果は以下の通り:1.小論文の採点・評価について、我々の実証実験をもとに、日本テスト学会第10回大会で発表した。2.エッセイ/作文テストにおけるコンピュータ利用と自動採点について、公開シンポジウムで講演し、広く活動を紹介した。3.自動採点に向けた統計処理技術の方法について研究を行い、有名雑誌等に多くの論文を掲載した。
著者
石岡 恒憲
出版者
日本計算機統計学会
雑誌
計算機統計学 (ISSN:09148930)
巻号頁・発行日
vol.18, no.1, pp.3-13, 2006-06-30 (Released:2017-05-01)
参考文献数
15
被引用文献数
6

K-means法の逐次繰り返しとBICによる分割停止基準を用いることで,クラスター数を自動的に決定するアルゴリズムx-means法を改良した.その手続きは,分割順序に起因する好ましくないと考えられる分割クラスターを併合するものである.この併合操作により,さまざまな事例に対して,適当と考えられるクラスター数を得ることのできる事例の数が大幅に増加することが確認された.この方法は,クラスター数未知のときに発見的な方法に拠らずに情報理論的に最適と考えられるクラスター数を求めることができる.その計算量(computational complexity)は標本サイズをN,クラスター数をkとしたとき,ο(N log k)となる.
著者
石岡 恒憲 峯 恒憲 亀田 雅之
出版者
独立行政法人大学入試センター
雑誌
基盤研究(C)
巻号頁・発行日
2014-04-01

センター試験など大学入試レベルの短答式記述試験における自動採点および人間採点を支援する実用可能なシステムの試作および実装をした.自然言語における完全な意味理解はこの数年では不可能であるという判断のもと,採点は設問ごとに作題者が用意した「採点基準」に従った自動採点を基本とし,その結果を人間が確認・修正できるものとする.システムは「(予め用意された)模範解答」と「実際の記述解答」との意味的同一性や含意性を判定するほか,プロンプトと呼ばれる素材文と解答文との意味的近似性なども考慮する.また採点結果は多値分類であることから,サポートベクターマシンではなくランダムフォレストによる機械学習分類を使う.