著者
岩崎 祐貴 折原 良平 清 雄一 中川 博之 田原 康之 大須賀 昭彦
出版者
一般社団法人 人工知能学会
雑誌
人工知能学会論文誌 (ISSN:13460714)
巻号頁・発行日
vol.30, no.1, pp.152-160, 2015-01-06 (Released:2015-01-06)
参考文献数
30
被引用文献数
2

Nowadays, anybody can easily express their opinion publicly through Consumer Generated Media. Because of this, a phenomenon of flooding criticism on the Internet, called flaming, frequently occurs. Although there are strong demands for flaming management, a service to reduce damage caused by a flaming after one occurs, it is very difficult to properly do so in practice. We are trying to keep the flaming from happening. It is necessary to identify the situation and the remark which are likely to cause flaming for our goal. Concretely, we propose methods to identify a potential tweet which will be a likely candidate of a flaming on Twitter, considering public opinion among Twitter users. Among three categories of flamings, our main focus is Struggles between Conflicting Values (SBCV), which is defined as a remark that forces one's own opinion about a topic on others. Forecasting of this type of flamings is potentially desired since most of its victims are celebrities, who need to care one's own social images. We proceed with a working hypothesis: a SBCV is caused by a gap between the polarity of the remark and that of public opinion. First, we have visualized the process how a remark gets flamed when its content is far from public opinion, by means of our original parameter daily polarity (dp). Second, we have built a highly accurate flaming prediction model with decision tree learning, using cumulative dp as an attribute along with parameters available from Twitter APIs. The experimental result suggests that the hypothesis is correct.
著者
ミンテイ グェン 川村 隆浩 田原 康之 大須賀 昭彦
出版者
一般社団法人電子情報通信学会
雑誌
電子情報通信学会技術研究報告. AI, 人工知能と知識処理 (ISSN:09135685)
巻号頁・発行日
vol.110, no.105, pp.19-23, 2010-06-18

本論文の目的は,twitterから取得した文中に現れる行動の基本属性(行動主,動作,対象,時間,場所)を自動的に抽出することである.しかし,先行研究では,頻度が低い行動を獲得できない.そして,抽出する前に,動詞リストとカテゴリワード(対象を表すワード)を予め準備しておく必要がある.そこで本論文では,条件付確率場(Conditional Random Fields)と自己教師あり学習(Self-Supervised Learning)を用いて,行動属性の自動抽出手法を提案する.提案手法では,人手でラベル編集や行動のドメインの定義などの必要がなく,頻度が低い行動も獲得できる.
著者
星 雄輝 清 雄一 田原 康之 大須賀 昭彦
雑誌
研究報告知能システム(ICS) (ISSN:2188885X)
巻号頁・発行日
vol.2020-ICS-197, no.8, pp.1-7, 2020-02-10

昨今,PC やスマートフォン,インターネットの普及に伴い個人でもゲームを制作することが身近な存在となっている.しかし,作曲・演奏経験の乏しいゲームアプリ開発者にとって,オリジナルの BGM を用意するのはコストが必要となる場合がほとんどである.また,ゲーム音楽といっても,ゲーム音楽ならではの音楽的特徴は幅広く,ゲーム音楽そのものの理論は確立されていないのが現状である.そこで,ゲームのシーンに着目し,音楽をゲームのシーンに合った曲調に変換してくれるシステムによって,音楽理論を理解していなくてもゲームの BGM を用意できるのではないかと考えた.本研究では,CycleGAN を用いたドメイン変換に加え,テンポと音色を考慮することによって,クラシック音楽からシーン別のゲーム音楽を生成することを提案する.評価としては,分類器を用いた変換精度の客観評価とアンケート形式による生成楽曲に対するイメージ及び変換精度を答えてもらう主観評価の 2 つの評価方法を用いて評価を行った.客観評価と主観評価の総合的な評価の結果,「フィールド」と「戦闘」のシーンに変換した楽曲において高い評価が得られた.
著者
住元 宗一朗 中川 博之 田原 康之 大須賀 昭彦
出版者
一般社団法人電子情報通信学会
雑誌
電子情報通信学会論文誌. D, 情報・システム (ISSN:18804535)
巻号頁・発行日
vol.94, no.11, pp.1800-1811, 2011-11-01

近年増加したコンテンツ投稿型SNSでは日々膨大にコンテンツが増え続けるため,嗜好には合っているもののユーザが見逃してしまうようなコンテンツは少なくない.また,多くの推薦技術では精度を重視するあまり,その推薦結果に面白みがないという課題がある.本論文では,主に音楽,イラスト,詩等の創作者向けであるコンテンツ投稿型SNSにおける未知性,意外性を考慮した推薦手法について述べる.未知性に関しては,質の高いコンテンツを投稿する投稿者(有力投稿者)に注目し,コンテンツの質を確保しつつもロングテールのテール部分に属する,ユーザがまだ知らないコンテンツを推薦する.意外性に関しては,多くのコンテンツ投稿型SNSで利用されているFolksonomyを利用する.以上の二つの推薦部からなる推薦エージェントを提案し,イラスト投稿型SNSであるPixivの実データを用い,未知性,意外性に関する評価実験を実施した.その結果,推薦リストの6割に未知性,意外性のあるコンテンツが含まれ,本研究の有効性が確かめられた.
著者
田代 和浩 川村 隆浩 清 雄一 中川 博之 田原 康之 大須賀 昭彦
出版者
日本ソフトウェア科学会
雑誌
コンピュータ ソフトウェア (ISSN:02896540)
巻号頁・発行日
vol.31, no.3, pp.3_58-3_69, 2014-07-25 (Released:2014-09-25)

近年,多数のアイドルグループが人気を博しており,知名度や社会での影響力が大きくなっている.それに伴い,これらのアイドルの画像をポーズごとに分類し,鑑賞したいというニーズがアイドルファン内で高まっている.本研究は,アイドルのポーズを分析し,ユーザーに代わって分類してくれるエージェントを提案する.提案手法は大きくポーズ推定とポーズ分類の2つの処理に分かれている.ポーズ推定によって取得できる画像内人物の体のパーツ位置情報を特徴ベクトルとし,ポーズ分類によって8つのクラスへと画像を分類する.ポーズ分類の際,分類精度をより高めるため,Human Pose Guide Ontology(HPGO)を提案する.HPGOは人体構造に関する制約条件を内包し,ポーズ推定で得られた体のパーツ位置情報に補正を加えることで,分類精度を高める働きをする.評価実験により,提案手法の有用性を示し,実験結果について考察を行う.
著者
小泉 昂也 折原 良平 清 雄一 田原 康之 大須賀 昭彦 Takaya KOIZUMI Ryohei ORIHARA Yuichi SEI Yasuyuki TAHARA Akihiko OHSUGA
出版者
電子情報通信学会
雑誌
電子情報通信学会論文誌. D, 情報・システム (ISSN:18810225)
巻号頁・発行日
vol.J101-D, no.9, pp.1363-1371, 2018-09-01

人や企業は様々な条件下で最適な行動を取るのだろうか.取らないのであればそれはなぜか.その原因を求めることは,実際の個人・企業等の理解を大きく助ける.また,ゲーム理論はスポーツや経済学そしてその他の社会科学の理解に大きく関わってきた.本研究は比較的データが集めやすく混合戦略を適用できるサッカーのPK戦に注目し,独自の確率を考慮した利得表を作成した.その利得表を用いてPK戦におけるキッカーの最適戦略を求め,最適戦略と実際の戦略とのズレを明らかにした.そのズレの原因を求める為にデータセット内の各データ項目についての確率分布を比較するというアプローチをした.データはインターネット動画サイトより収集した,プロ選手による2001年〜2017年の間の世界各国のPK戦150試合(計1539人分)を使用した.実験結果として,最適戦略と実際の戦略との間にズレが存在することが分かった.またそのズレには国籍・スコア差の関与が示唆された.その結果から,サッカーPK戦における最適戦略と実際の戦略との間におけるズレの原因を推定した.本手法はスポーツ分野以外への応用も期待できる.
著者
住元 宗一朗 中川 博之 田原 康之 大須賀 昭彦
出版者
The Institute of Electronics, Information and Communication Engineers
雑誌
電子情報通信学会論文誌 D (ISSN:18804535)
巻号頁・発行日
vol.J94-D, no.11, pp.1800-1811, 2011-11-01

近年増加したコンテンツ投稿型SNSでは日々膨大にコンテンツが増え続けるため,嗜好には合っているもののユーザが見逃してしまうようなコンテンツは少なくない.また,多くの推薦技術では精度を重視するあまり,その推薦結果に面白みがないという課題がある.本論文では,主に音楽,イラスト,詩等の創作者向けであるコンテンツ投稿型SNSにおける未知性,意外性を考慮した推薦手法について述べる.未知性に関しては,質の高いコンテンツを投稿する投稿者(有力投稿者)に注目し,コンテンツの質を確保しつつもロングテールのテール部分に属する,ユーザがまだ知らないコンテンツを推薦する.意外性に関しては,多くのコンテンツ投稿型SNSで利用されているFolksonomyを利用する.以上の二つの推薦部からなる推薦エージェントを提案し,イラスト投稿型SNSであるPixivの実データを用い,未知性,意外性に関する評価実験を実施した.その結果,推薦リストの6割に未知性,意外性のあるコンテンツが含まれ,本研究の有効性が確かめられた.
著者
吉岡 信和 田辺 良則 田原 康之 長谷川 哲夫 磯部 祥尚
出版者
日本ソフトウェア科学会
雑誌
コンピュータ ソフトウェア (ISSN:02896540)
巻号頁・発行日
vol.31, no.4, pp.4_40-4_65, 2014-10-24 (Released:2014-12-24)

機器の高速化やネットワークの発展に伴い,多数の機器やコンポーネントを連携させ,高度な機能を提供する並行分散システムが一般的になってきている.そのようなシステムでは,振舞いの可能性が膨大であり,従来のレビューやシミュレーションで設計の振舞いの正しさを保証することは困難である.それに対して,網羅的にかつ自動的に振舞いに関する性質を調べるモデル検査技術が注目されている.本稿では,モデル検査技術の背景と5つの代表的なモデル検査ツールを紹介し,その応用事例や最新の研究動向を解説する.
著者
小泉 昂也 折原 良平 清 雄一 田原 康之 大須賀 昭彦 Takaya KOIZUMI Ryohei ORIHARA Yuichi SEI Yasuyuki TAHARA Akihiko OHSUGA
出版者
電子情報通信学会
雑誌
電子情報通信学会論文誌. D, 情報・システム (ISSN:18810225)
巻号頁・発行日
vol.101, no.9, pp.1363-1371, 2018-09-01

人や企業は様々な条件下で最適な行動を取るのだろうか.取らないのであればそれはなぜか.その原因を求めることは,実際の個人・企業等の理解を大きく助ける.また,ゲーム理論はスポーツや経済学そしてその他の社会科学の理解に大きく関わってきた.本研究は比較的データが集めやすく混合戦略を適用できるサッカーのPK戦に注目し,独自の確率を考慮した利得表を作成した.その利得表を用いてPK戦におけるキッカーの最適戦略を求め,最適戦略と実際の戦略とのズレを明らかにした.そのズレの原因を求める為にデータセット内の各データ項目についての確率分布を比較するというアプローチをした.データはインターネット動画サイトより収集した,プロ選手による2001年〜2017年の間の世界各国のPK戦150試合(計1539人分)を使用した.実験結果として,最適戦略と実際の戦略との間にズレが存在することが分かった.またそのズレには国籍・スコア差の関与が示唆された.その結果から,サッカーPK戦における最適戦略と実際の戦略との間におけるズレの原因を推定した.本手法はスポーツ分野以外への応用も期待できる.
著者
岩崎 祐貴 折原 良平 清 雄一 中川 博之 田原 康之 大須賀 昭彦
出版者
人工知能学会
雑誌
人工知能学会全国大会論文集 (ISSN:13479881)
巻号頁・発行日
vol.27, 2013

近年,ブログやtwitterなどソーシャルメディアの普及により誰でも気軽に情報発信できるようになった.それに伴い頻繁に炎上が起こり,ブログの閉鎖や個人情報の特定といった被害に合うリスクが高まっている.そこで本研究では,実際に炎上したtwitterやブログ記事を収集,分析することで炎上の原因を調査した.また,今後の炎上を防ぐため,過去の炎上事例を教師データとした機械学習の適用方法を提示する
著者
全 泰賢 川村 隆浩 中川 博之 田原 康之 大須賀 昭彦
出版者
情報処理学会
雑誌
情報処理学会論文誌 (ISSN:18827764)
巻号頁・発行日
vol.53, no.11, pp.2485-2493, 2012-11-15

近年,商品やサービスを販売するECサイトの市場規模がますます拡大している.しかし,多くのECサイトの商品検索機能はカテゴリ絞り込みやキーワード検索に限られており,単語での特徴指定が困難な商品の検索においては難がある.たとえば,ECサイトの中でも特に売上げが伸びている服飾系の商品においては,ユーザは事前にブランド名やデザイン種別などの商品知識を頭に入れる必要があり,それによって商品群を絞り込んだ後にも何十というサムネイル画像を順番に見ていかなければならない.そこで本研究では,ユーザが閲覧した衣服(デザイン)の履歴を,商品画像の局所特徴量と商品説明文中のキーワードから,我々が事前に用意した服飾オントロジ上にマッピングする.そして,オントロジ内の距離計算によってユーザのデザインに関する嗜好を推定し,ユーザ嗜好に沿った衣服を抽出・推薦するエージェントシステムを提案する.また,推薦精度に関する評価実験を行い,70%超の再現率を達成していることを確認した.E-commerce market has been expanding, recently. However, search functionality for products in most of e-commerce sites are limited to keyword search and category selection, thus there is a problem to search for the product, to which it is difficult to specify its characteristics by words. In terms of a fashion product whose sales have been increasing year after year, users are required to learn the keywords like brand names and design terms in advance, and after just narrowing a list of the products they need to check small thumbnail images of enormous items one by one. Therefore, we propose an 'agent' service, which maps the user's browsing history of the product designs to the prepared fashion ontology based on local features of product images and keywords in product descriptions. Then, it estimates his/her favorite designs by calculating distances in the ontology and recommends the unseen items to the user. Also, we conducted an experiment for the recommendation accuracy, and confirmed more than 70% of recall.
著者
橋本 和幸 中川 博之 田原 康之 大須賀 昭彦
出版者
一般社団法人電子情報通信学会
雑誌
電子情報通信学会論文誌. D, 情報・システム (ISSN:18804535)
巻号頁・発行日
vol.94, no.11, pp.1762-1772, 2011-11-01
被引用文献数
1

近年,政策やサービスなどの評判を調査するためにアンケート形式による調査が増加しているが,回収率が低落傾向にあることや,人的コストが増加するなどの問題が生じている.一方,Web上にはユーザの意見を含む評価情報が多数存在している.そこで本研究では,評判傾向予測システムの構築を目的として評判傾向の時間的変化とその原因をマイクロブログから抽出する評判傾向抽出エージェントの実現を目指す.特に本論文では,評判傾向の抽出と評判傾向が変化した原因の抽出に注力する.評価情報の感情を抽出するセンチメント分析に着目し,回帰式から評判傾向の変化点を抽出した後に,変化点におけるトピックをチャンキングにより抽出する手法を提案する.本手法は,従来の評価判定法であるp/n判定にセンチメント分析を組み合わせることで,p/n判定単体よりも人手による調査と相関の高い時系列変化を抽出できる点が特徴であり,政治及びテレビドラマに関するコンテンツを対象に実際の支持率,視聴率に対する評価実験を実施した結果,政治(自由度調整済決定係数R'^2(p/n判定単体:0.22,提案手法:0.60)),テレビドラマ(自由度調整済決定係数R'^2(p/n判定単体:0.26,提案手法:0.56))ともに相関の高い時系列変化を抽出できることが確認できた.
著者
奥原 史佳 江上 周作 清 雄一 田原 康之 大須賀 昭彦
出版者
一般社団法人 人工知能学会
雑誌
人工知能学会第二種研究会資料 (ISSN:24365556)
巻号頁・発行日
vol.2022, no.SWO-057, pp.07, 2022-08-05 (Released:2022-08-10)

近年, 教科全体や科目内全体で俯瞰的な学習が求められており, また, 多肢選択式問題が大量かつ広範囲の出題に向いていることから, 俯瞰的な多肢選択式問題が有用であると考えられる. "俯瞰的な問題" とは,幅広い関連情報を含み全体像をとらえさせるような内容である. 俯瞰的な問題を人手で生成・収集することはコストがかかるため, Linked Data を使って出題時に幅広い情報を提示することで俯瞰的な視点で問題を捉えさせるような多肢選択式問題の自動生成手法を提案した. 一方, 特定分野をターゲットとした出題においては, 該当分野における関連情報の幅広さを考慮できていない. また, 生成問題には解答に直接関係のない情報が含まれており, 回答時の俯瞰的な視点の必要性を考慮できていない. 本研究では, 特に歴史分野における生成問題の俯瞰度と, 回答時の俯瞰的な視点が必要な問題生成について考察する.
著者
齋藤 悠貴 清 雄一 田原 康之 大須賀 昭彦
雑誌
研究報告知能システム(ICS) (ISSN:2188885X)
巻号頁・発行日
vol.2022-ICS-205, no.2, pp.1-4, 2022-02-14

近年,EC サイト等でで「こちらもおすすめ」といったユーザの嗜好に関連したアイテムの機械的な推薦がしばしばみられる.多くの場合,このようなレコメンデーションには協調フィルタリングと呼ばれる推薦手法が採られる.ただし,協調フィルタリングでは購入データや評価データ等の嗜好ベースの情報しか考慮できず,アイテムが持つメタ的な情報が考慮されない問題点が存在する.本研究では,特にアニメ作品に関して,協調フィルタリングの一手法による評価データのみを考慮した特徴量の抽出に加え,アニメ制作業界の関係性を考慮した特徴量の再抽出を試みた.「誰がどの作品を好む」といった情報だけでなく,「誰がどの作品を作ったか」といった情報を組み込んだ特徴量を抽出することを目的とする.業界の関係性の再現にあたっては,グラフを用いた.アニメごとに関連づけられた人・企業の要素を繋いでネットワークとすることで,業界の関係性の再現を試みた.特徴量の再抽出には GCN (Graph Convolutional Network) を用いた.提案プロセスと業界の関係性を考慮しない場合とで特徴量を客観評価によって比較すると,提案プロセスがより高い精度をマークしており,業界の関係性を考慮することの有効性が示唆された.
著者
岩崎 祐貴 折原 良平 清 雄一 中川 博之 田原 康之 大須賀 昭彦
出版者
一般社団法人 人工知能学会
雑誌
人工知能学会全国大会論文集
巻号頁・発行日
vol.2013, pp.1J3OS22a4, 2013

<p>近年,ブログやtwitterなどソーシャルメディアの普及により誰でも気軽に情報発信できるようになった.それに伴い頻繁に炎上が起こり,ブログの閉鎖や個人情報の特定といった被害に合うリスクが高まっている.そこで本研究では,実際に炎上したtwitterやブログ記事を収集,分析することで炎上の原因を調査した.また,今後の炎上を防ぐため,過去の炎上事例を教師データとした機械学習の適用方法を提示する</p>
著者
逢澤 昌志 清 雄一 田原 康之 大須賀 昭彦
出版者
人工知能学会
雑誌
2019年度 人工知能学会全国大会(第33回)
巻号頁・発行日
2019-04-08

線画の色付けには、特別な技術、経験、そして知識が必要です。そのため、近年では線画の自動彩色の研究が注目を浴びています。しかし、既存手法は課題を抱えています。そのうちの1つが、グレースケール人物線画とその自動彩色結果の間で白目領域における不一致が生じるという問題です。人の肌や白目はどちらの場合も白く表現されることが多いため、既存のアプローチではその境界を判断できない場合が多く存在します。そこで、白目領域を考慮した自動彩色が求められています。本研究では、既存の白目領域検出による自動彩色手法に対して、データセット作成における負担軽減のシステムを用いた新たな自動彩色手法を提案します。結果として、白目領域検出の精度が低下しましたが、データセット作成に要する時間を短縮することに成功しました。
著者
神畠 正稔 折原 良平 清 雄一 田原 康之 大須賀 昭彦
出版者
一般社団法人 人工知能学会
雑誌
人工知能学会全国大会論文集 第32回全国大会(2018)
巻号頁・発行日
pp.2H202, 2018 (Released:2018-07-30)

データ分析は、ビジネス、科学、スポーツなどさまざまな分野で活用されている。 その中でもサッカーチームにおける選手やチームの評価は、戦術、トレーニング、スカウティングに影響を与えており、試合結果のシュートやゴールなどのデータを活用することで、選手やチームが評価される。 しかし、シュートやゴールなどのデータを活用するだけでは、選手やチームの能力を十分に理解するのは不十分である。 本研究では、サッカーのパスのデータを用いた新しい分析手法について述べる。 選手やチームのパフォーマンスを評価するために、グラフマイニングを適用している。 選手やチームを評価するために、組織内の個々の貢献度を評価する中心性という指標がある。 本研究では得られる選手間の中心性の測定において最短経路だけでなく、最短経路より長い経路も考慮している。 その結果、提案した手法は従来の方法よりも試合結果とより整合していることがわかった。
著者
鈴木 もとこ 清 雄一 田原 康之 大須賀 昭彦
雑誌
情報処理学会論文誌 (ISSN:18827764)
巻号頁・発行日
vol.58, no.11, pp.1799-1807, 2017-11-15

今後ロボットが家庭に普及するために,人間とペットとロボットの3者が良い関係を築くことが大切である.我々は人とのインタラクションを目的に作られたロボットがペットと家庭で共生するために,ロボットにペットが好む行動をさせ,ペットがロボットをより好むようにすることを目標とする.本研究では,犬の世話行動をするロボットに注目した.世話行動をするケアロボットと世話行動をしないノンケアロボットの2台を用意し,ロボットが世話行動を行った後に犬がどちらのロボットをより好むか調査した.具体的には,ロボットが行う犬の世話行動は,飼い主へのアンケート結果をもとに餌やりとボール遊びの2種類とした.結果,犬は餌やりの世話行動をするケアロボットをノンケアロボットよりも有意に好むことが分かった.一方でボール遊びの世話行動については,ロボットとボール遊びをする犬としない犬の2群に分けられ,ボール遊びをする犬はボール遊びの世話行動をするケアロボットをノンケアロボットより有意に好むことが明らかになった.この知見は今後,家庭におけるロボットのペットに対する関わり方の指針となることが期待される.It is important for human beings, pets and robots to establish a good relationship in order for robots become popular to homes in the future. We are supposed to coexist between humans and robots that were made for human interaction at home. Then, let the robot take actions preferred by the pet and aim to make the robot more preferably by the pet. In this research, we focused on robots that take care of dogs. We used two robots that take care actions robot and non-care action robot, and surveyed which robot the dog likes more preferably after the robot takes care action. Specifically, the behavior of robot was two types of feeding and ball play based on the questionnaire result of the owner. As a result, it became clear that the dog significantly prefers the care robot which takes care of bait feeding than the non-care robot. On the other hand, as for the behavior of taking care of the ball play, it is divided into two groups: a dog which play ball with a robot, a dog which does not play ball with a robot. It became clear that dogs playing balls significantly prefer care robots to take care of ball playing than non-care robots. It is expected that this finding will be a guide for how robots are involved in pets at home.
著者
高増 広大 田原 康之 清 雄一 大須賀 昭彦
雑誌
研究報告ソフトウェア工学(SE) (ISSN:21888825)
巻号頁・発行日
vol.2016-SE-191, no.2, pp.1-8, 2016-03-07

近年,スマートフォンの普及率が世界的に増加しているのに付随してスマートフォンアプリケーションの需要が高まっており,開発が進められてきている.そのため同じ課題を解決できるアプリケーション,すなわち類似したアプリケーションが多数出現している.そこでユーザはアプリケーションを利用して目的を満たす事は最低限の条件として,アプリケーションのコンテンツや使い易さ等,自分がこだわる観点でのアプリケーションの選定を行いたくなると考えられるが,多数の中からの選定は困難である.本研究では,ユーザが目的を達成する為にアプリケーションを導入するという前提で,ユーザのこだわりを考慮した推薦システムを提案する.そのために,通常アプリケーションの入手先となるアプリストアに投稿された他のユーザのレビューコメントに自然言語処理手法を適用する.具体的には,コメントから類似アプリケーションの特徴を表すと考えられる単語を抽出し,ユーザはそこから興味を持った単語を選ぶ.アプリケーションのレビューコメントにおいて単語の評価がネガティブかポジティブかを判定することにより,アプリケーションのその単語に関する評価値を算出し,ランク付けして推薦する.算出した評価値を,実際にアプリを使用した被験者による評価と比較し,またレビュー内に出現する単語に対するネガティブ・ポジティブの判定を,人手で作成した正解データと照らし合わせる事でシステムの評価を行った.