著者

田代 崇 上田 高徳 堀 泰祐 平手 勇宇 山名 早人

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. DE, データ工学 (ISSN:09135685)

巻号頁・発行日

vol.106, no.149, pp.23-28, 2006-07-06

---

近年のWebページ総数の飛躍的な増加に伴い,歌詞や新聞記事の無断引用などの著作権侵害のWebページの数も増大している.そこで本稿では,著作権違反の疑いのあるページを自動検出するシステムを提案する.本システムではまず,検索ワードを,指定された文章を文節単位に区切り組み合わせることにより生成し、GoogleやYahoo!が提供しているWebサービスを用いて著作権違反の候補ページを収集する.次に候補ページを類似度をもとにランキングを行ない,ユーザーに提示する.ランキングに用いた類似度は文節をもとにした最長共通部分列から求める.評価実験を行った結果,歌詞,新聞記事,ブログ等からなるWebページをシードとして,著作権侵害ページを検出することができた.

著者

大足 恭平 三ツ井 孝仁 上田 高徳 朱 槿

出版者

Media Network Center, Waseda University

雑誌

MNC Communications (ISSN:13448048)

巻号頁・発行日

vol.12, 2010-08

著者

上田 高徳 佐藤 亘 鈴木 大地 打田 研二 森本 浩介 秋岡 明香 山名 早人

出版者

一般社団法人情報処理学会

雑誌

情報処理学会論文誌データベース(TOD) (ISSN:18827799)

巻号頁・発行日

vol.6, no.2, pp.85-97, 2013-03-29

---

Webクローラは,クローリング済みURLの検出やWebサーバに対する連続アクセス防止といった処理を実行しながらデータ収集を行う必要がある.Web空間に存在する大量のURLに対して高速な収集を実現するために並列分散クローリングが求められるが,省資源でのクローリングを行うためにも,処理の時間計算量と空間計算量の削減に加え,計算機間の負荷分散も必要である.本論文で提案するWebクローラは,クローリング処理をProducer-Consumer型のモジュール群で実行することにより,これまでの被クロールWebサイト単位での負荷分散でなく,Webクローラを構成するモジュール単位での負荷分散を実現する.つまり,Webクローラを構成する各モジュールが必要とする計算機資源に応じた分散処理が可能になり,計算機間での計算負荷やメモリ使用量の偏りを改善することができる.また,ホスト名やURLを管理するモジュールは時間計算量と空間計算量に優れたデータ構造を利用して構成されており,大規模なクローリングが省資源で可能になる.Web crawlers must collect Web data while performing tasks such as detecting crawled URLs and preventing consecutive accesses to a particular Web server. Parallel-distributed crawling is carried out at a high speed for the enormous number of URLs existing on the Web. However, in order to crawl efficiently, a crawler must realize load balancing between computers in addition to reducing time and space complexities in the crawling process. The Web crawler proposed in this paper crawls the Web using producer-consumer modules, which compose the crawler, and it realizes load balancing per module and not per crawled Web site. In other words, it realizes load balancing that is appropriate to certain computer resources necessary for the modules that compose the Web crawler; in this way, it improves biases in computation loads and memory utilization between computers. Moreover, the crawler is able to crawl the Web on a large scale while conserving resources, because the modules that manage host names or URLs are implemented by data structures that are temporally and spatially efficient.

著者

吉田 泰明 上田 高徳 田代 崇 平手 勇宇 山名 早人

出版者

一般社団法人情報処理学会

雑誌

情報処理学会研究報告. DBS,データベースシステム研究会報告 (ISSN:09196072)

巻号頁・発行日

vol.143, pp.441-446, 2007-07-02

参考文献数

17

被引用文献数

2

---

現在,Web上の情報は膨大であり,欲しい情報をWeb上から探すために検索エンジンが広く用いられている.このように,検索エンジンのランキングが与える社会的影響は大きいにも関わらず,ユーザは検索エンジンのランキング手法を理解せずに利用しているのが現状である.本稿では,各種検索エンジンの特徴を明らかにすべく,週に一回1000のクエリを用い主要な3つの検索エンジンのランキングの比較と特徴の解析を行った.その結果,主要な検索エンジン間ではランキングの上位ほど揃いやすく,ランキングの時間変化の特徴にも違いがあることが分かった.また,ランキングと逆リンク数にも相関があることが分かった.

著者

田代 崇 上田 高徳 堀 泰祐 平手 勇宇 山名 早人

出版者

一般社団法人情報処理学会

雑誌

情報処理学会研究報告データベースシステム(DBS) (ISSN:09196072)

巻号頁・発行日

vol.2006, no.78, pp.27-33, 2006-07-13

被引用文献数

1

---

近年のWebページ総数の飛躍的な増加に伴い,歌詞や新聞記事の無断引用などの著作権侵害のWebページの数も増大している.そこで本稿では,著作権違反の疑いのあるページを自動検出するシステムを提案する.本システムではまず,検索ワードを,指定された文章を文節単位に区切り組み合わせることにより生成し、GoogleやYahoo!が提供しているWebサービスを用いて著作権違反の候補ページを収集する.次に候補ページを類似度をもとにランキングを行ない,ユーザーに提示する.ランキングに用いた類似度は文節をもとにした最長共通部分列から求める.評価実験を行った結果,歌詞,新聞記事,ブログ等からなるWebページをシードとして,著作権侵害ページを検出することができた.Due to explosive increase of the number of web pages, the number of copyright violation web pages, such as lyrics or news citation pages without permission, has also been increased. To solve this problem, we propose a system for detecting copyright violation web pages. The proposed system consists of three steps. Firstly, the system generates search keywords on phrasal units, called "bunsetsu", which are included in the "seed page." Secondly, on search keywords generated by the first step, the system gathers candidate of web pages violating copyright by using Google or Yahoo! web service. Finally, the system re-ranks the candidate web pages with similarity to the seed page. Here, we adopted "Longest Common Subsequence" of phrasal units, as a similarity measurement. Our evaluation confirmed that proposed system is able to extract copy violation web pages correctly.

著者

舟橋 卓也 上田 高徳 平手 勇宇 山名 早人

出版者

一般社団法人情報処理学会

雑誌

情報処理学会研究報告データベースシステム(DBS) (ISSN:09196072)

巻号頁・発行日

vol.2008, no.88, pp.139-144, 2008-09-14

被引用文献数

2

---

これまでに検索エンジンのヒット数を利用した研究が数多く行われている.こうした研究では、当該クエリに対するヒット数を用いることにより,翻訳支援や自然言語処理支援など様々なアプリケーション構築を目指している.従来,検索エンジンのヒット数は信頼できるという仮定の下で用いられてきた.しかし検索エンジンが返すヒット数の信頼性に対する検証は筆者の知る限り行われていない.もしもヒット数が不正確な場合,ヒット数を利用した研究の信頼性は疑わしいものとなる.そこで本論文では,検索エンジンのヒット数に対してその信頼性の検証を行う.検証実験では,日本で広く用いられている商用検索エンジンである Google,Yahoo! Japan,Live Search が提供している検索 API を利用した.また実験に利用するクエリとして,日本語 Wikipedia からランダムに選択した 1 000 件の記事タイトルを使用した.検証実験の結果,ヒット数は 5% ~ 50% の確率で,推定を行った理想的なヒット数に対して 5% 以上大きさが異なることがわかった.A number of studies have been using Search Engines' hit count. The goal of these studies is to build applications for translation support or natural language processing support. These studies assume that the hit count is reliable. However, none of the studies have been verifide the reliability of Search Engines' hit count. If the hit count is unreliable, studies using hit count become also unreliable. The purpose of this paper is to verify the reliability of Search Engines' hit count. In this experiment, we used Search APIs provided by Google, Yahoo! Japan and Live Search. Furthermore, we randomelyrandomly extracted 1,000 keywords from the titles of the articles on Wikipedia as queries. The verification experiment shows that hit count is depart from estimated ideal hit count in 5 - 50% of the time.