Organization
Graduate School of Informatics Department of Intelligent Systems 1 Professor
Graduate School
Graduate School of Informatics
Undergraduate School
School of Informatics Department of Computer Science
Title
Professor
HIGASHINAKA Ryuichiro
Degree 1
-
博士（学術） （ 2008.3 慶應義塾大学 ）
Papers 40
-
多様な年代の話者による旅行代理店タスク対話コーパスの収集と分析
稲葉 通将, 東中 竜一郎, 千葉 祐弥, 駒谷 和範, 宮尾 祐介, 長井 隆行
人工知能学会研究会資料 言語・音声理解と対話処理研究会 Vol. 93 ( 0 ) page： 192 - 197 2021.11
-
雑談に介入する際に必要な対話要約の調査
山下 紗苗, 東中 竜一郎
人工知能学会研究会資料 言語・音声理解と対話処理研究会 Vol. 93 ( 0 ) page： 86 - 91 2021.11
-
対話システムライブコンペティション4
東中 竜一郎, 船越 孝太郎, 高橋 哲朗, 稲葉 通将, 赤間 怜奈, 佐藤 志貴, 堀内 颯太, ドルサ テヨルス, 小室 允人, 西川 寛之, 宇佐美 まゆみ
人工知能学会研究会資料 言語・音声理解と対話処理研究会 Vol. 93 ( 0 ) page： 92 - 100 2021.11
-
私のブックマーク：対話システム
東中 竜一郎
人工知能 Vol. 36 ( 5 ) page： 644 - 650 2021.9
-
Spoken dialogue system development at the dialogue robot competition
Higashinaka Ryuichiro, Minato Takashi, Sakai Kurima, Funayama Tomo, Nishizaki Hiromitsu, Nagai Takayuki
THE JOURNAL OF THE ACOUSTICAL SOCIETY OF JAPAN Vol. 77 ( 8 ) page： 512 - 520 2021.8
-
Integrated taxonomy of errors in chat-oriented dialogue systems. Reviewed
Ryuichiro Higashinaka, Masahiro Araki, Hiroshi Tsukahara, Masahiro Mizukami
Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, SIGdial 2021, Singapore and Online(SIGDIAL) page： 89 - 98 2021.7
-
Collection of Meta Information with User-Generated Question Answer Pairs and its Reflection for Improving Expressibility in Response Generation Reviewed
Takashi Kodama, Ryuichiro Higashinaka, Koh Mitsuda, Ryo Masumura, Yushi Aono, Ryuta Nakamura, Noritake Adachi, Hidetoshi Kawabata
Journal of Natural Language Processing Vol. 28 ( 1 ) page： 136 - 159 2021.3
-
タングラム命名課題における相互の信念の共通基盤化と対話分析
須藤早喜，浅野恭四郎，光田航，東中竜一郎，竹内勇剛
HAIシンポジウム 2021.3
-
発表スキル向上のためのスライド内の要素に対する指摘内容生成モデル
川瀬卓也，東中竜一郎，大平茂輝，長尾確
情報処理学会第83回全国大会講演論文集 2021.3
-
共同図形配置課題における対話の共通基盤構築過程の分析
光田航, 東中竜一郎, 大賀悠平, 杵渕哲也
言語処理学会第27回年次大会発表論文集 2021.3
-
プレゼンテーションにおけるスライド情報を用いた音声認識結果の自動修正
神谷賢太郎，東中竜一郎，川瀬卓也，長尾確
情報処理学会第83回全国大会講演論文集 2021.3
-
話したくない話題を対象とした対話データの収集とその分析
長尾佳寿美，東中竜一郎，安宅和人
情報処理学会第83回全国大会講演論文集 2021.3
-
オケージョンを考慮した対話システムの検討
莊司健太，長尾佳寿美，東中竜一郎，安宅和人
情報処理学会第83回全国大会講演論文集 2021.3
-
学術論文における関連研究の執筆支援のための被引用論文の推定
小山康平, 南泰浩, 成松宏美, 堂坂浩二, 田盛大悟, 東中竜一郎, 平博順
言語処理学会第27回年次大会発表論文集 2021.3
-
タングラム命名課題におけるメタ対話の役割と共通基盤
須藤早喜，浅野恭四郎，光田航，東中竜一郎，竹内勇剛
人工知能学会 言語・音声理解と対話処理研究会 page： 97 - 102 2021.2
-
Methods of Efficiently Constructing Text-dialogue-agent System using Existing Anime Character Reviewed
Ryo Ishii, Ryuichiro Higashinaka, Koh Mitsuda, Taichi Katayama, Masahiro Mizukami, Junji Tomita
Journal of Information Processing Vol. 29 page： 30 - 44 2021.1
-
話者継続・交替時における対話行為と視線行動に基づく共感スキルの推定 Reviewed
情報処理学会論文誌 Vol. 62 ( 1 ) page： 100 - 114 2021.1
-
Kodama Takashi, Higashinaka Ryuichiro, Mitsuda Koh, Masumura Ryo, Aono Yushi, Nakamura Ryuta, Adachi Noritake, Kawabata Hidetoshi
Journal of Natural Language Processing Vol. 28 ( 1 ) page： 136 - 159 2021
-
Response generation for generating certain questions in chat-oriented dialogue systems
HORIUCHI Sota, HIGASHINAKA Ryuichiro
Proceedings of the Annual Conference of JSAI Vol. JSAI2021 ( 0 ) page： 2Yin502 - 2Yin502 2021
-
Towards a task-oriented dialogue system based on the integration of understanding and generation modules using reinforcement learning
OHASHI Atsumoto, HIGASHINAKA Ryuichiro
Proceedings of the Annual Conference of JSAI Vol. JSAI2021 ( 0 ) page： 4E1OS11a02 - 4E1OS11a02 2021
-
Kamiya K., Kawase T., Higashinaka R., Nagao K.
Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) Vol. 12848 LNAI page： 331 - 340 2021
-
Dialogue situation recognition for everyday conversation using multimodal information
Chiba Y., Higashinaka R.
Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH Vol. 5 page： 3736 - 3740 2021
-
複数人対話での共通基盤構築における非言語行動因子および社会的対話行動因子の分析
山口留実，渡辺巧登，桑原多瑛，古谷優樹， 光田航，石井亮，東中竜一郎，高汐 一紀
第37回人間情報学会講演集 page： 9 - 10 2020.12
-
タングラム命名課題を使ったメタ対話の役割と生起の分析
須藤早喜，浅野恭四郎，光田航，東中竜一郎，竹内勇剛
人工知能学会 言語・音声理解と対話処理研究会 Vol. B5 ( 02 ) page： 73 - 78 2020.11
-
対話システムライブコンペティション3
東中竜一郎, 船越孝太郎, 高橋 哲朗, 稲葉通将,角森 唯子, 赤間怜奈, 宇佐美まゆみ, 川端良子, 水上雅博, 小室允人, ドルサテヨルス
人工知能学会 言語・音声理解と対話処理研究会 Vol. B5 ( 02 ) page： 96 - 103 2020.11
-
対象物のイメージに基づく図像的ジェスチャの形状推定
二瓶芙巳雄，中野有紀子，東中竜一郎，石井亮
情報科学技術フォーラム講演論文集 Vol. 19 ( 3 ) page： 39 - 42 2020.9
-
Overview of Dialogue Breakdown Detection Challenge 5 International coauthorship
Ryuichiro Higashinaka, Yuiko Tsunomori, Tetsuro Takahashi, Hiroshi Tsukahara, Masahiro Araki, Joao Sedoc, Rafael E. Banchs, Luis F. D’Haro
Proceedings of WOCHAT + DBDC5: Workshop on Chatbots and Conversational Agents and Dialogue Breakdown Detection Challenge 2020.9
-
Collection and Analysis of Dialogues Provided by Two Speakers Acting as One Reviewed
Tsunehiro Arimoto, Ryuichiro Higashinaka, Kou Tanaka, Takahito Kawanishi, Hiroaki Sugiyama, Hiroshi Sawada, Hiroshi Ishiguro
Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL) page： 323 - 328 2020.7
-
Methods of Efficiently Constructing Text-Dialogue-Agent System Using Existing Anime Character Reviewed
Ryo Ishii, Ryuichiro Higashinaka, Koh Mitsuda, Taichi Katayama, Masahiro Mizukami, Junji Tomita, Hidetoshi Kawabata, Emi Yamaguchi, Noritake Adachi, Yushi Aono
Proceedings of International Conference on Human-Computer Interaction (HCII) page： 328 - 347 2020.7
-
話者情報を考慮する注意機構を用いた応答生成手法の検討
水上雅博, 杉山弘晃, 成松宏美, 有本庸浩, 東中竜一郎
人工知能学会全国大会（第34回） 2020.6
-
不要文除去問題の自動解答における転移学習に用いる疑似問題の作成手法
井上裕樹, 的場成紀, 成松宏美, 杉山弘晃, 東中竜一郎, 平博順
人工知能学会全国大会（第34回） 2020.6
-
文章の流れの自然さに基づく会話文完成問題の自動解答
井上裕樹, 杉山弘晃, 成松宏美, 東中竜一郎, 平博順, 堂坂浩二
人工知能学会全国大会（第34回） 2020.6
-
Generating Responses that Reflect Meta Information in User-Generated Question Answer Pairs Reviewed
Takashi Kodama, Ryuichiro Higashinaka, Koh Mitsuda, Ryo Masumura, Yushi Aono, Ryuta Nakamura, Noritake Adachi, Hidetoshi Kawabata
Proceedings of The 12th Language Resources and Evaluation Conference (LREC) page： 5433 - 5441 2020.5
-
雑談要約技術に向けた取り組み
東中竜一郎, 光田航, 増村亮, 斉藤いつみ, 青野裕司
言語処理学会第26回年次大会発表論文集 2020.3
-
センター試験を対象とした高性能な英語ソルバーの実現
杉山弘晃, 成松宏美, 菊井玄一郎, 東中竜一郎, 堂坂浩二, 平博順, 南泰浩, 大和淳司
言語処理学会第26回年次大会発表論文集 2020.3
-
Improvements in the Utterance Database for Enhancing System Utterances in Chat-oriented Dialogue Systems Reviewed
Yuiko Tsunomori, Ryuichiro Higashinaka, Takeshi Yoshimura, Yoshinori Isoda
Vol. 27 ( 1 ) page： 65 - 88 2020.3
-
Hierarchical Argumentation Structure for Persuasive Argumentative Dialogue Generation Reviewed
Kazuki Sakai, Ryuichiro Higashinaka, Yuichiro Yoshikawa, Hiroshi Ishiguro, Junji Tomita
IEICE Transactions on Information and Systems Vol. E103.D ( 2 ) page： 424 - 434 2020.2
-
雑談対話における言外の情報の収集と類型化 Reviewed
光田航, 東中竜一郎, 富田準二
人工知能学会論文誌 Vol. 35 ( 1 ) 2020.1
-
ユーザ情報を記憶する雑談対話システムの構築とその複数日にまたがる評価 Reviewed
角森唯子, 東中竜一郎, 吉村健, 礒田佳徳
人工知能学会論文誌 Vol. 35 ( 1 ) 2020.1
-
対話破綻検出チャレンジ3における対話破綻検出の評価尺度の選定 Reviewed
角森唯子, 東中竜一郎, 高橋哲朗, 稲葉通将
人工知能学会論文誌 Vol. 35 ( 1 ) 2020.1
Books 3
-
AIの雑談力
東中竜一郎（ Role： Sole author）
KADOKAWA 2021.2
-
東中 竜一郎
KADOKAWA 2021 （ ISBN:9784040823065 ）
-
Pythonでつくる対話システム
東中竜一郎, 稲葉通将, 水上雅博（ Role： Joint author）
オーム社 2020.3
MISC 2
-
「先生，質問です！」（いつかドラえもんのようななんでも出せてコミュニケーションがスラスラできるロボットはできますか？） Invited
東中竜一郎
情報処理 Vol. 61 ( 7 ) 2020.7
-
対話システムライブコンペティションから何が得られたか Invited
東中竜一郎, 船越孝太郎, 稲葉通将, 角森唯子, 高橋哲朗, 赤間怜奈, 宇佐美まゆみ, 川端良子, 水上雅博
人工知能 Vol. 35 ( 3 ) page： 333 - 343 2020.5
KAKENHI (Grants-in-Aid for Scientific Research) 3
-
Grant number：19H05692 2019.6 - 2024.3
科学研究費助成事業 新学術領域研究(研究領域提案型)
東中 竜一郎, 駒谷 和範, 宮尾 祐介, 稲葉 通将, 港 隆史, 槇原 靖
Authorship：Principal investigator
Grant amount：\160160000 （ Direct Cost: \123200000 、 Indirect Cost：\36960000 ）
現在の対話システムの主な構成論は，複数のモジュールを疎結合させ，各モジュールを学習データにより改善するというものである．しかし，このような構成論で構築されたシステムは，疎結合であるがゆえに，全体最適化が困難である．また，可塑性に乏しく，一度学習されたモュールを動的に変更することは難しい．その結果，ユーザや状況に応じた対話ができず，人間がシステムを熟知しなくては対話が成立しない．本研究では，現在の対話システムの基本構成を見直し，ユーザや状況に応じてシステム全体の効用を最大化できるように複数のモジュールが連動することで理解・生成を行う対話システム基盤の構築を目指す．
本研究課題は，現状の対話システムの基本構成を見直し，複数のモジュールが連動することでユーザや状況に応じてシステム全体の効用を最大化することを目的とする．具体的には，「課題A. 他モジュールと連動した音声処理・マルチモーダル処理技術の確立」，「課題B. 他モジュールと連動した言語理解・言語生成技術の確立」，「課題C. 対話の効用に基づく複数モジュールのパラメタ最適化技術」，「課題D. 複数モジュール間での連動プロトコルの設計およびシステム構築とその実証」の4つの課題に取り組む．
課題Aおよび課題Bについては，話者の歩行映像に基づく年齢・性別のオンライン推定技術の研究を進めた．また，文脈依存のセマンティックパージング技術を推進するためのデータ設計を行った．
課題Cについては，パラメタ最適化技術の基礎検討を行うための対話データ収集に着手した．具体的には，観光目的地を決定する旅行代理店課題を設定し，データ収集計画を立案した．そして，旅行代理店オペレータのヒアリングに基づき，観光情報検索インタフェースを作成した上で，旅行代理店オペレータとユーザとの対話収集を開始した．本データは，人間のオペレータと年齢・性別の異なる多様な話者による対話を含み，ユーザや状況に応じてシステムがどのように振舞うべきかについての知見を与える有用なデータとなる．
課題Dについては，複数のモジュールが連動するためのプロトコル設計，モジュール連動プラットフォームの実装，および，プロトタイプシステムの動作検証を行った．また，コンペティション形式での実証実験計画を立てた．ロボットによる対話の標準課題を設定し，参加者が開発した対話ロボットの性能を競うことで，実社会における対話ロボットの問題を発見し，どのようなモジュール連動が有効かを探索できる．実証実験は商業施設で行い，実際のユーザにより評価してもらう設計とした．
課題Aおよび課題Bについては，音声処理・マルチモーダル処理技術および言語理解・言語生成技術に関する基礎検討を行った．どのような情報があれば他のモジュールに有用かを検討し，年齢・性別推定技術やセマンティックパージング技術を着実に進展させることができた．
課題Cについては，パラメタ最適化技術の基礎検討を行うための対話データ収集に着手したが，新型コロナウイルスの影響により遅れが生じた．具体的には，対面で行う予定であった対話データ収集を，遠隔会議システムを用いた実施に切り替えたが，その際，実験計画を再設計したり被験者を再募集したりする必要が生じた．データ収集実験の実施にあたっても，実験者・被験者ともに，遠隔会議システムを用いたデータ収集のノウハウの蓄積が乏しく，実施に通常以上の時間を要した．現在は試行錯誤を経て，滞りなくデータ収集実験が実施できる状況となっている．
課題Dについては，複数のモジュールが連動するためのプロトコル設計，モジュール連動プラットフォームの実装，および，プロトタイプシステムの動作検証を行った．また，実証実験の場としての，コンペティション形式での実証実験計画を立て，参加者に提供予定である実証実験用対話ロボットシステムの構築にも着手できた．このことから，着実に進展していると言える．
課題Aについては，収集された対話データ等に基づき，音声やマルチモーダル処理と，後段の言語処理モジュール等の連動に必要なパラメタを明らかにし，それぞれのモジュールの性能を向上させる手法の提案に取り組む．
課題Bについては，収集された対話データ等に基づき，自然言語処理研究におけるセマンティックパージング技術や文章生成技術を音声対話システムに利用するための基盤技術の研究開発を行う．具体的には，音声認識モジュールや対話制御モジュールにおける対話行為認識や文脈・状況理解に基づき，セマンティックパージング・文章生成の精度を向上させる手法を提案する．
課題Cについては，基礎データとしての旅行代理店課題の対話データ収集を継続する．また，書き起こしやラベル付けを行うことで，これらのデータの整備を行う．加えて，各モジュールのパラメタの一部を最適化する手法の検討を行い，対話の効用が明確なタスク指向型対話システムにおいてその有効性を検証する．
課題Dについては，他の課題と連動し，モジュール連動プラットフォームに基づく対話システムの実装を進めるほか，コンペティション形式での実証実験を進める．実証実験用対話ロボットシステムを構築し，ロボット制御について詳しくない参加者であっても，対話ロボットを用いた実証実験に参加できるようにする．また，商業施設における実験を実施する． -
Communicative intelligent systems towards a human-machine symbiotic society
Grant number：19H05690 2019.6 - 2024.3
Grants-in-Aid for Scientific Research Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
Authorship：Coinvestigator(s)
-
Grant number：19H01125 2019.4 - 2022.3
科学研究費助成事業 基盤研究(A)
北岡 教英, 小林 彰夫, 山本 一公, 西崎 博光, 西村 良太, 宇津呂 武仁, 東中 竜一郎
Authorship：Coinvestigator(s)
認知症の予防に有効な手段である音声対話に着目し、高齢者と高度な音声会話ができる音声対話システムを開発する。このために、高齢者を対象とした音声認識・合成および対話の基盤技術、暗黙的な高齢者の認知力推定手法を研究し、実用対話システムの実現を目指す。この目標に対して、高齢者音声認識技術、聞きやすい音声合成技術、音声対話技術（中でも雑談中の話題抽出や質問応答など)、対話相手の認知状態検知技術を研究し、これらを統合して対話システムを実現し有効性評価を実施する。
高齢者の音声認識の高精度化を目的として、高齢者音声データの収集を進めた。これまでに200人を超える話者の読み上げ音声を収録しデータベース化した。このデータを用いてDNN-HMM音声認識器を構築し、高齢者に対する音声認識精度の向上を確認した。並行して、高精度な高齢者音声認識を行うために、ガウスフィルタバンク層を入力層に持つDNN-HMM音響モデルに対する話者適応の研究を行った。高齢者音声が多く集まらない場合でも、適応技術により頑健な音声認識が実現できる可能性を示した。さらにEnd-to-end音声認識技術であるCTCに基づく低遅延の認識方法の研究を行った．対話に関しては、これまでに提案した対話事例の適応手法を適用して獲得した事例を用いた音声対話システムを構築し、それに照応解析機能を付与し、対話を高度化した。ロボットを2体用いた3者雑談対話システムを構築し、個性の異なる2体のロボットを用いることで、雑談対話を長時間飽きることなく続けることができるようになることを狙ったものである。認知力診断の一環として、話し言葉コーパスの音声および書き起こしテキストを情報源として，流暢・非流暢の度合いが付与されたクラスを再現する識別タスクにおいて，LSTMおよびSVMにより音響特徴量，フィラー・語断片等の特徴量の有効性を分析した．認知力診断を織り込む対話に向けて、雑談対話に小さな目的志向対話を挟み込むことでより自然な対話になるような対話制御についても検討を行った。一方で、長谷川式認知症スケールを雑談において被験者の負担なく実施する方法について検討を進めた．具体的には，見当識（状況の基本的な認識）を尋ねる質問に着目し，自身，時間，場所に関する質問の自動生成のためのデータ収集および深層学習を用いた生成モデルの構築を行った．
高齢者音声認識に関しては、データベース構築が目標としている話者300名に近づきつつありる。また、音声認識システムの構築に関しても来年度実施の予定を前倒しで開始することができた。単純な再学習法による高精度化までを予定しており、実現したが、ガウスフィルタバンク層を入力層に持つDNN-HMM音響モデルに対する話者適応手法による高精度化の可能性の検討も始めることができた。さらに並行して、最新の音声認識手法であるEnd-to-end音声認識、特に対話に用いるための低遅延リアルタイム音声認識法であるCTCベースの手法の検討も開始できた。音声対話については、これまでに提案しているコンテンツ獲得技術（対話事例の適応法）に加え、その運用のために必要な技術開発（照応解析を用いた対話管理）も実施した。さらに、雑談対話を継続するための方法論についても検討できた。これは、音声対話独特のくだけた表現や主語・目的語の省略の頻発にも対応することを考慮した手法となっている。認知力診断に向けては、流暢・非流暢指標を自動判定する方法を開発した。認知力が流暢性に反映されることを考えると、認知力診断に一歩前進したと言える。また、医師などによる対話的な認知力診断法である長谷川式認知症スケールを対話システムで実施する方法も検討した。こうした目的を持った対話を雑談対話に織り込むことによって、自然な方法で高齢者に負担なく認知症の診断をする方法論にも着手できた。
音声認識に関しては、まず音声データベースの拡充を継続する。300人を目標としているが、その際には日本国内の地域バランスも考慮する。具体的には中国地方、東北地方などの収録を実施する。また、高齢者では、こうした地域差（方言）が音声認識性能に影響していることが分かっているので、地域を考慮に入れた音声認識手法の開発も行う。その際には、各地域の話者数が少なくなるため、検討している話者適応手法を導入する。さらに、CTC音声認識手法においても同様の検討を行う。また、昨年度実施できなかった音声合成に関する検討を行う。高齢者の音素の知覚実験に基づいて、音声を加工して聞きやすくする音声合成技術を開発することで、聞き取り率の向上を図る。音声対話における対話コンテンツの獲得では、ユーザの興味のある話題に関する対話事例を、Web検索に基づいて生成する手法を考案する。具体的には、出身や趣味、好きなものなどと言ったユーザプロファイルに基づいてWeb検索を行い、関連する事項を獲得する。このプロファイルに関するテキストデータから、疑似対話を生成して事例とすることを考える。この事例を昨年度開発した音声対話システムに組み込んで、より充実した対話システムを実現する。そして、長谷川式的な診断対話を新たに作成し、昨年度検討したタスク指向対話を雑談対話に組み込む方法に基づいて、この対話を織り交ぜた音声対話システムの構築を開始する。
Teaching Experience (On-campus) 1
-
情報科学入門
2020