2022/03/28 更新

写真a

ヒガシナカ リュウイチロウ
東中 竜一郎
HIGASHINAKA Ryuichiro
所属
大学院情報学研究科 知能システム学専攻 基盤知能情報学 教授
大学院担当
大学院情報学研究科
学部担当
情報学部 コンピュータ科学科
職名
教授

学位 1

  1. 博士(学術) ( 2008年3月   慶應義塾大学 ) 

 

論文 40

  1. 多様な年代の話者による旅行代理店タスク対話コーパスの収集と分析

    稲葉 通将, 東中 竜一郎, 千葉 祐弥, 駒谷 和範, 宮尾 祐介, 長井 隆行

    人工知能学会研究会資料 言語・音声理解と対話処理研究会   93 巻 ( 0 ) 頁: 192 - 197   2021年11月

     詳細を見る

    記述言語:日本語   出版者・発行元:一般社団法人 人工知能学会  

    <p>人が他者とコミュニケーションを行う際,語彙や話す速さ,敬語の有無などを相手に応じて使い分けている.しかし,現在の対話システムでは,ユーザに応じて話し方を変更することはほとんどなされていない.対話システムがより効率的にタスクを達成したり,ユーザの満足度をより高めるためには,ユーザに応じて対話戦略などを変更することが望ましい.我々は,話し方の変化に大きく影響を与える要素として話者の年齢に着目し,児童から高齢者まで幅広い年齢層の話者によるマルチモーダル対話コーパスを収集した.対話内容として,幅広い年代が興味を持つ旅行に着目し,旅行代理店における観光相談を元にしたタスクを設定した.本稿では,タスクの詳細,対話データの収集方法と収集結果,および収集したデータの分析結果について述べる.</p>

    DOI: 10.11517/jsaislud.93.0_192

    CiNii Research

  2. 雑談に介入する際に必要な対話要約の調査

    山下 紗苗, 東中 竜一郎

    人工知能学会研究会資料 言語・音声理解と対話処理研究会   93 巻 ( 0 ) 頁: 86 - 91   2021年11月

     詳細を見る

    記述言語:日本語   出版者・発行元:一般社団法人 人工知能学会  

    <p>チャットボットやコールセンターの自動応答などでは,いまだ完全に自律したやり取りは難しく,必要に応じてオペレータが介入する必要がある.介入をする場合,オペレータはそれまでの対話の流れを把握する必要があるため,対話要約が有用だと考えられる.本研究では,雑談を対象とし,対話に介入するという状況において,どのような対話要約が有用かを調査した.具体的には,人手の生成型要約,直前N発話の抜粋型要約を含む6種類の対話要約を用いた介入実験を行い,介入のしやすさや対話の自然性を評価した.その結果,直前5発話を提示する場合に対話の自然性が最も高いことが分かった.</p>

    DOI: 10.11517/jsaislud.93.0_86

    CiNii Research

  3. 対話システムライブコンペティション4

    東中 竜一郎, 船越 孝太郎, 高橋 哲朗, 稲葉 通将, 赤間 怜奈, 佐藤 志貴, 堀内 颯太, ドルサ テヨルス, 小室 允人, 西川 寛之, 宇佐美 まゆみ

    人工知能学会研究会資料 言語・音声理解と対話処理研究会   93 巻 ( 0 ) 頁: 92 - 100   2021年11月

     詳細を見る

    記述言語:日本語   出版者・発行元:一般社団法人 人工知能学会  

    <p>本稿では,対話システムライブコンペティション4について述べる.我々は対話システムを聴衆の前で動作させ,鑑賞・評価を行うイベントである対話ライブコンペティションを2018年から実施してきた.今回で本イベントは4回目となる.任意の話題で雑談を行う能力を評価する「オープントラック」と所定のシチュエーションで人間らしい対話を行う能力を評価する「シチュエーショントラック」がある.本稿では,本イベントの仕様を述べるとともに,各トラックにエントリされたシステムの概要や予選結果について述べる.本選は,第12回対話システムシンポジウムのセッションとして開催予定である.</p>

    DOI: 10.11517/jsaislud.93.0_92

    CiNii Research

  4. 私のブックマーク:対話システム

    東中 竜一郎

    人工知能   36 巻 ( 5 ) 頁: 644 - 650   2021年9月

     詳細を見る

    記述言語:日本語   出版者・発行元:一般社団法人 人工知能学会  

    DOI: 10.11517/jjsai.36.5_644

    CiNii Research

  5. 対話ロボットコンペティションにおける音声対話システム構築

    東中 竜一郎, 港 隆史, 境 くりま, 船山 智, 西崎 博光, 長井 隆行

    日本音響学会誌   77 巻 ( 8 ) 頁: 512 - 520   2021年8月

     詳細を見る

    記述言語:日本語   出版者・発行元:一般社団法人 日本音響学会  

    DOI: 10.20697/jasj.77.8_512

    CiNii Research

  6. Integrated taxonomy of errors in chat-oriented dialogue systems. 査読有り

    Ryuichiro Higashinaka, Masahiro Araki, Hiroshi Tsukahara, Masahiro Mizukami

    Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, SIGdial 2021, Singapore and Online(SIGDIAL)     頁: 89 - 98   2021年7月

     詳細を見る

    掲載種別:研究論文(国際会議プロシーディングス)   出版者・発行元:Association for Computational Linguistics  

    その他リンク: https://dblp.uni-trier.de/conf/sigdial/2021

  7. Collection of Meta Information with User-Generated Question Answer Pairs and its Reflection for Improving Expressibility in Response Generation 査読有り

    Takashi Kodama, Ryuichiro Higashinaka, Koh Mitsuda, Ryo Masumura, Yushi Aono, Ryuta Nakamura, Noritake Adachi, Hidetoshi Kawabata

    Journal of Natural Language Processing   28 巻 ( 1 ) 頁: 136 - 159   2021年3月

     詳細を見る

    掲載種別:研究論文(学術雑誌)  

  8. タングラム命名課題における相互の信念の共通基盤化と対話分析

    須藤早喜,浅野恭四郎,光田航,東中竜一郎,竹内勇剛

    HAIシンポジウム     2021年3月

     詳細を見る

    掲載種別:研究論文(研究会,シンポジウム資料等)  

  9. 発表スキル向上のためのスライド内の要素に対する指摘内容生成モデル

    川瀬卓也,東中竜一郎,大平茂輝,長尾確

    情報処理学会第83回全国大会講演論文集     2021年3月

     詳細を見る

    掲載種別:研究論文(研究会,シンポジウム資料等)  

  10. 共同図形配置課題における対話の共通基盤構築過程の分析

    光田航, 東中竜一郎, 大賀悠平, 杵渕哲也

    言語処理学会第27回年次大会発表論文集     2021年3月

     詳細を見る

    掲載種別:研究論文(研究会,シンポジウム資料等)  

  11. プレゼンテーションにおけるスライド情報を用いた音声認識結果の自動修正

    神谷賢太郎,東中竜一郎,川瀬卓也,長尾確

    情報処理学会第83回全国大会講演論文集     2021年3月

     詳細を見る

    掲載種別:研究論文(研究会,シンポジウム資料等)  

  12. 話したくない話題を対象とした対話データの収集とその分析

    長尾佳寿美,東中竜一郎,安宅和人

    情報処理学会第83回全国大会講演論文集     2021年3月

     詳細を見る

    掲載種別:研究論文(研究会,シンポジウム資料等)  

  13. オケージョンを考慮した対話システムの検討

    莊司健太,長尾佳寿美,東中竜一郎,安宅和人

    情報処理学会第83回全国大会講演論文集     2021年3月

     詳細を見る

    掲載種別:研究論文(研究会,シンポジウム資料等)  

  14. 学術論文における関連研究の執筆支援のための被引用論文の推定

    小山康平, 南泰浩, 成松宏美, 堂坂浩二, 田盛大悟, 東中竜一郎, 平博順

    言語処理学会第27回年次大会発表論文集     2021年3月

     詳細を見る

    掲載種別:研究論文(研究会,シンポジウム資料等)  

  15. タングラム命名課題におけるメタ対話の役割と共通基盤

    須藤早喜,浅野恭四郎,光田航,東中竜一郎,竹内勇剛

    人工知能学会 言語・音声理解と対話処理研究会     頁: 97 - 102   2021年2月

     詳細を見る

    掲載種別:研究論文(研究会,シンポジウム資料等)  

  16. Methods of Efficiently Constructing Text-dialogue-agent System using Existing Anime Character 査読有り

    Ryo Ishii, Ryuichiro Higashinaka, Koh Mitsuda, Taichi Katayama, Masahiro Mizukami, Junji Tomita

    Journal of Information Processing   29 巻   頁: 30 - 44   2021年1月

     詳細を見る

    掲載種別:研究論文(学術雑誌)  

  17. 話者継続・交替時における対話行為と視線行動に基づく共感スキルの推定 査読有り

    情報処理学会論文誌   62 巻 ( 1 ) 頁: 100 - 114   2021年1月

     詳細を見る

    掲載種別:研究論文(学術雑誌)  

  18. Collection of Meta Information with User-Generated Question Answer Pairs and its Reflection for Improving Expressibility in Response Generation

    Kodama Takashi, Higashinaka Ryuichiro, Mitsuda Koh, Masumura Ryo, Aono Yushi, Nakamura Ryuta, Adachi Noritake, Kawabata Hidetoshi

    Journal of Natural Language Processing   28 巻 ( 1 ) 頁: 136 - 159   2021年

     詳細を見る

    記述言語:英語   出版者・発行元:The Association for Natural Language Processing  

    <p> This paper concerns the problem of realizing consistent personalities in neural conversational modeling by using user generated question-answer pairs as training data. Using the framework of role play-based question-answering, we collected single-turn question-answer pairs for particular characters from online users. Meta information was also collected such as emotion and intimacy related to question-answer pairs. We verified the quality of the collected data and, by subjective evaluation, we also verified their usefulness in training neural conversational models for generating responses reflecting the meta information, especially emotion. </p>

    DOI: 10.5715/jnlp.28.136

    CiNii Research

  19. 雑談対話システムにおける特定の質問を行うための発話生成

    堀内 颯太, 東中 竜一郎

    人工知能学会全国大会論文集   JSAI2021 巻 ( 0 ) 頁: 2Yin502 - 2Yin502   2021年

     詳細を見る

    記述言語:日本語   出版者・発行元:一般社団法人 人工知能学会  

    <p>対話システムがユーザに合わせた情報提供や推薦を行うためには,ユーザに質問を行い,必要な情報を聞き出すことが重要である.しかし,質問によっては,対話途中に行うことで話の流れが悪くなってしまったり,ユーザの満足度が低下してしまったりする.そこで本研究では,雑談対話システムにおいて,特定の質問を自然に行うための発話生成モデルの構築に取り組む.具体的には,既存の応答生成モデルに対して,将来に行う質問やその質問を行うべきタイミングの情報を入力に追加して転移学習を行うことで,特定の質問を行うことを目的とした発話生成モデルを構築した.システム同士の対話を用いた実験の結果,提案手法は自然性を担保しつつ,特定の質問を行うことができることを確認した.</p>

    DOI: 10.11517/pjsai.jsai2021.0_2yin502

    CiNii Research

  20. 強化学習を用いたモジュール連動に基づくタスク指向型対話システムの検討

    大橋 厚元, 東中 竜一郎

    人工知能学会全国大会論文集   JSAI2021 巻 ( 0 ) 頁: 4E1OS11a02 - 4E1OS11a02   2021年

     詳細を見る

    記述言語:日本語   出版者・発行元:一般社団法人 人工知能学会  

    <p>タスク指向型対話システムにおいて,ユーザや対話状況に適応的に振舞うことは,タスク達成の上で重要である.しかし,一般的なシステムの構成では,各モジュールが個別に開発され,固定的な部品として接続されているため,想定外のユーザや対話状況に対し柔軟に対応できないという問題がある.そこで本研究では,各モジュールが自身の情報を他のモジュールと共有し,強化学習により,モジュール同士の連動の仕方を学習することで,リアルタイムにユーザや対話状況に適応的に振舞うことのできるシステムの実現を目指す.観光地を検索するタスク指向型対話システムにおいて,ユーザシミュレータを用いた実験の結果,提案手法がタスク達成率の向上につながることを確認した.</p>

    DOI: 10.11517/pjsai.jsai2021.0_4e1os11a02

    CiNii Research

  21. Using Presentation Slides and Adjacent Utterances for Post-editing of Speech Recognition Results for Meeting Recordings

    Kamiya K., Kawase T., Higashinaka R., Nagao K.

    Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics)   12848 LNAI 巻   頁: 331 - 340   2021年

     詳細を見る

    記述言語:日本語   出版者・発行元:Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics)  

    In recent years, the use of automatic speech recognition (ASR) systems in meetings has been increasing, such as for minutes generation and speaker diarization. The problem is that ASR systems often misrecognize words because there is domain-specific content in meetings. In this paper, we propose a novel method for automatically post-editing ASR results by using presentation slides that meeting participants use and utterances adjacent to a target utterance. We focus on automatic post-editing rather than domain adaptation because of the ease of incorporating external information, and the method can be used for arbitrary speech recognition engines. In experiments, we found that our method can significantly improve the recognition accuracy of domain-specific words (proper nouns). We also found an improvement in the word error rate (WER).

    DOI: 10.1007/978-3-030-83527-9_28

    Scopus

  22. Dialogue situation recognition for everyday conversation using multimodal information

    Chiba Y., Higashinaka R.

    Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH   5 巻   頁: 3736 - 3740   2021年

     詳細を見る

    記述言語:日本語   出版者・発行元:Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH  

    In recent years, dialogue systems have been applied to daily living. Such systems should be able to associate conversations with dialogue situations, such as a place where a dialogue occurs and the relationship between participants. In this study, we propose a dialogue situation recognition method that understands the perspective of dialogue scenes. The target dialogue situations contain dialogue styles, places, activities, and relations between participants. We used the Corpus of Everyday Japanese Conversation (CEJC), which records natural everyday conversations in various situations for experiments. We experimentally verified the effectiveness of our proposed method using multimodal information for situation recognition.

    DOI: 10.21437/Interspeech.2021-171

    Scopus

  23. 複数人対話での共通基盤構築における非言語行動因子および社会的対話行動因子の分析

    山口留実,渡辺巧登,桑原多瑛,古谷優樹, 光田航,石井亮,東中竜一郎,高汐 一紀

    第37回人間情報学会講演集     頁: 9 - 10   2020年12月

     詳細を見る

    掲載種別:研究論文(研究会,シンポジウム資料等)  

  24. タングラム命名課題を使ったメタ対話の役割と生起の分析

    須藤早喜,浅野恭四郎,光田航,東中竜一郎,竹内勇剛

    人工知能学会 言語・音声理解と対話処理研究会   B5 巻 ( 02 ) 頁: 73 - 78   2020年11月

     詳細を見る

    掲載種別:研究論文(研究会,シンポジウム資料等)  

  25. 対話システムライブコンペティション3

    東中竜一郎, 船越孝太郎, 高橋 哲朗, 稲葉通将,角森 唯子, 赤間怜奈, 宇佐美まゆみ, 川端良子, 水上雅博, 小室允人, ドルサテヨルス

    人工知能学会 言語・音声理解と対話処理研究会   B5 巻 ( 02 ) 頁: 96 - 103   2020年11月

     詳細を見る

    担当区分:筆頭著者   掲載種別:研究論文(研究会,シンポジウム資料等)  

  26. 対象物のイメージに基づく図像的ジェスチャの形状推定

    二瓶芙巳雄,中野有紀子,東中竜一郎,石井亮

    情報科学技術フォーラム講演論文集   19 巻 ( 3 ) 頁: 39 - 42   2020年9月

     詳細を見る

    掲載種別:研究論文(研究会,シンポジウム資料等)  

  27. Overview of Dialogue Breakdown Detection Challenge 5 国際共著

    Ryuichiro Higashinaka, Yuiko Tsunomori, Tetsuro Takahashi, Hiroshi Tsukahara, Masahiro Araki, Joao Sedoc, Rafael E. Banchs, Luis F. D’Haro

    Proceedings of WOCHAT + DBDC5: Workshop on Chatbots and Conversational Agents and Dialogue Breakdown Detection Challenge     2020年9月

     詳細を見る

    担当区分:筆頭著者   掲載種別:研究論文(国際会議プロシーディングス)  

  28. Collection and Analysis of Dialogues Provided by Two Speakers Acting as One 査読有り

    Tsunehiro Arimoto, Ryuichiro Higashinaka, Kou Tanaka, Takahito Kawanishi, Hiroaki Sugiyama, Hiroshi Sawada, Hiroshi Ishiguro

    Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL)     頁: 323 - 328   2020年7月

     詳細を見る

    掲載種別:研究論文(国際会議プロシーディングス)  

  29. Methods of Efficiently Constructing Text-Dialogue-Agent System Using Existing Anime Character 査読有り

    Ryo Ishii, Ryuichiro Higashinaka, Koh Mitsuda, Taichi Katayama, Masahiro Mizukami, Junji Tomita, Hidetoshi Kawabata, Emi Yamaguchi, Noritake Adachi, Yushi Aono

    Proceedings of International Conference on Human-Computer Interaction (HCII)     頁: 328 - 347   2020年7月

     詳細を見る

    掲載種別:研究論文(国際会議プロシーディングス)  

  30. 話者情報を考慮する注意機構を用いた応答生成手法の検討

    水上雅博, 杉山弘晃, 成松宏美, 有本庸浩, 東中竜一郎

    人工知能学会全国大会(第34回)     2020年6月

     詳細を見る

    掲載種別:研究論文(研究会,シンポジウム資料等)  

  31. 不要文除去問題の自動解答における転移学習に用いる疑似問題の作成手法

    井上裕樹, 的場成紀, 成松宏美, 杉山弘晃, 東中竜一郎, 平博順

    人工知能学会全国大会(第34回)     2020年6月

     詳細を見る

    掲載種別:研究論文(研究会,シンポジウム資料等)  

  32. 文章の流れの自然さに基づく会話文完成問題の自動解答

    井上裕樹, 杉山弘晃, 成松宏美, 東中竜一郎, 平博順, 堂坂浩二

    人工知能学会全国大会(第34回)     2020年6月

     詳細を見る

    掲載種別:研究論文(研究会,シンポジウム資料等)  

  33. Generating Responses that Reflect Meta Information in User-Generated Question Answer Pairs 査読有り

    Takashi Kodama, Ryuichiro Higashinaka, Koh Mitsuda, Ryo Masumura, Yushi Aono, Ryuta Nakamura, Noritake Adachi, Hidetoshi Kawabata

    Proceedings of The 12th Language Resources and Evaluation Conference (LREC)     頁: 5433 - 5441   2020年5月

     詳細を見る

    掲載種別:研究論文(国際会議プロシーディングス)  

  34. 雑談要約技術に向けた取り組み

    東中竜一郎, 光田航, 増村亮, 斉藤いつみ, 青野裕司

    言語処理学会第26回年次大会発表論文集     2020年3月

     詳細を見る

    担当区分:筆頭著者   掲載種別:研究論文(研究会,シンポジウム資料等)  

  35. センター試験を対象とした高性能な英語ソルバーの実現

    杉山弘晃, 成松宏美, 菊井玄一郎, 東中竜一郎, 堂坂浩二, 平博順, 南泰浩, 大和淳司

    言語処理学会第26回年次大会発表論文集     2020年3月

     詳細を見る

    掲載種別:研究論文(研究会,シンポジウム資料等)  

  36. Improvements in the Utterance Database for Enhancing System Utterances in Chat-oriented Dialogue Systems 査読有り

    Yuiko Tsunomori, Ryuichiro Higashinaka, Takeshi Yoshimura, Yoshinori Isoda

      27 巻 ( 1 ) 頁: 65 - 88   2020年3月

     詳細を見る

    掲載種別:研究論文(学術雑誌)  

  37. Hierarchical Argumentation Structure for Persuasive Argumentative Dialogue Generation 査読有り

    Kazuki Sakai, Ryuichiro Higashinaka, Yuichiro Yoshikawa, Hiroshi Ishiguro, Junji Tomita

    IEICE Transactions on Information and Systems   E103.D 巻 ( 2 ) 頁: 424 - 434   2020年2月

     詳細を見る

    掲載種別:研究論文(学術雑誌)  

  38. 雑談対話における言外の情報の収集と類型化 査読有り

    光田航, 東中竜一郎, 富田準二

    人工知能学会論文誌   35 巻 ( 1 )   2020年1月

     詳細を見る

    掲載種別:研究論文(学術雑誌)  

  39. ユーザ情報を記憶する雑談対話システムの構築とその複数日にまたがる評価 査読有り

    角森唯子, 東中竜一郎, 吉村健, 礒田佳徳

    人工知能学会論文誌   35 巻 ( 1 )   2020年1月

     詳細を見る

    掲載種別:研究論文(学術雑誌)  

  40. 対話破綻検出チャレンジ3における対話破綻検出の評価尺度の選定 査読有り

    角森唯子, 東中竜一郎, 高橋哲朗, 稲葉通将

    人工知能学会論文誌   35 巻 ( 1 )   2020年1月

     詳細を見る

    掲載種別:研究論文(学術雑誌)  

▼全件表示

書籍等出版物 3

  1. AIの雑談力

    東中竜一郎( 担当: 単著)

    KADOKAWA  2021年2月 

     詳細を見る

    著書種別:一般書・啓蒙書

  2. AIの雑談力

    東中 竜一郎

    KADOKAWA  2021年  ( ISBN:9784040823065

     詳細を見る

    記述言語:日本語

    CiNii Books

  3. Pythonでつくる対話システム

    東中竜一郎, 稲葉通将, 水上雅博( 担当: 共著)

    オーム社  2020年3月 

     詳細を見る

    著書種別:教科書・概説・概論

MISC 2

  1. 「先生,質問です!」(いつかドラえもんのようななんでも出せてコミュニケーションがスラスラできるロボットはできますか?) 招待有り

    東中竜一郎  

    情報処理61 巻 ( 7 )   2020年7月

     詳細を見る

    担当区分:筆頭著者   掲載種別:記事・総説・解説・論説等(学術雑誌)  

  2. 対話システムライブコンペティションから何が得られたか 招待有り

    東中竜一郎, 船越孝太郎, 稲葉通将, 角森唯子, 高橋哲朗, 赤間怜奈, 宇佐美まゆみ, 川端良子, 水上雅博  

    人工知能35 巻 ( 3 ) 頁: 333 - 343   2020年5月

     詳細を見る

    担当区分:筆頭著者   掲載種別:記事・総説・解説・論説等(学術雑誌)  

科研費 3

  1. モジュール連動に基づく対話システム基盤技術の構築

    研究課題/研究課題番号:19H05692  2019年6月 - 2024年3月

    科学研究費助成事業  新学術領域研究(研究領域提案型)

    東中 竜一郎, 駒谷 和範, 宮尾 祐介, 稲葉 通将, 港 隆史, 槇原 靖

      詳細を見る

    担当区分:研究代表者 

    配分額:160160000円 ( 直接経費:123200000円 、 間接経費:36960000円 )

    現在の対話システムの主な構成論は,複数のモジュールを疎結合させ,各モジュールを学習データにより改善するというものである.しかし,このような構成論で構築されたシステムは,疎結合であるがゆえに,全体最適化が困難である.また,可塑性に乏しく,一度学習されたモュールを動的に変更することは難しい.その結果,ユーザや状況に応じた対話ができず,人間がシステムを熟知しなくては対話が成立しない.本研究では,現在の対話システムの基本構成を見直し,ユーザや状況に応じてシステム全体の効用を最大化できるように複数のモジュールが連動することで理解・生成を行う対話システム基盤の構築を目指す.
    本研究課題は,現状の対話システムの基本構成を見直し,複数のモジュールが連動することでユーザや状況に応じてシステム全体の効用を最大化することを目的とする.具体的には,「課題A. 他モジュールと連動した音声処理・マルチモーダル処理技術の確立」,「課題B. 他モジュールと連動した言語理解・言語生成技術の確立」,「課題C. 対話の効用に基づく複数モジュールのパラメタ最適化技術」,「課題D. 複数モジュール間での連動プロトコルの設計およびシステム構築とその実証」の4つの課題に取り組む.
    課題Aおよび課題Bについては,話者の歩行映像に基づく年齢・性別のオンライン推定技術の研究を進めた.また,文脈依存のセマンティックパージング技術を推進するためのデータ設計を行った.
    課題Cについては,パラメタ最適化技術の基礎検討を行うための対話データ収集に着手した.具体的には,観光目的地を決定する旅行代理店課題を設定し,データ収集計画を立案した.そして,旅行代理店オペレータのヒアリングに基づき,観光情報検索インタフェースを作成した上で,旅行代理店オペレータとユーザとの対話収集を開始した.本データは,人間のオペレータと年齢・性別の異なる多様な話者による対話を含み,ユーザや状況に応じてシステムがどのように振舞うべきかについての知見を与える有用なデータとなる.
    課題Dについては,複数のモジュールが連動するためのプロトコル設計,モジュール連動プラットフォームの実装,および,プロトタイプシステムの動作検証を行った.また,コンペティション形式での実証実験計画を立てた.ロボットによる対話の標準課題を設定し,参加者が開発した対話ロボットの性能を競うことで,実社会における対話ロボットの問題を発見し,どのようなモジュール連動が有効かを探索できる.実証実験は商業施設で行い,実際のユーザにより評価してもらう設計とした.
    課題Aおよび課題Bについては,音声処理・マルチモーダル処理技術および言語理解・言語生成技術に関する基礎検討を行った.どのような情報があれば他のモジュールに有用かを検討し,年齢・性別推定技術やセマンティックパージング技術を着実に進展させることができた.
    課題Cについては,パラメタ最適化技術の基礎検討を行うための対話データ収集に着手したが,新型コロナウイルスの影響により遅れが生じた.具体的には,対面で行う予定であった対話データ収集を,遠隔会議システムを用いた実施に切り替えたが,その際,実験計画を再設計したり被験者を再募集したりする必要が生じた.データ収集実験の実施にあたっても,実験者・被験者ともに,遠隔会議システムを用いたデータ収集のノウハウの蓄積が乏しく,実施に通常以上の時間を要した.現在は試行錯誤を経て,滞りなくデータ収集実験が実施できる状況となっている.
    課題Dについては,複数のモジュールが連動するためのプロトコル設計,モジュール連動プラットフォームの実装,および,プロトタイプシステムの動作検証を行った.また,実証実験の場としての,コンペティション形式での実証実験計画を立て,参加者に提供予定である実証実験用対話ロボットシステムの構築にも着手できた.このことから,着実に進展していると言える.
    課題Aについては,収集された対話データ等に基づき,音声やマルチモーダル処理と,後段の言語処理モジュール等の連動に必要なパラメタを明らかにし,それぞれのモジュールの性能を向上させる手法の提案に取り組む.
    課題Bについては,収集された対話データ等に基づき,自然言語処理研究におけるセマンティックパージング技術や文章生成技術を音声対話システムに利用するための基盤技術の研究開発を行う.具体的には,音声認識モジュールや対話制御モジュールにおける対話行為認識や文脈・状況理解に基づき,セマンティックパージング・文章生成の精度を向上させる手法を提案する.
    課題Cについては,基礎データとしての旅行代理店課題の対話データ収集を継続する.また,書き起こしやラベル付けを行うことで,これらのデータの整備を行う.加えて,各モジュールのパラメタの一部を最適化する手法の検討を行い,対話の効用が明確なタスク指向型対話システムにおいてその有効性を検証する.
    課題Dについては,他の課題と連動し,モジュール連動プラットフォームに基づく対話システムの実装を進めるほか,コンペティション形式での実証実験を進める.実証実験用対話ロボットシステムを構築し,ロボット制御について詳しくない参加者であっても,対話ロボットを用いた実証実験に参加できるようにする.また,商業施設における実験を実施する.

  2. 人間機械共生社会を目指した対話知能システム学

    研究課題/研究課題番号:19H05690  2019年6月 - 2024年3月

    科学研究費助成事業  新学術領域研究(研究領域提案型)

    石黒 浩, 河原 達也, 新保 史生, 杉山 弘晃, 港 隆史, 吉川 雄一郎, 東中 竜一郎, 槇原 靖

      詳細を見る

    担当区分:研究分担者 

    近未来においては様々な家電製品やロボットが自律的に活動するようになるとともに,意図や欲求を持ち,意図や欲求を持つが故に,それらを利用する人間との間で,言語を用いながら互いの意図や欲求を理解し合い,共生していくという関係を築くことができるようになる.このような情報化社会の次に来るべく,人間と知能ボットや情報メディアが共生する社会を実現するための,新たな学術分野を創成する.
    近未来においては様々な家電製品やロボットが自律的に活動するようになるとともに,意図や欲求を持ち,意図や欲求を持つが故に,それらを利用する人間との間で,言語を用いながら互いの意図や欲求を理解し合い,共生していくという関係を築くことができるようになる.このような世界がまさに,情報化社会の次に来るべき,人間と知能ボットや情報メディアが共生する社会である.
    このあらたな共生社会を実現するために,2019年度では,対話継続関係維持研究グループ,対話理解生成研究グループ,対話理解生成研究グループ,人間機械社会規範研究グループの4 つの研究グループ(計画班)を統括して研究開発に取り組んだ.
    研究推進については4 つの研究グループのリーダーと議論を重ね,グループの研究計画を再度精緻に立案するとともに,他の3 つのグループとの連携について可能性を探索した.そしてそのためにシンポジウムを企画し,外部の知識人等を交えて,当新学術領域の研究方向の妥当性を検証した.また人間機械社会規範研究グループを中心に,一般の参加者を含んだミーティングを企画し,目指す知能ロボットや情報メディア開発に関して,社会の要望等を調査した.また実証実験については,社会での問題探索を行うとともに,4 つの研究グループ間の連携を促進するための実証実験環境を,東京の日本未来科学館と,大阪のエキスポシティに整えた.特に,全てのグループが共有できる対話ロボットやアンドロイドの整備を行った.
    2019年度は初年度であり,領域立ち上げの年であった.スタートアップのシンポジウム等を企画したり,各計画班での議論を順調に進めることができた.また,東京の日本未来科学館や大阪のエキスポシティにおいて,実証実験場所を確保し,特に大阪のエキスポシティでは,実証実験にも複数の研究者が連携して取り組むことができ,研究は順調またはそれ以上の活力で進めることができたと考えている.しかしながら,年度の後半に遭遇したコロナ禍によって,実証実験のアクティビティを維持することが難しくなり,研究室での研究は継続できているものの,公共の場における実証実験は影響を受けた.
    今後の研究推進において最も重要なのは,コロナ禍対策である.コロナ禍においても実験が進められるように,バーチャルリアリティ空間において,CGのロボットを用いて対話実験が進められるようにする.また,Zoomなどの遠隔対話システムと,自律対話アンドロイドを組み合わせて,どこからでもアンドロイドを用いた対話実験が進められるようにする.さらには,市民とのミーティングもオンラインのミーティングに切り替えていく.

  3. 高齢者を対象とした音声認識・対話システム基盤技術の構築

    研究課題/研究課題番号:19H01125  2019年4月 - 2022年3月

    科学研究費助成事業  基盤研究(A)

    北岡 教英, 小林 彰夫, 山本 一公, 西崎 博光, 西村 良太, 宇津呂 武仁, 東中 竜一郎

      詳細を見る

    担当区分:研究分担者 

    認知症の予防に有効な手段である音声対話に着目し、高齢者と高度な音声会話ができる音声対話システムを開発する。このために、高齢者を対象とした音声認識・合成および対話の基盤技術、暗黙的な高齢者の認知力推定手法を研究し、実用対話システムの実現を目指す。この目標に対して、高齢者音声認識技術、聞きやすい音声合成技術、音声対話技術(中でも雑談中の話題抽出や質問応答など)、対話相手の認知状態検知技術を研究し、これらを統合して対話システムを実現し有効性評価を実施する。
    高齢者の音声認識の高精度化を目的として、高齢者音声データの収集を進めた。これまでに200人を超える話者の読み上げ音声を収録しデータベース化した。このデータを用いてDNN-HMM音声認識器を構築し、高齢者に対する音声認識精度の向上を確認した。並行して、高精度な高齢者音声認識を行うために、ガウスフィルタバンク層を入力層に持つDNN-HMM音響モデルに対する話者適応の研究を行った。高齢者音声が多く集まらない場合でも、適応技術により頑健な音声認識が実現できる可能性を示した。さらにEnd-to-end音声認識技術であるCTCに基づく低遅延の認識方法の研究を行った.対話に関しては、これまでに提案した対話事例の適応手法を適用して獲得した事例を用いた音声対話システムを構築し、それに照応解析機能を付与し、対話を高度化した。ロボットを2体用いた3者雑談対話システムを構築し、個性の異なる2体のロボットを用いることで、雑談対話を長時間飽きることなく続けることができるようになることを狙ったものである。認知力診断の一環として、話し言葉コーパスの音声および書き起こしテキストを情報源として,流暢・非流暢の度合いが付与されたクラスを再現する識別タスクにおいて,LSTMおよびSVMにより音響特徴量,フィラー・語断片等の特徴量の有効性を分析した.認知力診断を織り込む対話に向けて、雑談対話に小さな目的志向対話を挟み込むことでより自然な対話になるような対話制御についても検討を行った。一方で、長谷川式認知症スケールを雑談において被験者の負担なく実施する方法について検討を進めた.具体的には,見当識(状況の基本的な認識)を尋ねる質問に着目し,自身,時間,場所に関する質問の自動生成のためのデータ収集および深層学習を用いた生成モデルの構築を行った.
    高齢者音声認識に関しては、データベース構築が目標としている話者300名に近づきつつありる。また、音声認識システムの構築に関しても来年度実施の予定を前倒しで開始することができた。単純な再学習法による高精度化までを予定しており、実現したが、ガウスフィルタバンク層を入力層に持つDNN-HMM音響モデルに対する話者適応手法による高精度化の可能性の検討も始めることができた。さらに並行して、最新の音声認識手法であるEnd-to-end音声認識、特に対話に用いるための低遅延リアルタイム音声認識法であるCTCベースの手法の検討も開始できた。音声対話については、これまでに提案しているコンテンツ獲得技術(対話事例の適応法)に加え、その運用のために必要な技術開発(照応解析を用いた対話管理)も実施した。さらに、雑談対話を継続するための方法論についても検討できた。これは、音声対話独特のくだけた表現や主語・目的語の省略の頻発にも対応することを考慮した手法となっている。認知力診断に向けては、流暢・非流暢指標を自動判定する方法を開発した。認知力が流暢性に反映されることを考えると、認知力診断に一歩前進したと言える。また、医師などによる対話的な認知力診断法である長谷川式認知症スケールを対話システムで実施する方法も検討した。こうした目的を持った対話を雑談対話に織り込むことによって、自然な方法で高齢者に負担なく認知症の診断をする方法論にも着手できた。
    音声認識に関しては、まず音声データベースの拡充を継続する。300人を目標としているが、その際には日本国内の地域バランスも考慮する。具体的には中国地方、東北地方などの収録を実施する。また、高齢者では、こうした地域差(方言)が音声認識性能に影響していることが分かっているので、地域を考慮に入れた音声認識手法の開発も行う。その際には、各地域の話者数が少なくなるため、検討している話者適応手法を導入する。さらに、CTC音声認識手法においても同様の検討を行う。また、昨年度実施できなかった音声合成に関する検討を行う。高齢者の音素の知覚実験に基づいて、音声を加工して聞きやすくする音声合成技術を開発することで、聞き取り率の向上を図る。音声対話における対話コンテンツの獲得では、ユーザの興味のある話題に関する対話事例を、Web検索に基づいて生成する手法を考案する。具体的には、出身や趣味、好きなものなどと言ったユーザプロファイルに基づいてWeb検索を行い、関連する事項を獲得する。このプロファイルに関するテキストデータから、疑似対話を生成して事例とすることを考える。この事例を昨年度開発した音声対話システムに組み込んで、より充実した対話システムを実現する。そして、長谷川式的な診断対話を新たに作成し、昨年度検討したタスク指向対話を雑談対話に組み込む方法に基づいて、この対話を織り交ぜた音声対話システムの構築を開始する。

 

担当経験のある科目 (本学) 1

  1. 情報科学入門

    2020