科研費 - 出口 大輔
-
人物行動を手掛かりとした車載映像クラウド探索による知識獲得型認識基盤の構築
研究課題/研究課題番号：23H03474 2023年4月 - 2027年3月
科学研究費助成事業 基盤研究(B)
出口 大輔, 赤井 直紀, 川西 康友
担当区分：研究代表者
配分額：18590000円 （ 直接経費：14300000円 、 間接経費：4290000円 ）
本研究では、我々人間が明示的・暗黙的なルールに従いながら状況に合わせて同じような行動をするという知見を活用し、そのようなルールに従う行動のセンシング結果を手掛かりとして、物体認識モデルの性能を向上させる学習データを車載映像クラウドから自動的に見つけ出す基盤技術の開発を行う。そして、人の行動とルールの情報を手がかりとして、それらの学習データに対してアノテーション情報を自動付与しながらモデル更新を行う知識獲得型認識基盤の実現を目指す。
-
拡張時空間シーングラフによる未知物体を含むシーン認識・記述基盤の構築
研究課題/研究課題番号：21H03519 2021年4月 - 2025年3月
科学研究費助成事業 基盤研究(B)
川西 康友, 出口 大輔, 井手 一郎
担当区分：研究分担者
人間は，知らない物体を見たとき，それが何かわからなくても何らかの物体であると認識でき， それを覚えておいて次に見たときに同一物体だと対応付けることもできる．しかし，ロボットは 物体検出器が学習した物体しか検出できず，異なる時刻での観測同士を対応付けることもできな い．本提案では，未知物体も扱える時空間の記述(拡張時空間シーングラフ)の仕組みを作った うえで，未知物体を含めた環境中の物体検出法及び，それらを時間方向に対応付けて拡張時空間 シーングラフを自動的に構築する手法に取り組む．これにより，ロボットによる時空間的に一貫 した環境理解を実現することを目指す．
今年度は，昨年度に引き続き，未知物体が含まれる画像に対するシーングラフ生成・セグメンテーション技術の高精度化に取り組んだ．また，シーングラフを用いた様々な応用についても検討した．
まず，シーングラフ生成技術の高精度化について，昨年度構築した評価方法を用いて，提案手法の高度化に取り組んだ．この成果は現在論文投稿中である．一方，未知物体領域のセグメンテーションのために昨年度検討したデータセット構築をもとに構築したデータセット整理し，そのデータセットを用いて，未知物体のセグメンテーションに関する研究を進めた．物体個々にセグメンテーションが可能なパノプティックセグメンテーションと背景モデリング技術を組み合わせ，新規にシーン中に現れた未知物体領域を抽出する技術を提案し，国際会議で発表してBest Paper Awardを受賞した．
さらに，シーングラフ推定の応用として，画像集合に対する説明文生成手法を提案した．複数枚の画像から得られる情報を統合する目的で，各画像から得られるシーングラフを統合する手法に関する研究を進めた．各画像から得られるシーングラフのノード同士の対応関係をもとにグラフを統合し，一つのグラフを生成する．この際，同一概念の物体を，外部の知識を用いて抽象化することで同一視して統合する方法を提案した．この画像集合に対する説明文生成手法について，国際会議で発表した．
さらに今年度は国際会議を含む複数の会議で招待講演を行い，その中で本プロジェクトの未知物体を含むシーングラフ生成とその応用に関し，広く紹介した．
シーングラフを用いた応用研究が広がり，当初の想定よりも多様な応用研究ができた．
現状用いているシーングラフの統合手法はまだまだ初歩的な技術であり，今後より高度な技術へ発展させる余地がある．特に，Re-identificationの技術を用いた，シーン間の物体対応付けの技術との統合が期待できる． -
クラウド上の膨大な画像履歴情報を多様な時空間スケールで活用する超低品質画像の認識
研究課題/研究課題番号：17H00745 2017年4月 - 2022年3月
科学研究費助成事業 基盤研究(A)
村瀬 洋, 目加田 慶人, 井手 一郎, 平山 高嗣, 出口 大輔, 川西 康友
担当区分：研究分担者
本研究の目的は、車載カメラ画像、監視カメラ画像などに見られる超低品質な画像を認識し、ユーザーに結果を適切に情報提示する手法を実現することにある。そこでは「超低品質な画像」の認識が必要となっている。特に、本研究では、機械学習に加えて、「クラウド上の膨大な画像履歴情報を多様な時空間スケールで活用」するアプローチで、超低品質な画像の認識を実現することにある。
本年度は、以下の成果が得られた。(1) 車載センサーを用いた周囲環境認識においては、
過去に何度も走ったデータを用いて、車載画像と実際に走行したデータから走行領域を自動的にラベル付けし、これをセマンティックセグメンテーションの学習に用いる手法を提案した。これにより過去の履歴情報から自動的に学習が可能な走路の領域抽出手法を実現し、実験的にその効果を示した。(2) 視認性の推定においては、人間が車両を運転する際には、歩行者、障害物、死角など様々な箇所に着目することが分かっているが、初心者と熟練者での注意の仕方について分析を行った。被験者実験により、熟練になるにしたがって、より遠方の物体に注意を向けることがわかった。(3) 超低品質な監視カメラ画像の認識では、赤外線センサアレイを用いて高齢者などの日常行動を見守るシステムを目的に、このセンサーから得られる超低品質画像から、人間の骨格姿勢を推定する手法を提案した。学習時に、通常カメラと赤外線センサアレイを同時に利用し、様々な姿勢を取得することにより、効率的にDNNを学習する手法を提案し、実験によりその効果を示した。また、監視カメラを用いて、駅構内などで白杖利用者など検出するシステムにおいて、人間の骨格姿勢の動きにより白杖が見えなくても検出できる手法を提案した。また、ふらふら歩きなどの歩行者の異常行動を、人間の骨格姿勢の動きの異常値から検出する手法を提案し、実験によりその有効性を示した。
低品質な画像を精度よく認識するための手法を目指し、研究を進めている。令和元年度当初の計画通りに、以下の点を達成した。(1)車載センサーを用いた周囲環境認識では、過去の履歴情報から自動的に学習が可能な走路の領域抽出法を提案し、有効性を示した。(2) 視認性の研究に関しては、人間が車両を運転する際の、歩行者、障害物、死角など様々な箇所に着目する特性を初心者、熟練者について分析し、熟練者ほど遠方に注意を払っているという知見を得た。 (3)監視カメラを用いた人物認識においては、赤外線センサアレイからの超低解像度画像からの骨格姿勢推定の実現と、白状利用者などの交通弱者の検出手法を提案し、その有効性を示した。以上の点から、本研究計画はおおむね予定通りに進展している。但し、一部の研究で、論文化がやや遅れているので、この点は今後加速したい。
低品質な画像を認識する手法を体系的に開発するために、以下の方針で研究を推進する。
(1) 車載カメラを用いた周囲環境認識では、画像から様々な物体の領域をラベル付けするセマンティックセグメンテーションと、走行中の車載カメラ映像から得られる映像からの形状復元手法を組み合わせることにより、セマンティックセグメンテーションと3次元形状復元の双方の精度を向上する手法を開発する。
(2) 監視カメラを用いて人物行動を認識する研究においては、日常行動の見守りに適した赤外線センサアレイから得られる超低解像度画像からの骨格姿勢推定の精度をさらに向上させる。また、家庭内支援ロボットなどでは、掴むためにマグカップなどの姿勢推定が必要となるが、前景に何かあることで部分的なオクルージョンが発生する場合でも適用できる姿勢推定手法を開発する。
(3) 視認性の研究においては、人間が車両を運転する際にどこに視覚的注意を向けるかについて、令和元年度では単純な周囲環境での特性を分析したが、令和２年度では周囲の車両や歩行者などとインタラクションが起こるような複雑な環境において、熟練するにしたがってどのように視覚的注意が変化するかを分析する研究を行う。また、イベント会場などで多数の人がある対象を着目する際に、多数の人の情報を統合することにより対象の3次元的な着目位置を精度良く推定する研究を開始する。
これら3つの観点から研究を発展させる予定である。 -
グループ学習の形成的評価のための実世界活動センシング技術の開発
研究課題/研究課題番号：16K12786 2016年4月 - 2019年3月
科学研究費助成事業 挑戦的萌芽研究
出口 大輔, 近藤 一晃, 島田 敬士
担当区分：研究代表者
配分額：3510000円 （ 直接経費：2700000円 、 間接経費：810000円 ）
本研究課題では、参加者に装着した主観視点映像（参加者装着カメラ）とウェアラブルセンサを用いることにより、(i)場の状況把握度の分析、(ii)場の注目度の分析、(iii)場の活動量の分析、の3つの観点での分析に関する技術課題を解決し、実世界グループ学習における発話中人物への注目度、活動の同期度という2つの非言語活動の計測を通してグループ学習を形成的な観点で評価するための指標を開発した。
共通の課題に対して複数人で取り組むグループ学習は、考え方や能力の異なる他者と協力して問題に取り組む力を育むことから、数多くの教育機関で実践されている。しかし、現在のグループ学習においては、コストや人員数の問題から全てのグループ学習の全参加者をつぶさに見守ることは難しい。本研究課題の成果は、このような実世界グループ学習の過程を自動的に可視化するとともに、参加者の形成的評価を行うための指標を与える点がこれまでに無い大きな成果である。 -
LTIを用いた大学向け教育支援サービスの開発と国際コミュニティへの展開
研究課題/研究課題番号：15K00493 2015年4月 - 2018年3月
科学研究費助成事業 基盤研究(C)
藤井 聡一朗, 喜多 敏博, 出口 大輔
担当区分：研究分担者
本研究の目的は教育支援システムを拡張するための標準規格Learning Tools Interoperability（以下，LTI）を用いて独自の教育支援ツールを開発し，それらをコミュニティ内で共有するためのプロセスの実験と検証を行うことである．実験の結果，開発したツールを各大学内で利用されている教育支援システムと連携させて共有するプロセスが実現可能であることを確認するとともに，実運用をする上での課題を確認できた．本研究で開発したツールは研究成果として外部提供を開始している．
-
能動型前処理と環境適応型学習を用いた「超低品質画像」の認識
2013年4月 - 2018年3月
科学研究費補助金 基盤研究(A)
村瀬 洋
担当区分：研究分担者
-
大学向OSSの翻訳に適用する共通翻訳メモリの開発と国際コミュニティへの展開
2013年4月 - 2016年3月
科学研究費補助金 基盤研究(B)
常盤 祐司
担当区分：研究分担者
-
実世界センシングにより得られる環境依存情報を活用した環境適応型画像認識
2013年4月 - 2016年3月
科学研究費補助金 若手研究(B)
出口 大輔
担当区分：研究代表者
-
ニュース映像アーカイブの体系化と登場人物に注目した要約映像の編纂
2011年4月 - 2014年3月
科学研究費補助金 基盤研究(B)
井手 一郎
担当区分：研究分担者
-
過去と現在の対比による環境適応型画像認識に関する研究
2010年4月 - 2013年3月
科学研究費補助金 若手研究(B)
出口 大輔
担当区分：研究代表者
-
時間と空間に関する膨大な履歴情報を活用した超低品質画像の認識
2009年4月 - 2013年3月
科学研究費補助金 基盤研究(B)
村瀬 洋
担当区分：研究分担者
-
実世界シナリオに基づく大量映像の自動再編簒
2009年4月 - 2011年3月
科学研究費補助金 特定領域研究
井手 一郎
担当区分：研究分担者