KAKENHI (Grants-in-Aid for Scientific Research) -
-
Scene Understanding and Knowledge Extension by Active Open-world Recognition
Grant number：24H00733 2024.4 - 2029.3
Grants-in-Aid for Scientific Research Grant-in-Aid for Scientific Research (A)
Authorship：Coinvestigator(s)
-
人物行動を手掛かりとした車載映像クラウド探索による知識獲得型認識基盤の構築
Grant number：23K28164 2023.4 - 2027.3
科学研究費助成事業 基盤研究(B)
出口 大輔, 赤井 直紀, 川西 康友
Authorship：Principal investigator
Grant amount：\18590000 （ Direct Cost: \14300000 、 Indirect Cost：\4290000 ）
本研究では、我々人間が明示的・暗黙的なルールに従いながら状況に合わせて同じような行動をするという知見を活用し、そのようなルールに従う行動のセンシング結果を手掛かりとして、物体認識モデルの性能を向上させる学習データを車載映像クラウドから自動的に見つけ出す基盤技術の開発を行う。そして、人の行動とルールの情報を手がかりとして、それらの学習データに対してアノテーション情報を自動付与しながらモデル更新を行う知識獲得型認識基盤の実現を目指す。
-
拡張時空間シーングラフによる未知物体を含むシーン認識・記述基盤の構築
Grant number：23K21708 2021.4 - 2025.3
科学研究費助成事業 基盤研究(B)
川西 康友, 井手 一郎, 出口 大輔
Authorship：Coinvestigator(s)
人間は，知らない物体を見たとき，それが何かわからなくても何らかの物体であると認識でき， それを覚えておいて次に見たときに同一物体だと対応付けることもできる．しかし，ロボットは 物体検出器が学習した物体しか検出できず，異なる時刻での観測同士を対応付けることもできな い．本提案では，未知物体も扱える時空間の記述(拡張時空間シーングラフ)の仕組みを作った うえで，未知物体を含めた環境中の物体検出法及び，それらを時間方向に対応付けて拡張時空間 シーングラフを自動的に構築する手法に取り組む．これにより，ロボットによる時空間的に一貫 した環境理解を実現することを目指す．
今年度は，昨年度に引き続き，未知物体が含まれる画像に対するシーングラフ生成・セグメンテーション技術の高精度化に取り組んだ．また，シーングラフを用いた様々な応用についても検討した．
まず，シーングラフ生成技術の高精度化について，昨年度構築した評価方法を用いて，提案手法の高度化に取り組んだ．この成果は現在論文投稿中である．一方，未知物体領域のセグメンテーションのために昨年度検討したデータセット構築をもとに構築したデータセット整理し，そのデータセットを用いて，未知物体のセグメンテーションに関する研究を進めた．物体個々にセグメンテーションが可能なパノプティックセグメンテーションと背景モデリング技術を組み合わせ，新規にシーン中に現れた未知物体領域を抽出する技術を提案し，国際会議で発表してBest Paper Awardを受賞した．
さらに，シーングラフ推定の応用として，画像集合に対する説明文生成手法を提案した．複数枚の画像から得られる情報を統合する目的で，各画像から得られるシーングラフを統合する手法に関する研究を進めた．各画像から得られるシーングラフのノード同士の対応関係をもとにグラフを統合し，一つのグラフを生成する．この際，同一概念の物体を，外部の知識を用いて抽象化することで同一視して統合する方法を提案した．この画像集合に対する説明文生成手法について，国際会議で発表した．
さらに今年度は国際会議を含む複数の会議で招待講演を行い，その中で本プロジェクトの未知物体を含むシーングラフ生成とその応用に関し，広く紹介した．
シーングラフを用いた応用研究が広がり，当初の想定よりも多様な応用研究ができた．
現状用いているシーングラフの統合手法はまだまだ初歩的な技術であり，今後より高度な技術へ発展させる余地がある．特に，Re-identificationの技術を用いた，シーン間の物体対応付けの技術との統合が期待できる． -
クラウド上の膨大な画像履歴情報を多様な時空間スケールで活用する超低品質画像の認識
Grant number：17H00745 2017.4 - 2022.3
科学研究費助成事業 基盤研究(A)
村瀬 洋, 目加田 慶人, 井手 一郎, 平山 高嗣, 出口 大輔, 川西 康友
Authorship：Coinvestigator(s)
本研究の目的は、車載カメラ画像、監視カメラ画像などに見られる超低品質な画像を認識し、ユーザーに結果を適切に情報提示する手法を実現することにある。そこでは「超低品質な画像」の認識が必要となっている。特に、本研究では、機械学習に加えて、「クラウド上の膨大な画像履歴情報を多様な時空間スケールで活用」するアプローチで、超低品質な画像の認識を実現することにある。
本年度は、以下の成果が得られた。(1) 車載センサーを用いた周囲環境認識においては、
過去に何度も走ったデータを用いて、車載画像と実際に走行したデータから走行領域を自動的にラベル付けし、これをセマンティックセグメンテーションの学習に用いる手法を提案した。これにより過去の履歴情報から自動的に学習が可能な走路の領域抽出手法を実現し、実験的にその効果を示した。(2) 視認性の推定においては、人間が車両を運転する際には、歩行者、障害物、死角など様々な箇所に着目することが分かっているが、初心者と熟練者での注意の仕方について分析を行った。被験者実験により、熟練になるにしたがって、より遠方の物体に注意を向けることがわかった。(3) 超低品質な監視カメラ画像の認識では、赤外線センサアレイを用いて高齢者などの日常行動を見守るシステムを目的に、このセンサーから得られる超低品質画像から、人間の骨格姿勢を推定する手法を提案した。学習時に、通常カメラと赤外線センサアレイを同時に利用し、様々な姿勢を取得することにより、効率的にDNNを学習する手法を提案し、実験によりその効果を示した。また、監視カメラを用いて、駅構内などで白杖利用者など検出するシステムにおいて、人間の骨格姿勢の動きにより白杖が見えなくても検出できる手法を提案した。また、ふらふら歩きなどの歩行者の異常行動を、人間の骨格姿勢の動きの異常値から検出する手法を提案し、実験によりその有効性を示した。
低品質な画像を精度よく認識するための手法を目指し、研究を進めている。令和元年度当初の計画通りに、以下の点を達成した。(1)車載センサーを用いた周囲環境認識では、過去の履歴情報から自動的に学習が可能な走路の領域抽出法を提案し、有効性を示した。(2) 視認性の研究に関しては、人間が車両を運転する際の、歩行者、障害物、死角など様々な箇所に着目する特性を初心者、熟練者について分析し、熟練者ほど遠方に注意を払っているという知見を得た。 (3)監視カメラを用いた人物認識においては、赤外線センサアレイからの超低解像度画像からの骨格姿勢推定の実現と、白状利用者などの交通弱者の検出手法を提案し、その有効性を示した。以上の点から、本研究計画はおおむね予定通りに進展している。但し、一部の研究で、論文化がやや遅れているので、この点は今後加速したい。
低品質な画像を認識する手法を体系的に開発するために、以下の方針で研究を推進する。
(1) 車載カメラを用いた周囲環境認識では、画像から様々な物体の領域をラベル付けするセマンティックセグメンテーションと、走行中の車載カメラ映像から得られる映像からの形状復元手法を組み合わせることにより、セマンティックセグメンテーションと3次元形状復元の双方の精度を向上する手法を開発する。
(2) 監視カメラを用いて人物行動を認識する研究においては、日常行動の見守りに適した赤外線センサアレイから得られる超低解像度画像からの骨格姿勢推定の精度をさらに向上させる。また、家庭内支援ロボットなどでは、掴むためにマグカップなどの姿勢推定が必要となるが、前景に何かあることで部分的なオクルージョンが発生する場合でも適用できる姿勢推定手法を開発する。
(3) 視認性の研究においては、人間が車両を運転する際にどこに視覚的注意を向けるかについて、令和元年度では単純な周囲環境での特性を分析したが、令和２年度では周囲の車両や歩行者などとインタラクションが起こるような複雑な環境において、熟練するにしたがってどのように視覚的注意が変化するかを分析する研究を行う。また、イベント会場などで多数の人がある対象を着目する際に、多数の人の情報を統合することにより対象の3次元的な着目位置を精度良く推定する研究を開始する。
これら3つの観点から研究を発展させる予定である。 -
Development of real world activity sensing for formative assessment of group work
Grant number：16K12786 2016.4 - 2019.3
Grants-in-Aid for Scientific Research Grant-in-Aid for Challenging Exploratory Research
Deguchi Daisuke
Authorship：Principal investigator
Grant amount：\3510000 （ Direct Cost: \2700000 、 Indirect Cost：\810000 ）
In this research, we developed methods for analyzing the real world group work based on three viewpoints: (i) the level of scene understanding, (ii) the level of attention against the scene, (iii) the level of activities. Here, first person view camera and wearable sensors were used for analyzing these values. In addition, we developed indices for formative assessment of the real world group work through the measurement of two types of non-verbal activities such as the level of attention against the speaker, and the level of activity synchronization.
-
Using LTI to develop and share educational services for university education
Grant number：15K00493 2015.4 - 2018.3
Grants-in-Aid for Scientific Research Grant-in-Aid for Scientific Research (C)
FUJII Soichiro
Authorship：Coinvestigator(s)
In this research we experimented a possibility of a process to sharing self-developed Learning Management System(LMS) plugins in communities using Learning Tools Interoperability(LTI). As the result of the study we verified the possibility of sharing self-developed LMS plugins between universities if all systems are conformed to LTI. We also confirmed tasks to achieve the process in production. We started offering LTI plugins developed in this research as research products.
-
能動型前処理と環境適応型学習を用いた「超低品質画像」の認識
2013.4 - 2018.3
科学研究費補助金 基盤研究(A)
村瀬 洋
Authorship：Coinvestigator(s)
-
大学向OSSの翻訳に適用する共通翻訳メモリの開発と国際コミュニティへの展開
2013.4 - 2016.3
科学研究費補助金 基盤研究(B)
常盤 祐司
Authorship：Coinvestigator(s)
-
実世界センシングにより得られる環境依存情報を活用した環境適応型画像認識
2013.4 - 2016.3
科学研究費補助金 若手研究(B)
出口 大輔
Authorship：Principal investigator
-
ニュース映像アーカイブの体系化と登場人物に注目した要約映像の編纂
2011.4 - 2014.3
科学研究費補助金 基盤研究(B)
井手 一郎
Authorship：Coinvestigator(s)
-
過去と現在の対比による環境適応型画像認識に関する研究
2010.4 - 2013.3
科学研究費補助金 若手研究(B)
出口 大輔
Authorship：Principal investigator
-
時間と空間に関する膨大な履歴情報を活用した超低品質画像の認識
2009.4 - 2013.3
科学研究費補助金 基盤研究(B)
村瀬 洋
Authorship：Coinvestigator(s)
-
実世界シナリオに基づく大量映像の自動再編簒
2009.4 - 2011.3
科学研究費補助金 特定領域研究
井手 一郎
Authorship：Coinvestigator(s)