KGRI Challenge Grant: ヒアラブルデバイスを用いた日常・ジェスチャ動作に基づく整形疾患推定システムの開発

創造

研究概要

Koike

本研究では、ユーザが常時装着することが想定されるウェアアラブルデバイスに着目し、イヤホン型ウェアラブルデバイス(ヒアラブルデバイス)を利用したスクリーニング手法の開発を目指す。具体的に、初年度は、1) 歩行障害のスクリーニングについて、2年目は、2) 顎関節症のスクリーニング、3) 肩関連の整形疾患スクリーニング、ができることを目指す。



2025年度事業計画

■2025年度の新規活動目標と内容、実施の背景

2025年度の新規活動目標として、2024年度に開発したヒアラブルデバイスデータ計測プラットフォームを積極的に活用し、身体データの収集を継続的に行うことで、データセットの充実を図る。また、顎関節症の推定モデルについては、データの前処理手法を改善し、取得データ数を増やすことで、より高精度かつ安定した推定性能を持つモデル構築を目指す。


2024年度事業報告

■当該年度活動計画に対する実施内容、および研究成果と達成度

当該年度は、ヒアラブルデバイスを用いたデータ収集プラットフォームの開発に取り組んだ。具体的には、スマートフォンとスマートウォッチのセンサデータを同時に計測できるシステムを構築し、それを活用して人間の動作計測を実施した。また、顎関節症についても基礎的な検討として、取得したセンサデータを用いた推定モデルの構築に挑戦した。さらに、ヒアラブルデバイスによる基本的な情報入力手法の研究や、リハビリテーション支援システムの開発にも取り組んだ。

■公刊論文数(件数と主たる公刊誌名)、学会発表件数(国内・国際)、イベントなど社会貢献の実績(年月日、場所)

公刊論文数 2件
・Yukina Sato*, Takashi Amesaka*, Takumi Yamamoto, Hiroki Watanabe, Yuta Sugiura (*these authors contributed equally), Exploring User-Defined Gestures as Input for Hearables and Recognizing of Ear-Touch Gestures by IMUs, Proceedings of the ACM on Human-Computer Interaction (HCI), MobileHCI 2024, 2024.https://doi.org/10.1145/3676503
・Chengshuo Xia*, Tian Min*, Yuta Sugiura, (*these authors contributed equally), AudioMove: Applying the Spatial Audio to Multi-Directional Limb Exercise Guidance, Proceedings of the ACM on Human-Computer Interaction (HCI), MobileHCI 2024, 2024.https://doi.org/10.1145/3676489
学会発表件数(国内:3件)
・一居和毅,杉浦裕太,ヒアラブルデバイスを活用した瞑想アプリの提案,ヒューマンインタフェースシンポジウム2024 SICHI2024,京都大学吉田キャンパス,2024-9-18-21.
・辻ひより,雨坂宇宙,杉浦裕太,ヒアラブルデバイスを用いた顎関節症の推定,ヒューマンインタフェースシンポジウム2024 SICHI2024,京都大学吉田キャンパス,2024-9-18-21.
・一居 和毅,池松 香,礒本 俊弥,加藤 邦拓,杉浦 裕太,ユーザの自然なインタラクションに基づく操作ミス推測,インタラクション2025 登壇発表,学術総合センター内 一橋記念講堂,東京,2025-3-2-4.

■プロジェクト活動を通じて特に成果を挙げた事柄

プロジェクト活動を通じて特に成果を挙げた事柄として、ヒューマンコンピュータインタラクション分野における最高峰の論文誌の一つである「Proceedings of the ACM on Human-Computer Interaction (PACM HCI)」への採録があった。今年度、本プロジェクトでは、ヒアラブルデバイスのための耳へのタッチジェスチャ入力手法を検討した研究および空間オーディオを活用した多方向の運動誘導に関する研究の2件の論文がPACMに採択され、高い研究水準を国際的に示すことができた。

SDGs

9. 産業と技術革新の基盤をつくろう9. 産業と技術革新の基盤をつくろう

プロジェクトメンバー

プロジェクトメンバー・所員について

◎印は研究代表者

◎ 杉浦 裕太 理工学部 准教授 Human-computer Interaction (HCI)
アヌーシャ ウィターナ シドニー大学 計算機科学 シニアレクチャラー Human-computer Interaction (HCI)
リウェイ チャン 国立陽明交通大学 計算機科学と情報工学 教授 Human-computer Interaction (HCI)
雨坂 宇宙 理工学部 訪問助教 Human-computer Interaction (HCI)
藤田 浩二 東京科学大学 統合イノベーション機構 教授 整形外科学
閔 天 理工学研究科 博士課程 Human-computer Interaction (HCI)
辻 ひより 理工学研究科 修士課程 Human-computer Interaction (HCI)