我々の研究室では，人間のコミュニケーションをサポートする知的情報システムやそれを支える高機能ネットワークについて研究しています．人間を見守るメディア，教えてくれるメディア，人間どうしをつないでくれるメディア，情報を簡単にしてくれるメディア，気づいてくれるメディア等，様々なメディアとそのための基礎理論，基礎技術，応用について研究します．基礎技術としては，画像，音声，自然言語等の処理・自動認識とそれによる人間の行動理解，次世代インターネット技術等があります．応用としては，近未来の教育環境，生活環境，遠隔コミュニケーション（講義・会議・経験共有）等，我々の将来を大きく変えることが可能なメディアの実現を考えています．

• 表情や動作のセンシングによる内部状態の推定

人間のしぐさや表情などの外部表出を観測し，意図や感情などの内部状態を読み取ったり，QOL (Qality Of Life) の推定などを行っています．

• しぐさの計測とモデル化による注意状態の推定

複数の対象に対してどのように注意を向けているかを，顔向き・手の向き・体幹の向き，およびそれらの連結性に基づいた力学モデルによって表現・推定します．２つの対象物に対する注意の分配が変化するパターンと，しぐさにおける動作特徴との関係について，注意と身体性の観点から分析しました．



• 栗栖崇紀, 近藤一晃, 中村裕一, ``複数部位の協調関係に基づいた注意分配の解析手法の提案'', 電子情報通信学会:HCGシンポジウム2016.
• 栗栖崇紀, 近藤一晃, 中村裕一, ``注意分配に依存した頭部・体幹・手の動きの協調関係の解析'', 電子情報通信学会:HCGシンポジウム2017.
• 表情比較に基づいた内部状態の変化の認識

日常生活でははっきりとしない中間的な表情も多く現れます．そのような表情から心理・感情を推定するための方法として，二枚の顔画像の比較による表情変化の認識を提案しています．二枚の画像を比較する深層学習ネットワークを設計し，笑顔の強さやネガティブ/ポジティブの変化を高精度に認識できることを確認しました．



• K. Kondo, T. Nakamura, Y. Nakamura, and S. Satoh, ``Siamese-structure Deep Neural Network Recognizing Changes in Facial Expression According to the Degree of Smiling'', In proc. of 25th International Conference on Pattern Recognition, 2021.
• 中村大地，近藤一晃，中村裕一，佐藤真一, ``笑顔によるQOL推定を目的とした微細な表情変化の認識'', 電子情報通信学会技術報告, Vol.120, no.336, HCS2020-59, 2021.
• 生体センシングに基づいた動作・行動のアシスト

筋活動や動作や姿勢を観測することによって意図推定や動作予測をし，パワーアシストや関節拘束による動作の補助を行う方法を探る．そのための，アシスト機器の設計や実装を行っています．

• 動作意図に応じた支援を与える外骨格パワーアシスト

人間の活動を邪魔をしない・人間に気づかせない自然な支援を実現するために，必要なときに必要な分だけパワーアシストを行う仕組みを提案しています．複数筋の筋協調の分析に基づいて，実際の動作が始まる前に動作意図を予測することに加え，人間の主体的な動作を阻害しないパッシブなアシスト機器の設計も進めています．



• J. Furukawa, S. Okajima, Qi An, Y. Nakamura, and J. Morimoto,``Selective Assist Strategy by Using Lightweight Carbon Frame Exoskeleton Robo’’, IEEE Robotics and Automation Letters, Vol.7, No.7, pp.3890-3897, 2022.
• J. Ilham, Y. Nakamura, K. Kondo, T. Ito, Qi An, J. Akita, and M. Toda, ``Stability of muscle synergy patterns for sit-to-stand motions under different condition’’, IEICE Tech. Report, MBE2021-88, Vol.121, No.389, 2022.
• 触覚呈示による注意や動作のさりげない誘導

人間の活動を阻害しない形で気づきや誘導を与える柔らかな方法として，皮膚を少し引っ張ったり伸ばしたりする触覚呈示を提案しています．筋電位で計測した頸の動きを，遠隔地にいる人間の頸の皮膚を引っ張ることで伝える系を設計し，その伝達性能を検証するとともに頸を介したコミュニケーションの可能性を調査しました．



• 井藤隆秀, 近藤一晃, 中村裕一, ジョナサン・ロシター, 秋田純一, 戸田真志, ``皮膚引っ張り型デバイスによる行動・動作状態の伝達と見守り'', 電子情報通信学会技術報告, vol. 118, no. 35, PRMU2018-5, 2018.
• T. Ito, Y. Nakamura, K. Kondo, J. Rossiter, J. Akita, and M. Toda, ``Motion Information Transmission for On-Neck Communication'', The 3rd Int. Conf. on Computer-Human Interaction Research and Applications, 2019.
• 人間のコミュニケーションのモデル化と支援

会話，プレゼンテーション，共同作業など，様々な場面における人間どうしのコミュニケーションを分析し，それを支援する情報システムやロボットの働きを設計しています．

• 遠隔作業支援におけるコミュニケーション分析

作業の様子を遠隔地でモニタリングし，必要に応じて情報提供や指示を行う「遠隔対話型行動支援」では，どのようにコミュニケーションが構造化されているのかを分析しています．コミュニケーションの良さを表す指標として「二者間の発話や行動の一貫性」を提案し，二者間の呼応パターンにおける時間的特性との関係について分析しました．



• 小泉敬寛, 小幡佳奈子, 渡辺靖彦, 近藤一晃, 中村裕一, ``映像対話型行動支援における作業者と支援者の態度の分析’’, HCGシンポジウム2013.
• 小泉敬寛, 小幡佳奈子, 渡辺靖彦, 近藤一晃, 中村裕一, ``映像対話型行動支援における頻出パターンに基づいたコミュニケーションの分析’’, 情報処理学会論文誌, Vol.56, No.3, pp.1068-1079, 2015.
• 人間の動作特性に基づいた指差しインタフェース

「大画面上の資料を指示しながら行うプレゼンテーションスタイルのコミュニケーション」をスムーズに実現させるためのインタフェース（計測・提示システム）を設計しています．指差し姿勢は指示したい位置を正確に表してはいないという問題を解決するために，人間の視知覚・動作特性に基づいた表示方法や，指示の意図を離散化して推定する方法を提案しました．



• K. Kondo, G. Mizuno, and Y. Nakamura, ``Feedback Control Model of a Gesture-based Pointing Interface for a Large Display'', IEICE TRANSACTIONS on Information and Systems, Vol. E101-D, No.7, pp. 1894-1905, Jul. 2018.
• 藤原巧人, 中村裕一, 近藤一晃, ``ユーザの意図推定と予測に基づいた協調的ポインティングインタフェースの設計‘’, 電子情報通信学会技術報告, vol. 120, no. 185, HIP2020-39, 2020.
• K. Kondo, T. Fujiwara, and Y. Nakamura, ``Non-linear distance filter for modeling effect of a large pointer used in a gesture-based pointing interface'', IEICE TRANSACTIONS on Information and Systems, Vol.E103-D, No.11, pp.2302-2313, 2020.
• 記憶や体験の共有と活用

映像や位置情報，生理的情報，その他のセンシングデータによって個人の行動や集団としての活動を記録し，記憶や体験を共有したり，それを教育や訓練のために活用しています．



• グループワーク体験記録の分析

複数人で協力して共通のタスクを達成するグループワークを，参加者や主催者が振り返りやすい形で提供するための記録・分析方法について研究を進めています．相談と作業の両方を伴うグループワークの特徴量として参加者視野に出現する手の量を提案し，時間経過に応じた場面の変化や異なるグループ間での協力様式の違いを明らかにしました．



• D. Deguchi, K. Kondo, and A. Shimada, ``Visualization of real world activity on group work'', In Proc. of 6th Int. Conf. on Distributed, Ambient and Pervasive Interactions, 2018.
• 近藤一晃, 島田敬士, 出口大輔, ``個人視点映像内の手領域出現に基づくグループ協同作業特徴量の提案'', 電子情報通信学会:HCGシンポジウム2018.