Main keywords: Audio/video Processing, UAV, Artificial Intelligence (AI), Intelligent Assistant Systems, ITS, Aerial/mobile Robotics
当研究室では主として、映像・音声理、ロボティクス並びにそれらの応用について幅広く取り組んでおり、情報通信やロボットの技術を活かして、高齢者、障害者や被災者等の支援を必要とする人々をサポートすることを目指している。
主なキーワード:映像・音声処理、UAV、人工知能、インテリジェント支援システム、高度道路交通システム、移動・飛行ロボティクス
Main Research Projects 主な研究プロジェクト
Development of a culturally sensitive stand-up comedian robot (in collaboration with the University of the Arts London)
文化的配慮を備えたスタンドアップコメディロボットの開発(ロンドン芸術大学との共同研究)
Design and Development of Dual-Arm Grippers for Drones to Pick Up and Transport Objects at Disaster Sites with Accessibility Barriers
アクセス障害のある災害現場で物体を把持・搬送するためのドローン搭載用デュアルアームグリッパの設計と開発
Personalized machine learning models for optimized drug concentration quantification (in collaboration with EPFL, Switzerland)
薬物濃度の最適定量化のためのパーソナライズド機械学習モデルの構築(スイス連邦工科大学ローザンヌ校(EPFL)との共同研究)
Victim detection at disaster sites using drone-mounted hyperspectral cameras and voice-capturing devices integrated with AI technologies (in collaboration with Mie University, Japan)
AI技術を統合したドローン搭載型ハイパースペクトルカメラと音声収集デバイスを用いた災害現場での被災者検出(三重大学との共同研究)
Application of AI in soft material development (in collaboration with the Institute of Science Tokyo)
ソフト材料開発におけるAIの応用(東京科学大学との共同研究)
AI-driven percussion-based inspection of construction infrastructure (Intra-university collaboration at SIT)
AIを活用した打音検査による建設インフラの点検(芝浦工業大学内での共同研究)
AI-driven 3D data analysis and generation and their applications in robotics
AIを活用した3Dデータの解析・生成とそれらのロボティクスへの応用
Safe autonomous wheelchair navigation and enhanced user harmony enabled by omnidirectional-video-based driving environment recognition
全天球映像による走行環境認識に基づく車椅子の安全な自動走行と利用者との調和向上
Previous Research Projects 過去終了済プロジェクト(一部)
The development of a secure landing system for drones aims to enhance their operational capabilities in disaster-stricken areas.
A vision-based method detects the landing spot, and the drones move towards the designated location for a safe landing. Vertical flight control is achieved using PID control, while horizontal flight control is accomplished through PD control.
(A video of so far results →)
災害現場でのオペレーションのため、円滑なドローン自動着陸に関する研究
ドローン搭載カメラの画像解析によって着陸場を認識し、自動的に着陸場に向かい、その後自動着陸を行う。自動飛行制御には、PID制御とPD制御を活用する。
(これまでの研究成果→)
Victim detection at disaster sites using an UAV with an onboard voice recognition system.
A UAV equipped with a loudspeaker and a microphone hovers over the disaster site and broadcasts an audio request for a response from anyone below. The microphone detects the voice of anyone who responds, thereby determining whether there is anyone who requires rescuing. However, the microphone also picks up the sound of the nearby UAV propellers, which can obscure the person's voice. This is one of the major challenges that needs to be addressed.
ドローン搭載音声処理システムによる災害現場での被災者探索
スピーカーとマイクを搭載したUAVのスピーカーから、探索対象者に応答を促す音声を流し、それに応じて反応した人の声をマイクで検出することにより、人の存在を判別する。しかしながら、マイクと近距離のUAVプロペラ音がマイクに入力され、人の声の検出に干渉を及ぼすことがある。これが、主要な研究課題となる。
Anomaly Detection in Plantations Using Onboard UAV Cameras and Sensors
ドローンに搭載されたカメラとセンサーからのデータ解析による農作物の異常検知
Remote Control of Robots and Wheelchairs via Visible Light for Assistance in Infectious Disease Hospitals
Wireless communication is essential for remote control of these robots, yet using radio waves is unfavorable in the medical domain due to its potential impact on patients and medical equipment. Hence, we present a teleoperation system for a wheeled mobile robot employing visible light, which uses a camera and an array of LEDs. This approach ensures minimal disruption to both patients and medical equipment. (A video of so far results →)
可視光による医療現場用車輪型移動ロボットのリモコンの操作
現在のロボットのリモコン操作は、赤外線などの不可視光線を使用しているため、患者の身体への影響や医療機器への影響などの理由から、介護や医療施設において導入が難しい場合がある。そのため、本研究では、可視光を利用したリモコン操作技術の開発に取り組んでいる。送信機としては小型LEDアレイを、受信機としては小型全天球カメラを使用する。(これまでの研究成果→)
Tactile Paving Detection by Dynamic Threshold for Developing a Walking Support System
Tactile paving detection is performed through color image analysis. (A video of so far results →)
視覚障害者歩行支援システムのための点字ブロックの自動検出
カラー画像解析を用いて、点字ブロックの自動検出を行う。(これまでの研究成果→)
Detection and Tracking of Moving Objects at an Intersection Using a Single Omnidirectional Camera
The detection of all moving objects at an intersection is achieved by employing a Gaussian mixture model-based approach for moving object detection. The tracking of these moving objects is conducted using the Kalman filter technique.
(A video of so far results →)
交差点に設置した全天球カメラ映像から交差点内のすべての移動物体の検出
全天球映像に対して歪み補正を行い、混合ガウス分布に基づく手法を提案して、交差点内の全ての移動物体を検出する。さらに、検出された移動物体の追跡はカルマンフィルターを利用して行う。(これまでの研究成果→)
Hybrid Camera System for High-Resolution Enhancement of Target Objects in Omnidirectional Images
Omnidirectional camera images typically exhibit lower resolution compared to conventional cameras, making it challenging to discern objects located at a distance from the camera. To tackle this issue, we introduce a hybrid camera system. This system initially identifies less distinct target regions within the omnidirectional view and subsequently employs a pan-tilt camera to capture high-resolution images of these targets.
(A video of hybrid camera system operation →)
全天球画像における検出対象物体の高解像度化を行うためのハイブリッドカメラシステム
全天球カメラ画像上では、解像度の不足により、遠方であるほど物体の識別が困難となる。本研究では、この問題を解決するため、まず、全方位監視中に不鮮明な物体領域を検出し、次に、Pan-Tiltカメラを用いてその物体の高解像度な画像を撮影し、補完する手法を提案する。
(ハイブリッドカメラシステムの動作の様子→)