Research 研究活動

The Image Processing and Robotics Lab team primarily focuses on an extensive array of studies in audio/video processing, robotics, and their applications to provide technological support to individuals requiring assistance, such as the elderly, people with disabilities, natural disaster victims, and more.

Main keywords: Audio/video Processing, UAV, Artificial Intelligence (AI), Intelligent Assistant Systems, ITS, Aerial/mobile Robotics

当研究室では主として、映像・音声理、ロボティクス並びにそれらの応用について幅広く取り組んでおり、情報通信やロボットの技術を活かして、高齢者、障害者や被災者等の支援を必要とする人々をサポートすることを目指している。

主なキーワード:映像・音声処理、UAV、人工知能、インテリジェント支援システム、高度道路交通システム、移動・飛行ロボティクス

Main Research Projects 主な研究プロジェクト

A vision-based method detects the landing spot, and the drones move towards the designated location for a safe landing. Vertical flight control is achieved using PID control, while horizontal flight control is accomplished through PD control.

(A video of so far results →)

災害現場でのオペレーションのため、円滑なドローン自動着陸に関する研究

ドローン搭載カメラの画像解析によって着陸場を認識し、自動的に着陸場に向かい、その後自動着陸を行う。自動飛行制御には、PID制御とPD制御を活用する。

(これまでの研究成果→)

Malik Research Compact Video.mp4

A UAV equipped with a loudspeaker and a microphone hovers over the disaster site and broadcasts an audio request for a response from anyone below. The microphone detects the voice of anyone who responds, thereby determining whether there is anyone who requires rescuing. However, the microphone also picks up the sound of the nearby UAV propellers, which can obscure the person's voice. This is one of the major challenges that needs to be addressed.

ドローン搭載音声処理システムによる災害現場での被災者探索

スピーカーとマイクを搭載したUAVのスピーカーから、探索対象者に応答を促す音声を流し、それに応じて反応した人の声をマイクで検出することにより、人の存在を判別する。しかしながら、マイクと近距離のUAVプロペラ音がマイクに入力され、人の声の検出に干渉を及ぼすことがある。これが、主要な研究課題となる。

ドローンに搭載されたカメラとセンサーからのデータ解析による農作物の異常検知


Wireless communication is essential for remote control of these robots, yet using radio waves is unfavorable in the medical domain due to its potential impact on patients and medical equipment. Hence, we present a teleoperation system for a wheeled mobile robot employing visible light, which uses a camera and an array of LEDs. This approach ensures minimal disruption to both patients and medical equipment. (A video of so far results →)

可視光による医療現場用車輪型移動ロボットのリモコンの操作

現在のロボットのリモコン操作は、赤外線などの不可視光線を使用しているため、患者の身体への影響や医療機器への影響などの理由から、介護や医療施設において導入が難しい場合がある。そのため、本研究では、可視光を利用したリモコン操作技術の開発に取り組んでいる。送信機としては小型LEDアレイを、受信機としては小型全天球カメラを使用する。(これまでの研究成果→)

Passenger(add LED Array text).mp4

Tactile paving detection is performed through color image analysis. (A video of so far results →)

視覚障害者歩行支援システムのための点字ブロックの自動検出

カラー画像解析を用いて、点字ブロックの自動検出を行う。(これまでの研究成果→)

Compack video.mp4

The detection of all moving objects at an intersection is achieved by employing a Gaussian mixture model-based approach for moving object detection. The tracking of these moving objects is conducted using the Kalman filter technique.

(A video of so far results →)

交差点に設置した全天球カメラ映像から交差点内のすべての移動物体の検出

全天球映像に対して歪み補正を行い、混合ガウス分布に基づく手法を提案して、交差点内の全ての移動物体を検出する。さらに、検出された移動物体の追跡はカルマンフィルターを利用して行う。(これまでの研究成果→)

(Compact Video)Vehicle detection from Omnidorectional camera.mp4

Omnidirectional camera images typically exhibit lower resolution compared to conventional cameras, making it challenging to discern objects located at a distance from the camera. To tackle this issue, we introduce a hybrid camera system. This system initially identifies less distinct target regions within the omnidirectional view and subsequently employs a pan-tilt camera to capture high-resolution images of these targets.

(A video of  hybrid camera system operation →)

全天球画像における検出対象物体の高解像度化を行うためのハイブリッドカメラシステム

全天球カメラ画像上では、解像度の不足により、遠方であるほど物体の識別が困難となる。本研究では、この問題を解決するため、まず、全方位監視中に不鮮明な物体領域を検出し、次に、Pan-Tiltカメラを用いてその物体の高解像度な画像を撮影し、補完する手法を提案する。

(ハイブリッドカメラシステムの動作の様子→)



Object capturing near object by hybrid camera system.mp4