VR遠隔操縦システム — 自作ロボに"搭乗"して操縦してみた

自作ロボットに全天球カメラ(RICOH THETA)を搭載し、VRゴーグルを被るとまるでロボットのコックピットに搭乗しているかのような感覚で遠隔操縦できるシステムです。

作ったきっかけ

かわさきロボット競技大会(かわロボ)に出場するロボットを製作していますが、当然ながら人が搭乗できるサイズ感ではありません。そこで「かわロボテクノクエスト」という遠隔操作競技への出場を機に、自作ロボに全天球カメラを搭載して遠隔操作し、VRゴーグルを被ればコックピットの中!というシステムを構築しました。

動機:自作ロボに全天球カメラを搭載し遠隔操作

※既存製品の流用による、趣味的アプローチです。

ロボット外観

ロボット外観

  • かわロボ互換サイズ(320×320×700mm)
  • 全天球カメラ(THETA)をサーボで昇降
  • ライト&ミラーで棚下も見れる
  • フルカラーLEDで状態表示
  • IMU/温度センサなど搭載

※VRゴーグルはWindows MR→Quest 2に、制御基板はPIC→ESP32に更新しています。

システム概要

システム概要図

  • 全天球カメラ映像から向いた方向の画像を変換・表示し、臨場感あるリアルタイムVR映像を実現
  • ロボットのアームは自動的に角度制御
  • ロボットのパラメータや姿勢、経過時間も視界内に表示
  • WiFiコントローラ操縦とRCプロポの2系統から選択可能
  • Deep Learningカメラで認識した工具をVR上に表示
  • ロボット本体にLEDでステータス表示
  • 非操縦者向けにPCへVR映像を表示 = VRゴーグルなしでも体験OK

出展してみてどうだったか

MMF仙台・こっしぇる・YOXO横浜・NT金沢などのイベントに出展しました。

  • たのしい&好評!
  • 意外と酔わない!(コックピットがなくてもOK。画質が悪いおかげ?)
  • 操縦を2系統用意したのは良かった(体験操縦の補助に活躍)
  • 年少者向けに画面モードとUSBコントローラを用意して良かった
  • 無線が混み合うイベント会場ではカメラは有線に

関連リンク

← ブログ一覧へ戻る この記事をシェア

関連記事