オブジェクト検出
200以上の新しいオブジェクトクラスを備えたオブジェクト検出サブシステムは、Lightshipのコンテクスト・アウェアネス機能を強化し、現実世界のオブジェク トが画面に現れると動的に更新されるセマンティックラベル付きの2Dバウンディングボックスを作成します。 それぞれのバウンディングボックスについて、サブシステムは画像の中央の正方形クロップを処理し、次にすべてのサブクラスについて独立した予測を行い、検出された物体がそれぞれのサブクラスに属する確率を返す。 また、Lightshipのオブジェクト検出では、人物、手、人間の顔に対する検出のトレーニング方法を説明するモデルカードも提供されています。

基本的な使い方
Lightshipの ARObjectDetectionManager
をシーンに配置し、 ObjectDetectionsUpdated
イベントをサブスクライブします。これで、リアルタイムの検出情報をXRDetectedObjectsの形式で受け取ることができます。 また、 MetadataInitialized
イベントをリッスンすれば、モデルが使用可能になったときにオブジェクトクラスのリストを受け取ることができます。
パフォーマンス負荷を抑えたり、迅速にオブジェクトを検出できるように、 ARObjectDetectionManager
のフレームレートを調整することもできます。
オブジェクト検出カテゴリー
バウンディングボックス内の対象を識別する際に、ニューラルネットワークが参照するカテゴリーは206種類あります。
カテゴリー一覧
カテゴリー | 説明 |
---|---|
人間_顔 | 人間の顔 |
人間_手 | 人間の手 |
人物 | 人物、男、女、少年、少女、人体 |
頭蓋骨 | 頭蓋骨 |
航空機 | 航空機、飛行機、ヘリコプター、ロケット、パラシュート |
自転車 | 自転車、固定式自転車、一輪車 |
ボート | ボート、水上バイク、はしけ、ゴンドラ、カヌー、ジェットスキー、潜水艦、個人用浮揚装置 |
バス | バス |
車 | 車、スノーモービル、ゴルフカート、戦車、除雪車、救急車、バン、リムジン、タクシー、バス、トラック |
カート | カート |
オートバイ | オートバイ |
タクシー | タクシー |
電車 | 電車 |
トラック | トラック |
車両 | 車両、自動車、陸上車両、スノーモービル、ゴルフカート、戦車、電車、除雪車、救急車、自転車、一輪車 |
ホイール | ホイール、タイヤ、自転車ホイール |
車椅子 | 車椅子 |
ベンチ | ベンチ |
ビルボード | ビルボード、スコアボード |
クリスマス_ツリー | クリスマス_ツリー |
ドア | ドア |
ドア_ハンドル | ドア_ハンドル |
消火_剤 | 消火_剤 |
フラグ | フラグ |
パーキング_メーター | パーキング_メーター |
ポスター | ポスター、フォトフレーム |
彫刻 | 彫刻、胸像、ブロンズ像 |
街路_灯 | 街路_灯 |
信_号 | 信_号 |
交通_標識 | 交通_標識、停止の標識 |
廃棄物_コンテナ | 廃棄物_コンテナ、ゴミ箱、ゴミ箱 |
水_景物 | 水_景物、スイミング_プール、ジャグジー、噴水 |
窓 | 窓(屋内と屋外の両方) |
バックパック | バックパック |
衣類 | 衣類、スポーツユニフォーム |
コート | コート、ジャケット |
ドレス | ドレス |
フェドーラ帽 | フェドーラ帽、日よけ帽、カウボーイハット |
靴類 | 靴類、ローラースケート、ブーツ、ハイヒール、サンダル |
眼鏡 | 眼鏡、サングラス、ゴーグル |
ハンドバッグ | ハンドバッグ、ブリーフケース、ピクニックバスケット、荷物、バッグ |
帽子類 | 帽子類、ハット、カウボーイハット、フェドーラ帽、ソンブレロ、日よけ帽、水泳帽、ヘルメット、自転車用ヘルメット、 サッカー用ヘルメット |
ローラー_スケート | ローラー_スケート |
シャツ | シャツ |
ショーツ | ショーツ |
スカート | スカート、ミニスカート |
靴下 | 靴下 |
スーツ | スーツ |
スーツケース | スーツケース、ブリーフケース |
ネクタイ | ネクタイ |
ズボン | ズボン、ジーンズ |
傘 | 傘 |
野球_バット | 野球_バット |
野球_グローブ | 野球_グローブ |
フットボール | フットボール(サッカー) |
フリスビー | フリスビー、フライングディスク |
凧 | 凧 |
パドル | パドル |
ラグビー_ボール | ラグビー_ボール |
スケートボード | スケートボード |
スキー | スキー |
スノーボード | スノーボード |
スポーツ_ボール | スポーツ_ボール、ボール、サッカーボール、クリケットボール、バレーボール、テニスボール、ラグビーボール |
サーフボード | サーフボード |
テニス_ボール | テニス_ボール |
テニス_ラケット | テニス_ラケット、卓球ラケット、ラケット |
アコーディオン | アコーディオン |
金管_楽器 | 金管_楽器、フレンチホルン、サクソフォーン、トロンボーン、トランペット |
ドラム | ドラム |
フルート | フルート、ハーモニカ、オーボエ |
ギター | ギター |