オブジェクト検出

200以上の新しいオブジェクトクラスを備えたオブジェクト検出サブシステムは、Lightshipのコンテクスト・アウェアネス機能を強化し、現実世界のオブジェクトが画面に現れると動的に更新されるセマンティックラベル付きの2Dバウンディングボックスを作成します。 それぞれのバウンディングボックスについて、サブシステムは画像の中央の正方形クロップを処理し、次にすべてのサブクラスについて独立した予測を行い、検出された物体がそれぞれのサブクラスに属する確率を返す。 また、Lightshipのオブジェクト検出では、人物、手、人間の顔に対する検出のトレーニング方法を説明するモデルカードも提供されています。

基本的な使い方

Lightshipの ARObjectDetectionManager をシーンに配置し、 ObjectDetectionsUpdated イベントをサブスクライブします。これで、リアルタイムの検出情報をXRDetectedObjectsの形式で受け取ることができます。 また、 MetadataInitialized イベントをリッスンすれば、モデルが使用可能になったときにオブジェクトクラスのリストを受け取ることができます。

パフォーマンス負荷を抑えたり、迅速にオブジェクトを検出できるように、 ARObjectDetectionManager のフレームレートを調整することもできます。

オブジェクト検出カテゴリー

ニューラルネットワークがバウンディングボックス内で探すカテゴリーは206種類ある。

カテゴリー一覧

カテゴリー	説明
人間顔	人面
人間の手	ヒトの手
person	人、男、女、少年、少女、人体
頭蓋骨	頭蓋骨
航空機	航空機、飛行機、ヘリコプター、ロケット、パラシュート
自転車	自転車、固定式自転車、一輪車
ボート	ボート、水上バイク、はしけ、ゴンドラ、カヌー、ジェットスキー、潜水艦、個人用浮揚装置
バス	バス
車	車、スノーモービル、ゴルフカート、戦車、除雪車、救急車、バン、リムジン、タクシー、バス、トラック
カート	カート
オートバイ	オートバイ
タクシー	タクシー
電車	電車
トラック	トラック
車両	車両、自動車、陸上車両、スノーモービル、ゴルフカート、戦車、列車、除雪車、救急車、自転車、一輪車
ホイール	ホイール、タイヤ、自転車ホイール
車椅子	車椅子
ベンチ	ベンチ
ビルボード	ビルボード、スコアボード
クリスマスツリー	クリスマスツリー
ドア	ドア
ドアハンドル	ドアハンドル
消火剤	消火剤
フラグ	フラグ
パーキングメーター	パーキングメーター
ポスター	ポスター、フォトフレーム
彫刻	彫刻、胸像、ブロンズ像
街路灯	街路灯
トラフィックライト	トラフィックライト
トラフィックサイン	交通標識
廃棄物コンテナ	waste_container、ゴミ箱、ゴミ箱
ウォーター・フィーチャー	水場、プール、ジャグジー、噴水
ウィンドウ	窓
バックパック	バックパック
衣類	ウェア、スポーツユニフォーム
コート	コート、ジャケット
ドレス	ドレス
フェドラ	フェドラ、サンハット、カウボーイハット
履物	靴、ローラースケート、ブーツ、ハイヒール、サンダル
グラス	メガネ、サングラス、ゴーグル
ハンドバッグ	ハンドバッグ、ブリーフケース、ピクニックバスケット、荷物、バッグ
ヘッドウェア	ヘッドウェア、ハット、カウボーイハット、フェドラ、ソンブレロ、サンハット、スイムキャップ、ヘルメット、自転車用ヘルメット、サッカー用ヘルメット
ローラースケート	ローラースケート
シャツ	シャツ
ショーツ	ショーツ
スカート	スカート、ミニスカート
靴下	靴下
スーツ	スーツ
スーツケース	スーツケース、ブリーフケース
ネクタイ	ネクタイ
ズボン	ズボン、ジーンズ
傘	傘
ベースボール・バット	ベースボール・バット
ベースボールグローブ	ベースボールグローブ
フットボール	たまけり
フリスビー	フリスビー、フライングディスク
凧	凧
パドル	パドル
ラグビー_ボール	ラグビー_ボール
スケートボード	スケートボード
スキー	スキー
スノーボード	スノーボード
スポーツ_ボール	スポーツ_ボール、ボール、サッカー、クリケットボール、バレーボール、テニスボール、ラグビーボール
サーフボード	サーフボード
テニスボール	テニスボール
テニスラケット	テニスラケット、卓球ラケット、ラケット
アコーディオン	アコーディオン
金管楽器	金管楽器、フレンチホルン、サクソフォン、トロンボーン、トランペット
ドラム	ドラム
フルート	フルート、ハーモニカ、オーボエ
ギター	ギター
楽器	musical_instrument、オルガン、バンジョー、チェロ、ドラム、フレンチホルン、ギター、ハープ、チェンバロ、ハーモニカ、オーボエ、
ピアノ	ピアノ、オルガン、チェンバロ、鍵盤楽器
string_instrument	string_instrument、ギター、バンジョー、チェロ、ハープ、バイオリン
ヴァイオリン	ヴァイオリン
アップル	アップル
バナナ	バナナ
ベリー	ベリー、ストロベリー、ラズベリー
ブロッコリー	ブロッコリー
キャロット	キャロット
シトラス	柑橘類、オレンジ、レモン、グレープフルーツ
ココナッツ	ココナッツ
卵	卵
食品	食べ物, ファーストフード, ホットドッグ, フライドポテト, ワッフル, パンケーキ, ブリトー, スナック, プレッツェル, ポップコーン, クッキー、
ぶどう	ぶどう
マッシュルーム	マッシュルーム
ペア	ペア
パンプキン	かぼちゃ、ズッキーニ
トマト	トマト
飲む	ドリンク, ビール, カクテル, コーヒー, ジュース, 紅茶, ワイン, ボトル
ホットドリンク	ホットドリンク、紅茶、コーヒー
ジュース	ジュース
パン	パン
ケーキ	ケーキ、タルト、マフィン
チーズ	チーズ
デザート	デザート, アイスクリーム, ケーキ, デザート, マフィン, ドーナツ, ベーグル, クッキー, ビスケット, ワッフル, パンケーキ、
ドーナツ	ドーナツ、ドーナツ、ベーグル、プレッツェル
ファーストフード	ファストフード、ホットドッグ、フライドポテト、ピザ、ブリトー、ハンバーガー、サンドイッチ
フライドポテト	フライドポテト
ハンバーガー	ハンバーガー
ホットドッグ	ホットドッグ
アイスクリーム	アイスクリーム
ピザ	ピザ
サンドイッチ	サンドイッチ、サブマリン・サンドイッチ、ブリトー
寿司	寿司
ベッド	ベッド、幼児用ベッド、犬用ベッド
椅子	椅子、スツール
ソファー	カウチソファ, ソファ, スタジオカウチソファ, ラブシート, ソファベッド
家具	家具、椅子、キャビネット、机、ワインラック、ソファ、ソファベッド、ラブソファ、ワードローブ、ナイトテーブル、
棚	棚, ワインラック, 本棚, スパイスラック
収納キャビネット	収納_キャビネット、ワードローブ、食器棚、クローゼット、キャビネット、ファイリングキャビネット、チェスト、バスルームキャビネット
テーブル	テーブル、ダイニングテーブル、デスク、テーブル、コーヒーテーブル、キッチンテーブル、ビリヤードテーブル、カウンタートップ、ナイトテーブル、
バスタブ	バスタブ
暖炉	暖炉、薪ストーブ
マイクロウェーブ	電子レンジ
オーブン	オーブン
冷蔵庫	冷蔵庫
スクリーン	スクリーン、テレビ、コンピューターモニター、タブレットコンピューター
シンク	シンク
タップ	蛇口、シャワー
トースター	トースター
トイレ	トイレ、ビデ
バルーン	バルーン
バレル	バレル
書籍	書籍
ボトル	ボトル
ボウル	ボウル、ミキシングボウル
ボックス	ボックス
カメラ	カメラ、双眼鏡
キャンドル	キャンドル
大砲	大砲
箸	箸
クロック	時計、壁掛け時計、目覚まし時計
コイン	コイン
コンピュータ・キーボード	コンピュータ_キーボード、キーボード
コンピュータマウス	コンピュータマウス
クッキング・パン	クッキングパン、フライパン、中華鍋、ワッフルアイロン、スロークッカー、圧力鍋
カップ	カップ、マグカップ、コーヒーカップ
カーテン	カーテン、ブラインド
ドール	ドール
植木鉢	植木鉢、花瓶
フォーク	フォーク
ヘアドライヤー	ヘアドライヤー
ヘッドフォン	ヘッドフォン
ジャグ	水差し、計量カップ、ティーポット、カクテルシェーカー、ピッチャー、ビーカー、やかん
ナイフ	ナイフ、キッチンナイフ、ピザカッター、ノミ、短剣、剣
ランプ	ランプ、ランタン、キャンドル、電球、懐中電灯、トーチ、シーリングファン
ラップトップ	ラップトップ
マイク	マイク
ペン	ペン、鉛筆
電話	電話、携帯電話、携帯電話、スマートフォン、コード付き電話、iPod
枕	枕
プレート	皿、ソーサー、大皿、ケーキスタンド
鉢植え	鉢植え, 観葉植物
リモート	リモート、リモコン
ハサミ	ハサミ
スノーマン	スノーマン
スプーン	スプーン、おたま、へら
ティーポット	ティーポット、ケトル
テディベア	テディベア
ブリキ缶	ブリキ缶、クッキングスプレー
歯ブラシ	歯ブラシ
おもちゃ	おもちゃ、人形、サイコロ、フライングディスク、テディベア
時計	時計
ワイングラス	ワイングラス
花	花
バラ	バラ
サンフラワー	サンフラワー
動物	動物、イカ、貝、カキ、ロブスター、エビ、カニ、鳥、カササギ、キツツキ、アオカケス、ダチョウ、
鳥	鳥、カササギ、キツツキ、アオカケス、ダチョウ、ペンギン、ワタリガラス、ニワトリ、ワシ、フクロウ、アヒル、カナリア、ガチョウ、
オウム	オウム
ウォーターバード	水鳥、アヒル、ガチョウ、白鳥
蝶	蝶、蛾、蝶
昆虫	昆虫、ダニ、ムカデ、等脚類、蜂、甲虫、てんとう虫、蟻、蛾と蝶、毛虫、蝶
ドルフィン	ドルフィン
魚	魚、金魚、サメ、「エイとスケート」、タツノオトシゴ、イカ
金魚	金魚
クラゲ	クラゲ
シール	アザラシ、アシカ、ゼニガタアザラシ、セイウチ
貝	貝、ロブスター、カキ、エビ、カニ、ヒトデ、カタツムリ
ホエール	ホエール
アルパカ	アルパカ
ベア	クマ、ヒグマ
ビッグキャット	ビッグキャット、オオヤマネコ、ジャガー、トラ、ライオン、ヒョウ、チーター
ラクダ	ラクダ
猫	猫
牛	cow, bull, cattle
クロコダイル	ワニ、アリゲーター
鹿	鹿、カモシカ
ドッグ	ドッグ
象	象
カエル	カエル
ジラフ	ジラフ
カバ	カバ
馬	馬、ロバ、ラバ
カンガルー	カンガルー
パンダ	パンダ
ブタ	ブタ
ポーラー・ベア	ポーラー・ベア
ウサギ	ウサギ
爬虫類	爬虫類、トカゲ、ヘビ、カメ、ウミガメ、ワニ、カエル
サイ	サイ
シープ	ひつじ、やぎ
リス	リス
亀	亀、亀、海亀
ゼブラ	ゼブラ

備考

例えば、"猫"、"犬"、その他いくつかのカテゴリーは "動物 "のカテゴリーに含まれる。 ニューラルネットワークは、206のカテゴリーごとに独立した予測を行う。 例えば、ニューラルネットワークは、猫のバウンディングボックスが「猫」と「動物」の両方であると、比較的高い信頼度で予測するが、おそらくは異なる。 したがって、アプリケーションが特定のタイプのオブジェクト（この場合、"cat "または "animal "のいずれか）を探している場合は、各バウンディング・ボックスについて、最も信頼度の高いカテゴライズだけをチェックするのではなく、最初のいくつかの最も信頼度の高いカテゴライズをチェックするようにしてください。

スーパーカテゴリー一覧

カテゴリー	カバー
車	車、タクシー
車両	車、自動車、電車、自転車、タクシー、オートバイ、バス、トラック
履物	靴類、ローラースケート
ヘッドウェア	帽子類、フェドラ帽
スポーツボール	スポーツボール、サッカーボール、ラグビーボール、テニスボール
楽器	金管楽器、弦楽器、ピアノ、アコーディオン、ドラム、フルート
弦楽器	弦楽器、ギター、バイオリン
食品	食べ物, リンゴ, バナナ, ベリー, ブロッコリー, ニンジン, 柑橘類, ココナッツ, 卵, ブドウ, 洋ナシ, カボチャ, トマト, パン, ケーキ, チーズ, デザート, ドーナツ, ファストフード, ハンバーガー, ホットドッグ, アイスクリーム, ピザ, サンドイッチ, 寿司
飲む	飲料（ドリンク）、温かい飲み物（ホットドリンク）、ジュース
デザート	デザート、ケーキ、アイスクリーム、ドーナツ
ファーストフード	ファストフード、フライドポテト、ホットドッグ、ピザ、ハンバーガー、サンドウィッチ
家具	家具、ベッド、椅子、ソファ、棚、収納棚、テーブル
ジャグ	水差し、ティーポット（急須）
ランプ	ランプ、ろうそく
おもちゃ	おもちゃ、人形、テディベア
花	花、バラ、ひまわり
動物	動物、鳥、オウム、水鳥、イルカ、魚、金魚、クラゲ、アザラシ、貝、クジラ、アルパカ、熊、大きな猫、ラクダ、猫、牛、ワニ、鹿、犬、象、カエル、キリン、カバ、馬、カンガルー、パンダ、豚、北極グマ、ウサギ、爬虫類、サイ、羊、リス、亀、シマウマ
鳥	鳥、オウム、水鳥
昆虫	昆虫、蝶
魚	魚、金魚
爬虫類	爬虫類、ワニ、カエル、カメ

Person Detection Model Card v0.4

モデルの詳細

• モデルの最終更新日: 2024年2月29日
• モデルバージョン: v0.4
• ライセンス: Lightshipの利用規約をご参照ください。

技術仕様

オブジェクト検出モデルは、一連のバウンディングボックスを返し、そのボックスが人物、人の手、または人の顔である確率を報告します。

使用目的

想定されるユースケース

• 画像内の人物（具体的には人の手や顔）を識別する。
• 画像内の人物、人の手、または人の顔の有無をクエリで確認する。

認定ユーザー

Niantic Lightshipを通じた拡張現実開発者。

対象外のユースケース

このモデルを使用して、次のことを行うことは できません。

• 個人を追跡する
• 個人を識別または認識する

要素

Lightship ARDKに含まれるすべてのオブジェクト検出（人物の検出を含む）に対して、以下の要素が適用されます。

• スケール: オブジェクトやクラスがカメラから非常に離れている場合、検出されないことがあります。
• 照明 : 極端な光条件下では、全体的な性能に影響を及ぼす可能性があります。
• ビューポイント : 学習時に捉えられていない極端なカメラビューは、誤検知やクラスの混同につながる恐れがあります。
• オクルージョン: 他のオブジェクトで覆われているオブジェクトは、検出されないことがあります。
• モーションブラー（被写体のぶれ） : 高速なカメラやオブジェクトの動きは、モデルのパフォーマンス低下につながる場合があります。
• ちらつき: 時間的に隣接するフレーム間の予測で「ジッタリング」効果が生じることがあります。

特に人物の検出に関しては、コンピュータービジョン技術における既知の問題に基づいて、次のサブグループに関する考えられる要因を特定します。

• 地理的地域
• 肌の色
• 性別
• 身体姿勢 : 身体姿勢によっては、トレーニングコーパスへの出現頻度が低く、予測が難しい場合があります。
• その他: 年齢、ファッションスタイル、アクセサリー、体の変化など。

公平性の評価

Niantic では、Lightshipのテクノロジーのインクルージョンと公平性を実現するために、モデルの構築や評価、展開において平等性と公平性の厳格な基準に従っています。私たちは、人物検出の公平性について、「識別されたさまざまなサブグループを描写した画像に対して均等に良好なパフォーマンスを発揮するモデルは、公平な予測を行っている」と定義しています。 評価結果では、最初の3つの主要なサブグループ（地理的地域、肌の色、性別）における人間のチャンネル（人物、人の手、人の顔）のパフォーマンスの測定を重視しています。

測定器とデータセットの詳細

私たちのベンチマークデータセットは、スマートフォンの背面カメラを使用して世界中で撮影された5,650枚の画像で構成されており、以下の仕様を備えています。

• 1枚の画像につき、1名の人物のみ描写されます。
• 環境は屋内外を問いません。
• 撮影デバイスに制限はありません。
• オクルージョンはありません。

画像には次の属性がラベル付けされています。

• 地理的地域 : 国連による世界地理区分に基づき、ヨーロッパの小地域とミクロネシア、ポリネシア、メラネシアは統合しています：
  • 北アフリカ
  • 東アフリカ
  • 中東アフリカ
  • 南部アフリカ
  • 西アフリカ
  • カリビアン
  • 中央アメリカ
  • 南アメリカ
  • 北アメリカ
  • 中央アジア
  • 東アジア
  • 東南アジア
  • 南アジア
  • 西アジア
  • ヨーロッパ
  • 豪州・ニュージーランド
  • メラネシア、ミクロネシア、ポリネシア
• 肌の色: : following the Fitzpatrick scaleに基づき、画像にはサブグループ1～6のアノテーション（注釈）が付けられています。 肌の色は、各画像に写っている人物が自己申告した値です。
• 性別 : 画像に付けられたアノテーション（注釈）は、自己申告された性別です。

指標

Niantic では、オブジェクト検出モデルを評価するための標準的な指標として、Intersection over Union (IoU)を使用しています。 この指標では、次のように計算されます。

IoU =（予測ボックスと実際のボックスの重なり）/（予測ボックスと実際のボックスの和）

報告されたIoUは、別途記載のない限り、参照するサブグループに属する画像の平均値（mean IoUまたはmIoU）です。

公平性の判断基準

特定のサブグループの性能（mIoU）が、全サブグループの平均から3標準偏差以上離れている場合、そのモデルの予測は公平性に欠けると見なされます。

結果

地理的評価

17の地域全体の平均性能は78.74%、標準偏差は1.22%で、 各地域の性能は[76.92%, 82.17%]の範囲に収まっています。 平均値と最も低い性能の地域との最大差は1.83%で、これはNiantic の公平性判断基準である3標準偏差（3 x 1.22% = 3.65%）の範囲内であることを示しています。

地域	mIoU	標準偏差	画像数
北アフリカ	78.26%	15.04%	301
東アフリカ	77.41%	17.11%	336
中東アフリカ	77.30%	15.72%	322
南部アフリカ	79.09%	14.93%	368
西アフリカ	79.04%	13.26%	364
カリビアン	79.01%	12.20%	412
中央アメリカ	79.44%	13.79%	415
南アメリカ	78.39%	14.21%	397
北アメリカ	79.09%	13.00%	335
中央アジア	79.52%	12.56%	229
東アジア	77.60%	15.37%	346
東南アジア	77.86%	14.86%	333
南アジア	79.34%	12.15%	353
西アジア	78.80%	14.91%	370
ヨーロッパ	79.40%	13.14%	320
豪州・ニュージーランド	76.92%	18.13%	374
メラネシア、ミクロネシア、ポリネシア	82.17%	11.08%	75
すべての画像の平均値	78.55%	14.55%	5650
すべての地域の平均値	78.74%	1.22%	-

肌の色に関する評価結果

6つの肌の色全体の平均性能は78.58%、標準偏差は0.24%で、 各サブグループの肌の色の性能は[78.23%, 78.97%]の範囲に収まっています。 平均値と最も低い性能の肌の色のサブグループとの最大差は0.34%で、これはNiantic の公平性判断基準である3標準偏差（3 x 0.24% = 0.71%）の範囲内であることを示しています。

肌の色（フィッツパトリック・スケール）	mIoU	標準偏差	画像数
1	78.59%	12.00%	247
2	78.49%	14.59%	1919
3	78.61%	14.39%	1463
4	78.23%	16.52%	457
5	78.97%	13.60%	706
6	78.56%	14.67%	858
すべての画像の平均値	78.55%	14.55%	5650
すべての肌の色の平均値	78.58%	0.24%	-

性別に関する評価結果

評価されたすべての性別サブグループの平均性能は78.53%で、[78.01%, 79.05%]の範囲に収まっています。 平均値と最も低い性能の性別のサブグループとの最大差は0.52%で、これはNiantic の公正性判断基準である3標準偏差（3 x 0.74% = 2.22%）の範囲内であることを示しています。

他者から見た性別	mIoU	標準偏差	画像数
女性	78.01%	15.08%	2585
男性	79.05%	13.96%	3065
すべての画像の平均値	78.55%	14.55%	5650
性別における平均値	78.53%	0.74%	-

倫理的配慮

• プライバシー: モデルがARDKで使用される際、推論はデバイス上でのみ実行され、画像がユーザーデバイスから転送されることはありません。
• 人命: このモデルは、拡張現実アプリケーション内でのエンターテインメントを目的として設計されており、 人命にかかわる重大な判断を行うためのものではありません。
• バイアス : 学習用データセットは、多様性についての監査が行われていないため、ベンチマークでは表面化しなかったバイアスが存在する可能性があります。

注意点と推奨事項

• Niantic のアノテーション（注釈付き）データセットには、男性/女性という二値データの性別のみが含まれています。 多様な性別で評価するには、さらなるデータが必要です。
• 理想的な肌色の評価データセットには、カメラの詳細情報に加え、照明や湿度などの環境要素も含めることが推奨されます。 また、フィッツパトリックスケールには、人間の肌の色を完全には表現できないという限界があります。
• このモデルカードは、Mitchell, Margaretらによる「Model cards for model reporting」に基づいており、 公平性、説明責任、および透明性に関する会議の議事録に含まれています。 2019. Link