セマンティック

セマンティック セグメンテーションとは、画像中の特定の領域にクラスラベルを付与する処理を指します。 環境をより豊かに理解することで、さまざまな創造的なAR機能が可能になる。 例えば、ARペットが地面を識別して走ったり、AR惑星が空を埋め尽くしたり、現実世界の地面がAR溶岩に変わったりすることができます！

ARDK 3は、新しいXRセマンティクス・サブシステムを実装する ARSemanticSegmentationManager を通じて、この機能を提供します。 ARSemanticSegmentationManager 深度マップの各ピクセルのための符号なし整数のバッファとして意味予測を提供します。 ピクセルの32ビットはそれぞれセマンティッククラスに対応し、そのクラスに属するオブジェクトの一部がそのピクセルに存在するかどうかによって、有効（値は1）または無効（値は0）になる。 ARDKはアプリケーションが個別に照会できるように、各カテゴリーの正規化された（0から1の間の値）信頼度マップを提供します。

備考

各ピクセルは複数のクラスラベルを持つことができる。例: ground と natural_ground。

利用可能なセマンティックチャンネル

現在利用可能なセマンティックチャンネルを以下のテーブルに示します。 ARDKの新しいバージョンでは、このリスト内のチャンネルの順序が変更される可能性があるため、アプリではインデックスではなく名前を使用することをお勧めします。 実行時に名前を確認するには、 LightshipSemanticsSubsystem.GetChannelNames を使用します。

インデックス	チャンネル名	説明
[0]	sky	雲を含みます。 霧は含まれません。
[1]	ground	natural_ground および artificial_groundのすべてを含む。 natural_ground(天然)かartificial_ground(人工)か曖昧な場合は、この2つの組み合わせよりもGround が適している場合があります。
[2]	natural_ground	土や草、砂、泥、その他の有機地面や自然地面を含みます。 草木が生い茂る地面では、 foliage として検出されることがあります。
[3]	artificial_ground	道路や歩道、トラック、カーペット、ラグ、フローリング、小道、砂利、一部の競技場などを含みます。
[4]	water	川、海、池、湖、プール、滝、一部の水たまりを含みます。 飲料水、コップ、ボウル、流し台、風呂の水は含まれません。 反射の強い水は、水としてではなく、反射の中にあるものとして検出されることがあります。
[5]	person	身体の部位や髪、着用している服などを含みます。 アクセサリーや携帯品は含まれません。 個人は特定されません。 マネキンや玩具、彫像、絵画など、人物を表現するその他の芸術作品は「人物」とはみなされませんが、検出されることがあります。 人物の写実的な画像が「人物」として検出される場合があります。 人物が画像に部分的に写っていたり、しゃがんだり腕を大きく広げたりするなど、通常とは異なる姿勢をとっていたりすると、モデルのパフォーマンスが低下することがあります。
[6]	building	近代的なものから伝統的なものまで、また住宅や商業施設を含みます。 壁と同義ではありません。
[7]	foliage	潅木、低木、木の葉の部分や幹、鉢植え、花を含みます。
[8]	grass	芝生などの草地。背の高い草などは対象外です。

実験的セマンティック・チャンネル

これらの標準的なチャンネルに加え、Lightshipは実験的なセマンティック・チャンネルも提供しています。 詳細は Experimental Semantic Channelsを参照。

使用例

この例では、セマンティック・セグメンテーション・システムは、配列図に示すように、空を 空 として検出し、 index[0] を 1 に設定する。次に、地上を 地上 として検出し、 index[1] を 1 に設定する。