セマンティック

セマンティック セグメンテーションとは、画像中の特定の領域にクラスラベルを付与する処理を指します。 環境をより豊かに理解することで、さまざまな創造的なAR機能が可能になる。 例えば、ARペットが地面を識別して走ったり、AR惑星が空を埋め尽くしたり、現実世界の地面がAR溶岩に変わったりすることができます！

ARDK 3は、新しいXRセマンティクス・サブシステムを実装する ARSemanticSegmentationManager を通じて、この機能を提供します。 ARSemanticSegmentationManager 深度マップの各ピクセルのための符号なし整数のバッファとして意味予測を提供します。 ピクセルの32ビットはそれぞれセマンティッククラスに対応し、そのクラスに属するオブジェクトの一部がそのピクセルに存在するかどうかによって、有効（値は1）または無効（値は0）になる。 ARDKはアプリケーションが個別に照会できるように、各カテゴリーの正規化された（0から1の間の値）信頼度マップを提供します。

備考

各ピクセルは複数のクラスラベルを持つことができる。例: ground と natural_ground。

利用可能なセマンティックチャンネル

現在利用可能なセマンティックチャンネルを以下のテーブルに示します。 ARDKの新しいバージョンでは、このリスト内のチャンネルの順序が変更される可能性があるため、アプリではインデックスではなく名前を使用することをお勧めします。 実行時に名前を確認するには、 LightshipSemanticsSubsystem.GetChannelNames を使用します。

クリックしてセマンティック・チャンネルの表を表示

インデックス	チャンネル名	説明
[0]	sky	雲を含みます。 霧は含まれません。
[1]	ground	natural_ground および artificial_groundのすべてを含む。 natural_ground(天然)かartificial_ground(人工)か曖昧な場合は、この2つの組み合わせよりもGround が適している場合があります。
[2]	natural_ground	土や草、砂、泥、その他の有機地面や自然地面を含みます。 草木が生い茂る地面では、 foliage として検出されることがあります。
[3]	artificial_ground	道路や歩道、トラック、カーペット、ラグ、フローリング、小道、砂利、一部の競技場などを含みます。
[4]	water	川、海、池、湖、プール、滝、一部の水たまりを含みます。 飲料水、コップ、ボウル、流し台、風呂の水は含まれません。 反射の強い水は、水としてではなく、反射の中にあるものとして検出されることがあります。
[5]	person	身体の部位や髪、着用している服などを含みます。 アクセサリーや携帯品は含まれません。 個人は特定されません。 マネキンや玩具、彫像、絵画など、人物を表現するその他の芸術作品は「人物」とはみなされませんが、検出されることがあります。 人物の写実的な画像が「人物」として検出される場合があります。 人物が画像に部分的に写っていたり、しゃがんだり腕を大きく広げたりするなど、通常とは異なる姿勢をとっていたりすると、モデルのパフォーマンスが低下することがあります。
[6]	building	近代的なものから伝統的なものまで、また住宅や商業施設を含みます。 壁と同義ではありません。
[7]	foliage	潅木、低木、木の葉の部分や幹、鉢植え、花を含みます。
[8]	grass	芝生などの草地。背の高い草などは対象外です。

実験的セマンティック・チャンネル

ライトシップは実験的なセマンティック・チャンネルも提供している。 これらのチャネルは実験的なものであるため、精度の改善が必要な場合があります。これらのチャネルに問題がある場合は、 Lightship Developer Communityにフィードバックをお寄せください。

注意

実験的な機能は、本番レベルのアプリケーションで使用することは推奨されません！

クリックして実験チャンネルを表示

インデックス	チャンネル名	説明
[9]	flower_experimental	鮮やかな色の花びらを持ち、花粉を供給する植物の部分。 緑の部分（茎、葉）は含まない。
[10]	tree_trunk_experimental	樹木の葉のある樹冠や枝と根をつなぐ部分。 葉、枝、花、加工・切断された木材（丸太）は含まれない。
[11]	pet_experimental	犬と猫のみ。 犬や猫のぬいぐるみ等には使用できない。
[12]	sand_experimental	細かく砕かれた岩石や鉱物の粒子。 砂にはさまざまな組成があるが、粒径が小さいことが特徴です。 床や地面にある砂や砂利の表面、濡れた砂、砂の城やサンドアートなど、あらゆる種類のものが含まれる。 土は含まれない。
[13]	tv_experimental	デジタル機器の画面部分。 スクリーンをオンにした場合とオフにした場合の両方を含む。 画面周りのフレーム（「ベゼル」）、スタンドを除く。
[14]	dirt_experimental	泥とほこりが地面を覆っている。 砂とかなり重なる可能性がある。 未舗装路を含む。
[15]	vehicle_experimental	自動車を構成するすべての部品を含む。 あらゆるタイプの車とトラックをカバー。 オートバイ、自転車、人力車、馬車、トゥクトゥク、電車／路面電車、ボート／船、飛行機／ヘリコプター／ホバークラフトでも使用可能。
[16]	food_experimental	人間が「飲み物」としてではなく「食べ物」として消費できるものが対象。塩・コショウ、食べ物や材料を含む可能性がある箱や包装も含む。 生きた動物、ペットフード、料理が盛られた皿や食器は含まれない。
[17]	loungeable_experimental	座ることを目的としたすべての物。 ベッド（脚とベースを含む）、椅子やソファの脚とベースを含む。 ベッド（脚とベースを含む）、椅子やソファの脚とベースを含みます。
[18]	snow_experimental	大気中の水蒸気が凍結して氷の結晶となり、軽く白い薄片となって降り注ぐか、白い層となった地表。 きれいな雪と汚れた雪を含む。 氷山やつらら、氷や雪の彫刻、イグルーや雪の家。 飲み物の氷、空の雪は含まれない。

使用例

この例では、セマンティック・セグメンテーション・システムは、配列図に示すように、空を 空 として検出し、 index[0] を 1 に設定する。次に、地上を 地上 として検出し、 index[1] を 1 に設定する。