Scene ビューのマーカー・ピン・スケッチ

エージェントに「ここ」を伝える道具が 3 つあります。エージェント側が置くマーカーと、あなたが置くピン、あなたが描く**スケッチ(線)**です。ピンとスケッチは Scene ビューの Agent Tools ツールバーかコンテキストバーから使います。

エージェントからのマーカー

位置を示したいとき、エージェントは Scene ビューに球・矢印・ワイヤ箱・折れ線・ラベルなどの番号付きマーカーを置きます(uap_marker_add / uap_marker_list / uap_marker_clear)。マーカーは表示だけでシーンには保存されません。コンテキストバーの「マーカー N 個」チップの × でまとめて消せます。

Agent Tools ツールバー

Scene ビューの右下に「Agent Tools」というツールバーが出ます。左からピン / 平面に描く / 表面に描くの 3 つのトグルで、点灯するのは常に 1 つだけです(片方を選ぶともう片方は解除されます。同じ左クリックを取り合うためです)。コンテキストバーの「ピン」ボタンと「スケッチ」メニューも同じ状態を動かすので、どちらから入っても同じです。

Scene ビュー右下の Agent Tools ツールバー。ピン / 平面に描く / 表面に描くの 3 トグル

ほかのオーバーレイと同じく、ヘッダーをドラッグして好きな場所に移せます。Scene ビュー右上の ⋮ > Overlays(または ` キー)のオーバーレイメニューで非表示にもできます。非表示にしてもパネル側のボタンは使えます。
Esc でどのモードも抜けます。

ピン

ツールバーのピントグル(またはコンテキストバーの「ピン」)を押します。カーソルの下に、置かれる位置のプレビュー(球と足元の円)が出ます。
Scene ビューを左クリックすると、その位置にピン(P1, P2, …)が置かれ、コンテキストバーに「ピン P1」チップが出ます。チップは次の送信でエージェントに渡り、ワールド座標・クリックしたオブジェクト・近くのオブジェクト・Scene カメラの位置が伝わります。
1 本置くとモードは自動で終わります。Shift を押しながらクリックすると連続で置けます。

ピンをアームした状態。カーソル下にプレビューが出ている

クリック後。P1 ピンが置かれ、ツールバーのトグルは戻る

スケッチ(線)

平面か表面のトグル(またはコンテキストバーの「スケッチ」メニュー)で描画モードに入り、Scene ビューを左ドラッグすると線(S1, S2, …)が描けます。線はコンテキストバーに「スケッチ S1」チップとして出て、点列としてエージェントに渡ります(エージェントは uap_stroke_list で全点・法線・描いたオブジェクト・長さ・閉じているか・スケッチ平面を JSON で読めます)。描いた線は保存前に間引かれます(長さの 0.5% 未満の凹凸は落ちます)。

平面に描くは、先に深度を決めた平面に描きます。上に平面の深度・軸と、カーソル下の面が平面の何 m 前 / 後ろかの読み出しが出ます。平面が周囲のオブジェクトを切る位置に水色の輪郭線、カーソルの周りに深度テスト付きの格子が出るので、どの奥行きに平面があるかが分かります。

キー	働き
ホイール / `[` `]`	深度を前後に
F	カーソル下の面の深度に合わせる
X / Y / Z	ワールド軸に固定した平面にする
C	カメラ正対の平面に戻す
Shift + ドラッグ	直線

平面モード。上に深度の読み出し、平面が床と壁を切る水色の輪郭線、カーソル周りの格子

平面に描いた S1。木箱の上に閉じた線

表面に描くは、カーソル下のメッシュ表面に沿って描きます。描いたオブジェクトと各点の法線も一緒に伝わるので、「この面のここ」を渡すのに向きます。

表面モードで床に描いた S2。ツールバーは表面のトグルだけ点灯

Pro のメッシュツールはこの線をそのまま使えます: 線に沿って溝を掘る / 盛り上げる(uap_mesh_edit)、線に沿ったチューブや、閉じた線の外形で穴をあける・板を貼る(uap_mesh_create の sdf / extrude)。

チップと片づけ

置いたピンと描いた線は、コンテキストバーの「ピン P1」「スケッチ S1」チップになり、× で個別に消せます。「マーカー N 個」の数と「Scene ビューのマーカーとピンをすべて消す」はピンとスケッチも含みます。ピンとスケッチはドメインリロードを越えて残り、シーンの切替や Play で消えます。

コンテキストバー。ピン P1、スケッチ S1 / S2、マーカー 3 個のチップ

使用例: ピンとスケッチで「ここ」を伝える

上の図の状態(ピン P1、平面スケッチ S1、表面スケッチ S2)で、こう頼みます。番号はチップのものをそのまま書けば通じます。

ピン P1 の位置に暖色の PointLight を置いて。スケッチ S1 の線に沿って小さな Sphere を 4 個等間隔に並べて、S2 の閉じた線の内側の中心にラベル「ここ」のマーカーを置いて。最後に置いたものを表にまとめて。

入力欄に依頼文を打った状態。上にピン P1・スケッチ S1・S2・マーカー 3 個のチップ

送信すると、依頼文の後ろにチップの中身が付いてエージェントに届きます。たとえばピン P1 はこう伝わります。

[1] Scene marker P1 (user-placed pin in the Scene view)
  world position: (2.20, -0.50, 0.61)
  hit object: Ground
  nearest objects: Ground (1.3m), Barrel (1.9m), Crate (2.3m)
  scene view camera: position (8.76, 6.40, -10.12), pivot (1.50, 0.30, 1.50)

スケッチは点列・長さ・閉じているか・平面(平面モード)/ 描いたオブジェクト(表面モード)が付き、点が多いときは uap_stroke_list で法線付きの全点を読めます。この例でエージェントが受け取る全文と、uap_marker_list / uap_stroke_list の出力は docs/examples/agent-tools-request.md にそのまま載せています。

実際に送った結果(Claude Sonnet、自動承認レベル「Unity 操作をすべて」)。エージェントは P1 の座標に WarmPointLight を作って Light を付け、S1 の点列を弧長で 3 等分した 4 点に小さな Sphere を置き、S2 の 13 頂点の平均にラベル「ここ」のマーカーを置いてから、Scene ビューを撮って確認し、表にまとめました。

Scene ビュー。P1 の足元に PointLight、S1 の線上に白い小球、S2 の内側に黄色のマーカー「2 ここ」

返答の末尾。Scene ビューの撮影で確認したあと、未保存シーンの保存を AskUserQuestion で尋ね、結果の表を返す

エージェントが返した表はこうです(返答の全文は同じ例のページに載せています)。

#	種類	名前	ワールド座標	備考
1	Point Light	WarmPointLight	(2.20, -0.50, 0.60)	ピンP1の位置。色温度2700K(暖色)、Intensity 1.5、Range 8
2	Sphere	Sphere_S1_1	(-0.64, 1.05, -0.27)	S1線上、始点(1/4)
3	Sphere	Sphere_S1_2	(0.24, 1.26, 0.38)	S1線上、弧長1/3地点
4	Sphere	Sphere_S1_3	(0.41, 0.45, 0.06)	S1線上、弧長2/3地点
5	Sphere	Sphere_S1_4	(-0.61, 0.97, -0.30)	S1線上、終点(4/4)
6	Sceneマーカー	ラベル「ここ」	(3.03, -0.32, 1.84)	S2閉曲線内側の重心(頂点平均)

途中、シーンが未保存(Untitled)だったため uap_scene_save が保存先を求め、エージェントは保存するかを AskUserQuestion で尋ねています。自動承認レベルにかかわらず、この質問だけは必ずカードになります(自動承認レベル)。