此节点将自动跟踪并解算多个移动摄像机到一个场景中,场景已经使用 Photo Survey 节点摄影测量过,避免了需要手动缩放和定位每个摄像机路径,使其与场景点云对齐。如果摄像机是分开跟踪和解算的,则要使用到此节点。
结果将把包含对齐的图片相机(来自 Photo Survey 节点)和解算并对齐的视频摄像机显示在一个点云场景中。特征点跟踪和摄像机解算将在同一个节点中发生,而且不需要任何用户干预或手动特征点跟踪,虽然可以在上游跟踪特征点以协助视频摄像机解算,如果需要的话。
使用 Photo Survey 节点测量场景时,应拍摄尽覆盖尽可能多的场景的图片。同时用于定位视频摄像机的 camera solver 可以限制数据量;确保 Photo Survey 点云包含许多每个视频摄像机可见的点,以产生最好的结果。
注意,由2015.05.15以前的PFTrack-PLE版本生成的Photo Survey节点中的点云,可能不能被重解算以提供正确的数据,去启用Scene Solver节点的功能。
下面截图显示了使用 Photo Survey 节点测量的场景,以及三个被自动跟踪和解算到同一场景空间的三个电影片段:
用法
使用 Scene Solver 节点之前,应该先用数字摄影图片测量场景,然后使用 Photo Survey 节点估算每个图像的位置,生成一个密集点云,表示场景细节(更多细节请查看 Photo Survey 节点文档)。
如果 Photo Survey 可用,使用 Orient Scene 节点连到 Photo Survey 节点下面,可以设置一次整体场景缩放,如果需要的话。如上面截图所示。注意,这不是一个必须的步骤,但是可以帮助确保场景地平面定位和缩放适当。
创建 Scene Solver 节点后,测量图片和点云应该连在节点的第一个输入端,如下图所示。然后可以将每个电影剪辑连到其他的输入上。注意,连接到 Scene Solver 节点上的电影剪辑没有数量限制。多个 Scene Solver 节点也可以被用于单个场景,只要它们都被连接到相同的Photo Survey节点,以确保每个场景的大小和方向保持不变。
Initializing the Photo Database
在一个电影摄影机可以被跟踪到场景之前,照片收集数据库必须通过选择第一个节点输入(即 Photo Survey 数据)和点击 Initialize 按钮,来初始化。这将生成的数据,用于将电影摄影机自动定位到场景空间,可能需要几秒钟或几分钟完成(取决于用于测量场景的图像数量)。如果需要的话,可以按住Shift键,同时单击此按钮,在后台运行此操作。
注意,每个 Scene Solver 节点的数据库只需要初始化一次,但是如果来自上游的点云或摄像机数据发生变化,数据库必须先重新初始化,以确保电影摄影机正确匹配到场景中。
Tracking and solving movie cameras
每个电影剪辑的摄像机和镜头参数可以在 Camera 和 Lens Distorton 选项卡中查看。摄像机焦距可以设置为已知值,如果可用;或者设置为初始化范围,帮助解算器,如果不确切知道焦距。如果摄像机焦距在拍摄期间发生变化,可以启用 Variable Focal 选项,允许解算过程中焦距发生变化。
Start Frame 和 End Frame 编辑框可用来指定每个摄像机被跟踪的范围。留空这些框,将在剪辑的第一帧到最后一帧之间跟踪每个摄像机。
跟踪时分段执行的,第一个阶段时自动跟踪特征点,识别电影剪辑中可以从帧到帧跟踪的点。Tracker Count编辑框控制选择这些点的数量。减少这个值可能会加快处理速度,但也可能降低精度。Preview(P)按钮可以用来显示哪些特征点被选中,哪些从当前帧跟踪到下一帧。当启用 Track in both directions 选项时,特征点将从前往后跟踪,然后反向跟踪一遍,确保跟踪点存在于尽可能多的画面帧中,以帮助提高摄像机解算的精度。
特征点也将从电影剪辑中被选中,然后将摄像机位置定位到由 Photo Survey 节点生成的场景中。
Feature Threshold 编辑框控制哪些阈值上的特征点被选中,点击 Preview(P)按钮将试图定位当前电影帧的特征点到场景中。匹配的特征点将显示在 Cinema 窗口中,对应的场景点在透视/正交视窗中高亮显示。
手动跟踪的上游放置在 Scene Solver 节点和电影剪辑节点之间的特征点,将用于跟踪过程以提高解算。注意,没有必要跟踪任何特征点,除非需要;但是针对某些类型的场景,防止一个或两个用户跟踪的特征点在指定位置,可以用来减少解算中的抖动,特别是电影摄像机观看的场景部分没有很好的被 Photo Survey 节点覆盖。
点击 Auto Match 按钮,将开始当前电影剪辑的特征点跟踪和匹配处理。电影剪辑匹配到场景中后,可以调节 near 和 far 剪辑平面来限制点云显示在 Cinema 窗口的点的数量,使跟踪精度可视化变得更简单。注意:这些剪辑平面只用于显示,不影响特征点的跟踪或摄像机解算。
Accounting for lens distortion
为了得到最准确的摄像机运动估计,考虑镜头中存在的镜头畸变是很重要的。这可以使用以下几种方法:
使用 Undistort 节点预校正影片剪辑;
拍摄标准网格,使用 Build Lens 节点构建镜头畸变预设;
在畸变系数上指定近似边界框,并在解算摄像机的同时自动估算镜头畸变;
提供素材中存在的镜头畸变不是很好,第三个选项通常可以提供很准确的结果,可以开启 Lens Distortion 控制中的 Estimate 按钮来启用它。
畸变系数将会为每个焦距分别估算。通过调节最小和最大允许值来自动估算畸变系数时,提供近似边界值是很重要的。通常,大多数摄像机镜头表现为桶形畸变,对应正的低阶畸变系数,范围在0.0(无畸变)到0.3(相当高的畸变),多数值在0.05到0.15之间。
为了获得更好的精度,通过开启每个参数设置右侧的 Estimate 选项,可以估算高阶系数和畸变中心。同样,高阶系数也可以设置最小值和最大值(默认范围时-0.3到+0.3)。对于镜头畸变中心,默认值是(0.5,0.5),对应图像的中心。
注意,看起自动镜头畸变校正会减慢摄像机解算,尤其是摄像机使用了许多不同的焦距,而且三个值都在被估算时。
移除镜头畸变后,摄像机的底片尺寸将被调节以适应新的图像分辨率。
控制
Current Clip:此菜单可用于选择当前剪辑。第一个剪辑应该是由 Photo Survey 节点提供的照片集和点云。附加剪辑是要解算到场景中的电影剪辑(可以使用 C 键更改剪辑)。
Initialize:点击此按钮将初始化照片集和点云数据库。按住 Shift 同时点击此按钮,初始化过程将在后台执行。
Camera
摄像机控制包括与当前剪辑的摄像机信息。
Focal length:显示在当前摄像机的焦距。焦距可以设置为Known, Unknown 或 Initialised。如果摄像机的焦距事先知道,在此输入该值通常可以提高解算的速度和精度。设置焦距为 Initialised 将允许在焦距范围编辑框中指定最大值和最小值,在焦距编辑框中可以输入一个初始值。注意,输入焦距值(除像素以外的任何单位)要求摄像机底片的宽度和高度被正确设置。
Focal range:当焦距设置为 Initialised,这些编辑框定义焦距允许的最大值和最小值。
Variable focal:启用时,允许摄像机焦距在每一帧上变化。
Field of view:这下编辑框显示当前帧的水平和垂直视角(以°为单位)。
Film back:这些编辑框显示底片的水平和垂直尺寸。要改变底片大小,请在 Clip Input 几点中编辑摄像机预设值。
Pixel aspect:此框显示当前像素宽高比。要改变像素宽高比,请在 Clip Input 几点中编辑摄像机预设值。
Near/Far clip planes:这些编辑框可以用来调节当前摄像机的 near 和 far 切面,以在解算摄像机时减少显示在 Cinema 窗口中点云的点数。注意,这些值不影响特征点跟踪或摄像机解算,只用于显示。
Lens Distortion
Preset name:点击 Browse 按钮将允许加载镜头畸变预设,并用于解算过程中校正镜头畸变。镜头畸变预设可以使用 Build Lens 节点从多个网格镜头中生成。点击 R 按钮将从节点中移除镜头预设。
Low order:这些框显示当前低阶畸变系数,以及最小和最大允许值(默认是-0.3和+0.3)。最小值和最大值应该在摄像机位置解算前被指定。启用 Estimate 选项将允许在解算期间自动估算低阶系数。
High order:这些框显示当前高阶畸变系数,以及最小和最大允许值(默认是-0.3和+0.3)。最小值和最大值应该在摄像机位置解算前被指定。启用 Estimate 选项将允许在解算期间自动估算高阶系数。
Centre:这些框显示当前镜头畸变中心,默认值是(0.5,0.5),对应图像的中心。启用 Estimate 选项将允许在解算期间自动估算镜头畸变中心。
Save Preset:点击此按钮将显示一个文件浏览器,允许当前镜头畸变模型被存储为一个预设,用于其他镜头上。
Movie Matching
Start frame:此编辑框包含将被跟踪的电影剪辑的第一帧。如果此编辑框留空,则使用剪辑的第一帧。
End frame:此编辑框包含将被跟踪的电影剪辑的最后一帧。如果此编辑框留空,则使用剪辑的最后一帧。
Tracker count:此参数控制电影剪辑中从帧到帧自动跟踪的特征点的数量。Preview 按钮将显示当前帧特征点位置及其跟踪位置的预览。
Feature threshold %:阈值控制特征点的选择,特征点是从一个电影帧中选出的,并匹配到点云以定位场景中的摄像机。预览点会显示在 Cinema 窗口,对应的点云会在透视/正交视窗中高亮显示。
Motion smoothing:此参数控制解算时应用在摄像机路径上的平滑量。如果电影摄像机离 Photo Survey 节点测量出来的场景很远,此选项有助于改善结果。
Track on both directions:启用时,特征点将在剪辑的起始帧和结束帧之间一帧一帧地跟踪,然后在反向跟踪。这将增加处理时间,但是会增加特征点跟踪的长度,并提高整体精度。
Edit ROI 按钮可以用来在 Cinema 窗口启用兴趣范围(ROI,即 region of interes)编辑。ROI 指点的检测区域。启用时,ROI 可以通过在 Cinema 窗口点击并拖拽来调节。
Reset 按钮可以用来重置匹配参数为默认状态。
Auto Match 按钮将启动当前电影剪辑的特征点跟踪和摄像机解算处理。Cinema 窗口将更新以显示每个图像中探测和匹配点的实时结果。按住 Shift 键同时点击此按钮,可以在后台执行匹配处理。
Display
Show ground:启用此选项时,地面会显示在 Cinema 和透视/正交视窗中。
Show Point Cloud:启用此选项时,由 Photo Survey 节点提供的点云会显示在 Cinema 和透视/正交视窗中。
Show Photo Cameras:启用此选项时,由 Photo Survey 节点提供的摄像机位置会显示在 Cinema 和透视/正交视窗中。
Show Movie Cameras:启用此选项时,当前电影摄像机的摄像机路径和摄像机图标会显示在 Cinema 和透视/正交视窗中。
Show Frustum:启用此选项时,当前电影摄像机的 near/far 剪辑平面会显示在 Cinema 和透视/正交视窗中。
Show Distortion Grid:启用此选项时,镜头畸变网格将叠加显示在 Cinema 窗口。
默认键盘快捷键
Show Ground:Command+G
Show Point Cloud:Command+I
Show Photo Cameras:Command+P
Show Movie Cameras:Command+M
Show Frustum:Command+F
Show Distortion Grid:Command+D