Auto Track 节点可用于自动生成用于摄像机或物体解算的跟踪点,有一个输入和一个输出。
用法
Auto Track 节点的工作原理是:在每一帧生成一些候选的跟踪点,在整个剪辑中跟踪他们,然后选择其中最好的向下传递。每帧的候选点由 Candidate Number 参数自定,这些点会在剪辑中向前和向后跟踪。Target Number 参数控制这些候选跟踪点将保留多少。每个候选跟踪点的寿命和空间分布决定保留哪些、删除哪些。
候选跟踪点将在整个剪辑中向前和向后跟踪。向后跟踪通道用来扩展每个跟踪点的寿命
Candidate trackers can be tracked forwards and backwards through the clip. The backwards tracking pass is used to extend the life-time of each tracker by tracking backwards from the frame in which it was first introduced during the forward pass.
可以在图像的特定部分生成 Mask 来约束自动特征点跟踪。要在 Auto Track 节点中生成新的 mask,或停用已有的 mask,点击 Mask 按钮以显示 mask 编辑器。
Consistency 参数指定跟踪点的运动类型。当通过一个自由运动的摄像机观看静止场景时,此选项可以设置为 Free Camera,Free Camera 使用了 pin-hole 摄像机模型,以拒绝运动不正确的跟踪点。对于只有旋转的摄像机(或相对于摄像机和跟踪点的距离,旋转量非常小的摄像机,或观看平面场景的摄像机),请选择 Rotation/Planar。
注意,在镜头明显畸变的情况下,Free Camera 和 Rotation/Planar 可能不能很好地模拟跟踪点运动。当 Free Camera 模型用于包含明显平行于运动方向的线的场景(如通过水平移动的摄像机观看到的水平线)时,可能会出现其他问题。在这些情况下,应该使用 Local Motion 模式(默认选项),拒绝与特征点周围场景整体运动不一致的特征跟踪。
勾选 consistency 帮助拒绝坏的跟踪点时,由先前 User Track 节点生成并传入 Auto Track 的跟踪点可以用作指导,以帮助确定正确的运动。这些跟踪点在 Cinema 窗口显示为紫色,可以帮助 consistency 检测识别场景或物体所需要的运动。您可以使用任意数量的指导跟踪点,但两个或以上将比单个指导跟踪点产生更好的结果。
点击 Enhance 按钮,可以增强剪辑为跟踪提供一个更好的图像数据源。启用 Preview 选项,可以生成一个当前跟踪位置和运动的预览。也可以按住 Shift 键点击 Auto-Track 按钮,在后台运行特征点跟踪。
跟踪点列表显示此节点生成的所有跟踪点。点击列表或主图像窗口,可以选择跟踪点,按住 Shift 或 Command 键可以多选。上下光标键也可以用来改变选中的跟踪点。在主图像窗口或跟踪窗口框中,点击并拖拽选中的跟踪点可以调节跟踪点的位置。
点击跟踪列表,或在主图像窗口悬停鼠标在跟踪点上,也可以选择跟踪点。通过点击 Fetch 按钮,并从列表中选择一个或更多跟踪点,传入 Auto Track 的跟踪点也可以被抓取,在此节点中进一步编辑。
跟踪路径显示在曲线编辑器中。
注意,在同一时间有多个视窗可见的情况下,跟踪速度可能减慢。在某些平台上,显卡可以配置为同步显示显示器刷新率,如果是这样的话,跟踪速度会因为每帧的显示受到不利影响。在这些情况下,通过只观看 Cinema 窗口,或关闭 Update 选项以防止跟踪时显示每帧,可以加快跟踪速度。
控制
Current group:指定把新跟踪点连接在一起的组。要为 camera solver 生成跟踪点,请将此菜单设置为 Camera。+/- 按钮可以用来创建或移除添加的物体解算组。在菜单框中输入可以重命名添加的组。
Current preset:为跟踪参数选择一个预设。+ 按钮可以将当前跟踪参数存储为新预设,- 按钮可以从磁盘上移除当前预设。在菜单框中输入可以重命名当前预设。预设文件以 XML 数据形式存储在用户的 $HOME/.pftrack/autotrack_presets 路径下。如果预设适用于所有用户,哪么可以将 XML 文件从用户路径移动到安装应用的 “autotrack_presets” 路径下。
Tracking Window:此窗口显示第一个选中的跟踪点的图案,以及当前的 X 和 Y 位置,还有匹配程度。匹配程度为 1.0 表示跟踪点参考图案和当前帧图案完美匹配。用左键点击并拖拽,可以在此窗口交互调节跟踪点位置。按住 Command 键将在跟踪点位置提供更精细的控制。此外,按住 Option 键同时按下光标键可以重新定位跟踪点。每按一次光标键,跟踪点移动跟踪窗口大小的 1/40,不过你可以按住光标键,以使移动速度更快。同时按下多个光标键可以呈对角线移动。
(这里的光标键应该指上下左右键)
Auto-Track:此按钮将启动自动跟踪处理,在 From 帧挑选新的跟踪点,向 To 帧跟踪他们。如果跟踪点已经存在,将会弹出一个窗口寻味是先移除当前跟踪点,还是扩展他们没有跟踪的帧。跟踪处理时,移出边界框或不能精确匹配的跟踪点将被新的跟踪点取代,保持每帧的候选跟踪点相同。按住 Shift 键同时点击此按钮将在后台运行跟踪处理。
Fetch:点击此按钮讲显示所有正在进入此节点的跟踪点列表,允许从上游采用跟踪点进一步跟踪。在素材被替换切跟踪点需要在新的帧中被扩展时,这很有用。
Import:点击此按钮将显示一个文件浏览器,允许包含跟踪位置的 ASCII 文本文件被导入。本文底部有一个 ASCII 文本文件示例。
Export:点击此按钮将显示一个文件浏览器,允许包含跟踪位置的 ASCII 文本文件被导出。本文底部有一个 ASCII 文本文件示例。
Split:单击此按钮将当前帧选中的跟踪点分为两组。选中的跟踪点将在前一帧终止,并生成一个新的跟踪点,覆盖从当前帧到 out 帧的所有帧。这可以用于一个关键帧在两个无效的特征点之间跳转,创建两个分别的跟踪点,每个跟踪点在跳前和跳后分别覆盖一个特征点的情况。
Merge:点击此按钮将合并所有选定的跟踪点到一个单一的跟踪点中。覆盖特征点的跟踪点被终止了,另一个新的跟踪点在同一个特征点上被引入,这是很有用的。通过将这些跟踪点合并在一起,新创建的跟踪点将覆盖一个广泛的帧。存在于同一帧的跟踪点,他们的位置将在合并处理中去平均值。
Marquee:框选。启用时,左键点击并拖拽可以在主图像窗口画一个选择框以选择跟踪点。按住 Command 键同时绘制可以增加选择。按住 Shift 键可以使用套索选区,而不是矩形。
All/None:点击此按钮将全选或全不选跟踪点,取决于当前选中了多少跟踪点。
Delete:点击此按钮将删除所有选定的跟踪器。
Rename:点击此按钮将弹出一个窗口,允许同时重命名所有选中的跟踪点。跟踪点使用输入的新名字从1开始连续编号。
Show Selected:启用时,只有选中的追踪器将在主图像窗口显示。
Show Paths:当启用时,所有跟踪路径将显示在主窗口中。否则,只会显示选中的跟踪点的路径。
Show Names:启用时,选中的跟踪点的名字将在主窗口显示。
Show Windows:当启用时,当前跟踪窗口和搜索范围将显示在鼠标位置周围。这可以用于设置窗口大小和搜索范围参数,以确保它们适合于图像中的特征点类型,以及图像帧之间的位移量。
Centre View:启用时,显示在主图像窗口的图像将被平移,使第一个选中的跟踪定位在在窗口的中心。当检查一个特定跟踪点的运动,以查看它在多个帧上跟踪图像特征点跟踪得有多好时,这很有用。
Skip Frame:点击此按钮将在自动跟踪时跳过当前帧。一旦跳过,此按钮标签将会变为 Un-Skip Frame,再次点击此按钮则意味着在跟踪时包含此帧。跳过1帧时,跟踪路径不会更新,而是会被附近的帧的插值所取代。当某一帧丢失或损坏时,跳过帧是很有用的。
Edit ROI:切换此按钮将允许在主图像窗口调节跟踪兴趣区(ROI,即 region of interest)。点击并拖拽左键可以调节 ROI 的边缘。ROI 以外的跟踪点将在跟踪时被拒绝。
Parameters
Channels:指定红、绿、蓝通道的哪一个用于匹配参考图案。如果一个或多个信道包含显着的噪声,或不包含任何有用的像素信息,禁用这些通道可以经常提高跟踪的准确性。
Candidate number:指定每一帧产生的候选跟踪点数。
Target number:指定从候选集中删除短暂的跟踪点后,要保留的实际跟踪点数量。
Window size:跟踪窗口的像素大小。较大的窗口往往可以更容易地跟踪,但需要更长的时间来处理;而且如果窗口的内容从帧到帧之间有明显变化,可能导致漂移。
Search range:用于初始化图案搜索的像素搜索范围的宽度和高度。此选项仅在搜索模式设置为better speed 或 better accuracy 时才可用。注意搜索区域定义的是跟踪器中心点的可能位置,而不是整个跟踪窗口本身。
Pick threshold:阈值用于识别新的跟踪器位置在0到1之间。新的跟踪定位在角和明显的图像渐变。阈值越高,创建跟踪器之间,需要更明显的角或图像渐变。该值设置得太小时,跟踪器将定位到很弱的角上,使他们无法很好地跟踪。
Min length:在添加到跟踪列表前,跟踪器必须存在的最小帧长度。增加此值则会使新的跟踪器被拒绝,如果他们不能覆盖指定的帧数。
Failure threshold:新跟踪器被允许的最小匹配度。跟踪过程中,如果匹配度低于该值,跟踪器将会被拒绝。跟踪器的匹配度显示在跟踪窗口。
From:用于自动跟踪的第一帧。单击 From 按钮将设置为当前帧号。单击R按钮将重置此值到剪辑的第一帧。
To:用于自动跟踪的最后一帧。单击 From 按钮将设置为当前帧号。单击R按钮将重置此值到剪辑的最后一帧。
Feature scale:指定特征点大小。设置为 Large 时,只有分布在大的区域的角和图像渐变被检查以查看是否存在明显的特征点。Small(默认值)可能会将噪点或颗粒误认为是明显的角,尤其使用高分辨率图像时。
Image proxy:指定用于跟踪的图像分辨率。默认值(None)将在全分辨率下跟踪图像。其他选项是Half, Third 和 Quarter,可用于跟踪图像的1/2,1/3 或 1/4 分辨率。这可以增加跟踪速度,但如果图像中有明显运动,也可能导致小的跟踪点跟踪不准确。
Search mode:控制执行跟踪的算法。默认值是 Better Speed,它将在搜索范围内执行搜索,为参考图案找到最多的近似匹配,但将其改变为 Better Accuracy,会在搜索过程找到更可靠的小特征点。最后是 Optical Flow 选项,使用运动分析协助搜索,这往往可以提高特征点跟踪的可靠性。在这种情况下,Search Range 选项不可用。运动分析支持 GPU 加速。
Deformation:指定跟踪过程中图案窗口如何变形。开启 Rotate, Scale 和/或 Skew,跟踪窗口将扭曲和变形以更好的匹配参考图案。这将会稍稍增加跟踪时间,但是通常可以使跟踪点存在得更长,在他们的匹配度掉落 failure threshold 前。
Consistency:指定图像中预期的整体跟踪器运动。默认值(Local Motion)将拒绝与跟踪点周围场景整体运动不一致的跟踪点。Free Camera 将拒绝与观看静止场景的摄像机的运动不一致的跟踪点。Rotation/Planar 选项将拒绝与观看静止场景的旋转摄像机、或观看平面场景的移动摄像机的运动不一致的跟踪点。
Back-track:启用时,跟踪将发生在两个方向:第一个是从前往后,第二个是从后往前反向跟踪。在反向跟踪期间,不会产生新的跟踪点,那些在向前跟踪过程中产生的跟踪将会被反向葛总。这对增加跟踪点的平均长度有影响。
Spread:启用时,新创建的跟踪点将被扩散到图像中,而不仅仅是定位在最明显的角和图像渐变上。这有利于确保跟踪点均匀分布在图像中,有助于提高摄像机解算的可靠性。但是这样的代价是,有时候会选中不能可靠跟踪的点。
Guide:启用时,由先前 User Track 节点生成并传入 Auto Track 的跟踪点可以用作指导,以帮助确定正确的运动。这些跟踪点在 Cinema 窗口显示为紫色,可以帮助 consistency 检测识别场景或物体所需要的运动。您可以使用任意数量的指导跟踪点,但两个或以上将比单个指导跟踪点产生更好的结果。
Blur image:启用后,图像数据将在跟踪前被模糊。这有利于限制图像噪点减少整体运动匹配度的效果。
Illumination:启用时,全局图像亮度将被考虑到跟踪中,使闪烁或灯光变化尽可能不降低整体匹配度。
Preview:启用时,新跟踪位置将显示在图像中的受跟踪参数支配的位置。这可以用来在跟踪前快速评估不同的参数对定位的影响有多少。鼠标悬停在预览点附近,会根据 Window Size 和 Search Range 参数显示矩形,以及跟踪运动到下一帧的数值。
Update:启用时,Cinema 窗口将在跟踪的同时更新。当此选项被禁用时,将显示一个进度窗口,它可以在某些情况下提供更高的跟踪速度,特别是当多个视窗打开或显卡配置为同步到垂直消隐时。
Reset:单击此按钮将将跟踪参数重置为默认值。
Errors
error 图像分块显示每一帧的每个跟踪点的跟踪误差(以像素为单位),以及一帧中所有可见跟踪点的平均跟踪误差。跟踪误差为0时,跟踪器的匹配度为1,表示完美匹配。选中的跟踪点显示为黄色,而未选中的跟踪点用蓝色表示。平均跟踪误差图显示为白色。误差图可以通过点击并拖拽鼠标右键或中键来平移和缩放。
点击鼠标左键可以从图中分别选择跟踪点。选中跟踪点后,当前帧将更改以匹配图中被点击的帧的序号。如果启用 Centre View 显示选项,主图像窗口将被平移,将跟踪点位置显示在中心。按住 Command 键同时点击或用点击并拖拽绘制一个矩形选框,可以一次选中多个跟踪点。
Show All:启用时,误差图将显示所有跟踪点,否则图像只显示选中的跟踪点。
Trim:点击此按钮将显示一条修剪线,允许误差大于指定值的跟踪点被删除。在指定帧被修剪的跟踪点显示为红色。用鼠标拖拽修剪线可以上下移动它。一旦被激活,修剪操作将被保留,即使 Trim 按钮被禁用 – Trim 按钮值控制修剪线是否显示,而不是是否激活修剪本身。要禁用修剪,点击 Trim 按钮旁边的 D 按钮(仅在修剪线不显示的时候可用)。
Edit Trim Curve:点击此按钮,可以切换『将修剪线作为一个整体来移动』或『编辑修剪线的形状以允许更灵活的修剪』。修剪线可以被编辑,使用操控 Bezier 曲线的标准控制,可以编辑修剪线。”R” 重置修剪线的形状。
Fit View:点击此按钮将缩放和平移误差图使所有误差图可见。
Acceleration
加速度图分块显示每一帧的每个跟踪点的加速度,以及一帧中所有可见跟踪点的平均加速度。这可以用于当跟踪点错误地从一个位置跳到另一个位置时,寻找特定的跟踪点的加速度和所有跟踪点的平均加速度之间的差异。选中的跟踪点显示为黄色,而未选中的跟踪点用蓝色表示。平均加速度显示为白色。加速度图可以通过点击并拖拽鼠标右键或中键来平移和缩放。
点击鼠标左键可以从图中分别选择跟踪点。选中跟踪点后,当前帧将更改以匹配图中被点击的帧的序号。如果启用 Centre View 显示选项,主图像窗口将被平移,将跟踪点位置显示在中心。按住 Command 键同时点击或用点击并拖拽绘制一个矩形选框,可以一次选中多个跟踪点。
Show All:启用时,加速度图将显示所有跟踪点,否则图像只显示选中的跟踪点。
Trim:点击此按钮将显示一条修剪线,允许加速度大于指定值的跟踪点被删除。在指定帧被修剪的跟踪点显示为红色。用鼠标拖拽修剪线可以上下移动它。一旦被激活,修剪操作将被保留,即使 Trim 按钮被禁用 – Trim 按钮值控制修剪线是否显示,而不是是否激活修剪本身。要禁用修剪,点击 Trim 按钮旁边的 D 按钮(仅在修剪线不显示的时候可用)。
Edit Trim Curve:点击此按钮,可以切换『将修剪线作为一个整体来移动』或『编辑修剪线的形状以允许更灵活的修剪』。修剪线可以被编辑,使用操控 Bezier 曲线的标准控制,可以编辑修剪线。”R” 重置修剪线的形状。
Fit View:点击此按钮将缩放和平移加速度图使所有加速度图可见。
Tracker List
跟踪点列表包含所有生成的跟踪点,以及他们的入/出帧。点击一个列头可以对列表排序。左键点击列表可以选中跟踪点。按住 Shift 或 Command 键允许多选。选中的跟踪点也会在主图像窗口高亮显示。在 Name 列双击可以重命名跟踪点。
R-、Remove 和 R+:这些按钮可以用来从剪辑的帧中删除跟踪点。点击 R- 按钮将从当前帧之前的所有帧中删除所有选中的跟踪点R +将删除当前帧之后的所有帧中的跟踪点。点击 Remove 按钮仅从当前帧删除跟踪点。这些按钮可以用来从没有被准确跟踪的帧中移除跟踪点。
Hide / Show:这个按钮可以用来隐藏或显示当前帧中选中的跟踪点。与 Remove 按钮相反,隐藏一个跟踪点,将在当前帧防止跟踪点作用于任何摄像机解算,而不是仅仅删除关键帧的位置。
默认键盘快捷键
Auto Track:Shift+A
Split:Shift+S
Merge:Shift+E
Marquee:Shift+M
All/None:Shift+L
Delete:Del
Show Selected:Shift+H
Show Paths:Shift+P
Show Names:Shift+N
Show Windows:Shift+W
Centre View:Shift+C
Remove Earlier: [
Remove:Shift+R
Remove Later: ]
Hide/Show:H
Skip/Un-Skip Frame:Command+S
示例:用于导入和导出的 ASCII text 跟踪文件
# “Tracker Name”
# clip number
# frame count
# frame, xpos, ypos, matching score
“Tracker0001”
1
4
15 506.41 320.16 1.0000
16 407.83 318.54 0.9956
17 406.44 315.12 0.8854
18 404.22 311.14 0.8774
“Tracker0002”
1
5
11 274.11 776.34 1.0000
12 277.73 781.45 0.9951
13 281.16 783.44 0.8873
14 285.11 791.62 0.9312
15 288.76 794.12 0.8901