技能编排节点
通常一个节点输入和输出两部分组成,开始节点只有输入,结束节点只有输出。
- 输入:需要输入节点的参数,节点的运行依赖输入参数。
- 输出:节点处理后输出的参数,可以被后续节点引用。
-
引用规则:
- 引用面板中,支持快速生成输入参数并应用。
- 当前序节点的输出参数类型和后序节点的输入参数类型一致时,即可被节点引用。
- 引用后,不支持手动输入参数值。
- 非数组支持转同类型数组、带追踪的目标支持转不带追踪的目标。
- 当解除引用后,关联的输入参数不会被删除。
开始节点
开始节点是技能编排的起始点,用于定义技能运行需要输入的信息。开始节点只有输入参数,没有输出等其他参数。 开始节点携带一个默认参数,类型为Image,参数名为:image。 支持自定义参数作为输入参数,供后序节点引用。

- 输入参数信息:
| 字段名称 | 是否必填 | 字段描述 |
|---|---|---|
| 参数名 | 是 | 以字母或下划线开头的参数名称 |
| 参数类型 | 是 | 支持配置基础类型参数和视觉类型参数 |
| 默认值 | - | 根据参数类型填入默认值,不同类型的参数默认值输入框形式不同。数组、视觉类型的参数,不支持填写默认值。 |
| 显示名称 | 否 | 参数展示的名称,若不填写,展示参数名 |
| 参数描述 | 否 | 参数的描述信息 |
- 参数数据类型:
| 参数类型 | 分类 | 参数说明 |
|---|---|---|
| String | 基础类型 | 字符串 |
| TemplateString | 基础类型 | 模板变量 |
| Integer | 基础类型 | 整数 |
| Double | 基础类型 | 浮点数 |
| Boolean | 基础类型 | 布尔值 |
| Time | 基础类型 | 时间 |
| Image | 视觉类型 | 图片 |
| Detection | 视觉类型 | 检测结果 |
模型节点
视觉模型
调用视觉模型,识别图片中的目标和属性信息。

- 选择模型,选择要调用的视觉模型包,可选择“模型仓库”或“场景模型”中的模型,支持选择模型的不同版本。

- 选择模型标签,从模型包输出的标签中,选择要使用的标签。
-
设置输入参数
- 图片,选择用于推理的图片,不支持手动输入,引用前序节点的“Image”类型输出
- 电子围栏,过滤掉不在电子围栏内的目标,不支持手动输入,引用前序节点的“ROI”类型输出
-
配置
- 模型标签阈值:为选择的模型标签配置置信度阈值,置信度小于阈值的目标将被过滤。
- 追踪参数:当目标类型为带追踪的目标时,展示追踪参数,可配置相应参数。

- 查看输出参数,对于支持追踪的模型包,将输出携带追踪参数和不携带追踪参数的两类目标。在后续连接处理节点进行处理时,需要追踪信息的节点必须以携带追踪参数的目标作为输入。

多模态大模型节点
调用多模态大模型,根据提示词和输出配置对图片进行理解和分析。多模态大模型节点依赖多模态大模型的语言、图像理解和生成能力,可以根据业务场景的需求选择不同的模型,并配置提示词来定义分析任务。

- 选择模型,选择要调用的多模态大模型包,可选择“模型仓库”或“场景模型”中的模型,支持选择模型的不同版本
- 选择图片序列,选择用于推理的图片,不支持手动输入,引用前序节点的Image类型输出
- 设置提示词,提示词是给模型下达的分析指令,需要清晰描述对图片的识别任务需求,帮助模型更准确地理解和处理输入数据。例如,分条将复杂任务拆解成简单识别,或对需要识别内容的外观进行详细描述。
-
配置输出参数,,以便后序节点引用:
- 参数名:输出参数的名称,用于标识不同的分析结果。
- 参数类型:每个输出的返回类型,设置输出参数的参数名及参数类型,以便后序节点引用。
- 参数描述:(可选)对输出结果的进一步说明,帮助模型理解需要返回的数据内容。
处理节点
模型结果的后处理规则,对模型的分析结果进行进一步的计算和过滤筛选。不同处理节点需要配置不同的参数。
相交(追踪)节点
相交节点用于计算两个带追踪目标对象之间的相交关系,并根据设定的交并比判断是否有满足相交条件目标,适用于目标检测、重叠分析等应用场景。

输入
- 相交目标1(追踪):选择第一个需要检测相交的带追踪目标标签,例如"人体(追踪)"。
- 相交目标2(追踪):选择第二个需要检测相交的带追踪目标标签,例如"机动车(追踪)"。
配置
-
交并比计算方法:选择交并比计算的基准
- 以相交后并集面积做分母:相交目标1∩相交目标2/相交目标1∪相交目标2
- 以较小面积作为分母:相交目标1∩相交目标2/min(相交目标1,相交目标2)
- 以较大面积作为分母:相交目标1∩相交目标2/max(相交目标1,相交目标2)
- 交并比阈值下限:设置交并比的阈值,交并比达到阈值输出结果。
输出
- 满足相交的目标1(追踪):输出符合条件的相交目标1,该参数携带追踪信息。
- 满足相交的目标2(追踪):输出符合条件的相交目标2,该参数携带追踪信息。
目标抠图推理节点
目标抠图推理节点用于对目标区域抠图并进行推理,并将推理结果将还原到原图。

输入
- 原图:待抠图的图片。
- 抠图推理目标:选择需要抠图的目标标签,例如"人体"。
配置
- 抠图宽度倍数:按照抠图目标检测框的宽度进行缩放,根据缩放后的宽度进行抠图。实际范围宽度=目标框宽度✖抠图宽度倍数
- 抠图高度倍数:按照抠图目标检测框的高度进行缩放,根据缩放后的高度进行抠图。实际抠图高度=目标框高度✖抠图高度倍数
输出
- 小图序列
- 抠图推理目标
小图批处理
作为目标抠图推理节点的附属节点,创建目标抠图推理节点后,会生成一个和抠图节点绑定的小图批处理画布。 小图批处理是对抠图后的小图进行批量推理,目标抠图推理节点会按照设定的并行数量分批运行小图批处理画布中的推理节点,直到所有小图处理完成,或达到指定的运行次数上限。 因小图批处理画布是针对目标范围进行的推理,所以推理结果会以推理目标的下级的目标、属性、参数形式还原到原图中。 点击小图批处理画布,可选择模型节点,将模型节点添加到小图批处理画布中。 对于添加到小图批处理画布中的模型节点,可引用目标抠图推理节点对目标范围抠的小图,以“小图序列[i]” 表示小图序列中的一个图片元素。

位移(追踪)节点
位移(追踪)节点用于监控和分析目标对象在指定时间内的移动情况,适用于运动分析、行为识别等应用场景。

输入
- 位移目标(追踪):需要判断位移的目标标签,该目标需要携带追踪信息,例如从前序节点获取的"人体(追踪)"。
- 位移计算周期(s):计算位移的帧间间隔,默认0为计算两帧之间的位移。可设置范围为0到3600秒。0以上为两帧的间隔时间。
- 水平移动距离下限(px):目标在水平方向上位移距离的下限,以像素值为单位。
- 水平移动距离上限(px):目标在水平方向上位移距离的上限,以像素值为单位。
- 目标水平移动方向:目标在水平轴的位移方向,可设置左、右和双向。
- 垂直移动距离下限(px):目标在垂直方向上位移距离的下限,以像素值为单位。
- 垂直移动距离上限(px):目标在垂直方向上位移距离的上限,以像素值为单位。
- 目标垂直移动方向:目标在垂直轴的位移方向,可设置左、右和双向。
- 同时满足垂直和水平条件:选择“是”,要求目标同时满足水平和垂直的位移条件。选择“否”,仅需满足水平或垂直任一条件即可。
- 持续时间(s):持续时间是指节点满足条件的连续时间长度。只有当条件持续满足达到设定时间后,节点才会触发后续逻辑或输出结果。例如,位移计算周期为0s,持续时间为10s,则需要连续10s,每两帧的位移距离均满足上述设置条件,才输出结果。
- 缓冲时间(s):缓冲时间是指在计算持续时间时,允许条件判断出现短暂波动而不影响计时的容错时间。 例如,位移计算周期为0s,持续时间为10s,缓冲时间2s,则在10s内,允许有2s不满足位移条件,其余8s每两帧的位移距离均满足上述设置条件,才输出结果。
输出
- 满足位移的目标(追踪):输出满足位移条件的所有目标,该参数携带追踪信息。
绊线节点(追踪)
绊线节点用于监测和追踪目标物体跨越虚拟线的行为,适用于安全监控、智能分析等场景。

输入
- 绊线目标(追踪):指定判断跨线行为的目标,该目标需要携带追踪信息,例如从前序节点获取的"人体(追踪)"。
- 绊线:设置虚拟绊线的位置,引用前序节点的“Tripwire”类型输出。如果没有绘制绊线,将不会产生预警。
输出
- 跨线目标:输出所有跨越绊线的目标,该参数不携带追踪信息。
相交节点
相交节点用于计算两个目标对象之间的相交关系,并根据设定的交并比判断是否有满足相交条件目标,适用于目标检测、重叠分析等应用场景。

输入
- 相交目标1:选择第一个需要检测相交的目标标签,例如"人体"。
- 相交目标2:选择第二个需要检测相交的目标标签,例如"机动车"。
配置
-
交并比计算方法:选择交并比计算的基准
- 以相交后并集面积做分母:相交目标1∩相交目标2/相交目标1∪相交目标2
- 以较小面积作为分母:相交目标1∩相交目标2/min(相交目标1,相交目标2)
- 以较大面积作为分母:相交目标1∩相交目标2/max(相交目标1,相交目标2)
- 交并比阈值下限:设置交并比的阈值,交并比达到阈值输出结果。
输出
- 相交目标1的结果:输出符合条件的相交目标1,该参数不携带追踪信息。
- 相交目标2的结果:输出符合条件的相交目标2,该参数不携带追踪信息。
区域过滤节点
区域过滤节点用于筛选出位于指定电子围栏区域内的目标对象。

输入
- 尺寸参照图片:该节点需要知道输入图片的分辨率,才能绘制过滤区域,引用前序节点的“Image”类型输出。
- 过滤目标:选择需要进行区域过滤的目标,例如"人体"。
- 电子围栏:过滤掉不在电子围栏内的目标,引用前序节点的“ROI”类型输出。
输出
- 过滤目标标签:输出电子围栏区域内所选的目标。
尺寸过滤节点
尺寸过滤节点通过设置宽度和高度的上下限,筛选符合指定尺寸范围的目标对象。

输入
- 过滤目标:选择需要进行尺寸过滤的目标标签,例如"人体"。
- 目标宽度下限(px):设置目标的最小宽度,以像素值为单位。
- 目标宽度上限(px):设置目标的最大宽度,以像素值为单位。
- 目标高度下限(px):设置目标的最小高度,以像素值为单位。
- 目标高度上限(px):设置目标的最大高度,以像素值为单位。
输出
- 满足尺寸的目标:输出符合尺寸条件的目标。
距离节点
距离节点用于判断两个目标对象之间的距离。

输入
- 距离目标1:选择第一个需要判断距离的目标标签,例如"人体"。
- 距离目标2:选择第二个需要判断距离的目标标签,例如"机动车"。
- 水平距离下限(px):设置两个目标在水平方向上的最小距离,以像素值为单位。
- 水平距离上限(px):设置两个目标在水平方向上的最大距离,以像素值为单位。
- 垂直距离下限(px):设置两个目标在垂直方向上的最小距离,以像素值为单位。
- 垂直距离上限(px):设置两个目标在垂直方向上的最大距离,以像素值为单位。
- 同时满足垂直和水平条件:选择“是”,要求目标同时满足水平和垂直的距离条件。选择“否”,仅需满足水平或垂直任一条件即可。
输出
- 距离目标1的标签:输出符合条件的距离目标1的标签。
- 距离目标2的标签:输出符合条件的距离目标2的标签。
计数节点
计数节点用于统计计数目标的数量值,适用于各类需要目标计数的场景。

输入
- 计数目标:选择需要统计的目标类型。例如"人体"。
输出
- 数量值:返回计数目标的数量值。
判断节点
判断节点根据条件选择不同的执行分支,实现复杂的业务逻辑和流程控制。
条件分支
条件分支对编排链路上前序节点的输出进行条件判断,将流程分支为不同的路径。通过设定条件和条件组,可以在流程中实现复杂的逻辑判断和决策。

配置
-
条件配置:
- 引用参数:选择需要判断的参数,可选择前序节点的输出参数进行引用。
- 选择条件:选择判断条件,对于不同类型的参数,可以配置不同的判断条件,例如“为空/不为空”或“大于/小于”等。
- 条件值:输入用于对比的值。
-
条件关系:
- 每个条件组包含一个或多个条件。可以通过【添加条件】按钮增加新的条件。
- 设置条件之间的逻辑关系,支持选择“且(全部满足)”、“或(任一满足)”和“非(全不满足)”。
-
条件组关系:
- 可点击【+】按钮增加多个条件组。
- 设置条件组之间的逻辑关系,支持选择“且(全部满足)”、“或(任一满足)”和“非(全不满足)”。
- 持续时间 (s):设置条件需持续满足的时间,条件满足达到持续时间后,才输出目标。
- 缓冲时间 (s):在计算持续时间时,允许检测结果出现短暂波动而不影响计时的容错时间。用于避免检测效果扰动,允许不命中节点条件多久不打断计时。
输出
- 真:条件判断为真时执行。
- 假:条件判断为假时执行。
注意:
- 一个技能链路中需要编排至少一个条件节点,满足条件后,才执行后续分支进行预警。否则,每帧图片不论是否满足条件都将执行预警节点,会出现没有识别到目标,仍然进行预警的情况。
- 确保条件、参数、条件值均设置正确,以避免流程判断错误。
- 持续时间和缓冲时间的设置需根据实际应用场景进行合理配置。
结束节点
结束节点是技能编排的终点,用于输出经过分析处理后的结果。输出的数据可以是从开始节点输入的数据或在编排过程中生成的结果。

支持创建和删除输出参数,参数包含以下信息:
| 字段名称 | 是否必填 | 字段描述 |
|---|---|---|
| 参数名 | 是 | 以字母或下划线开头的参数名称 |
| 引用参数 | 是 | 支持引用前序全部节点的输出参数 |
| 显示名称 | 否 | 参数展示的名称,若不填写,展示参数名 |
输出信息
填写输出时显示的文本信息,可通过输入“{”快速插入动态标签(例如时间戳),在发送信息时,将自动补充参数值,使通知内容更具信息性和可读性。 输出信息的字符限制为255个字符。
评价此篇文章
