在安全运营中,高效的自动化分析能力是提升威胁响应速度的关键。本文将分享一个基于工作流构建的安全分析自动化方案,通过可视化编排与代码,实现从数据采集到自动决策的全流程闭环。
在网络安全运营场景中,威胁分析的时效性、规则的精准度和上下文关联是核心诉求。人工逐条核验告警、抽查日志、手工检索关键词,不仅效率低下,还极易因人为疏漏而产生误报、漏报。
本文将与社区广大网友分享,从业务场景、工作流设计、代码应用实现到落地价值,完整拆解如何通过「工作流 + Python 代码」,搭建一套日志审计白名单校验自动化编排工作流。该工具目前已支持 IBM QRadar SIEM API AQL 查询节点块,可快速对接数据源完成数据拉取;同时支持机器人多任务处理机制,避免工作流编排过于冗长、操作复杂的问题。后续若网友反馈相关需求较多,还会进一步适配 ELK API 查询能力。
一、工作流架构设计
1. 触发调度
作为流程入口,提供多模式任务启动能力:
- 定时触发:配置固定时点启动任务;
- 手动 / 机器人触发:人工介入、机器人多任务启动模式,兼顾自动化运行灵活性与应急人工干预能力。
2. 数据采集
对接多类外部数据源,统一获取原始安全数据,内置多种专用采集节点:
- HTTP 请求节点;
- 数据库直连节点;
- SIEM 系统专用对接节点;
- 可对接防火墙等安全设备、SIEM 平台、威胁情报平台,为后续数据分析提供原始素材。
3. 数据处理
提供可视化通用逻辑节点 + 自定义代码节点,适配简单编排与复杂运算场景:
- 循环节点:实现批量数据逐条遍历、批量迭代处理;
- 条件判断节点:实现分支逻辑判断、数据分流筛选;
- 自定义代码节点:承载复杂规则匹配、数据清洗、统计运算、报告生成等定制化逻辑。
4. 决策与响应
依托条件判断节点做结果分流,根据分析结论执行差异化处置策略:
- 跳转指定 URL,推送工单开展人工复核;
- 生成并推送告警信息;
- 下发指令执行自动处置动作,实现闭环响应。
5. 数据持久化存储
比如搭配两类数据库形成互补存储方案,构建采集 > 存储 > 分析 > 归档完整数据闭环:
- ClickHouse:依托高性能列式存储优势,用于海量原始数据转储,降低源端系统频繁查询压力;
- MySQL:擅长结构化关联存储,用于留存分析结果、处置记录,方便溯源对账、关联查询。
这种架构的优势在于:将数据采集、循环遍历、条件分支等常规操作抽象为可配置节点,流程结构一目了然,便于维护、交接与快速调整;同时完整保留编程能力,通过代码节点自定义算法、正则匹配、数据清洗等非标准化逻辑,不因可视化而牺牲处理深度;两者结合可快速实现复杂处理逻辑,比直接写 Python 代码效率更高,解决安全运维中无法快速定义精准监控的痛点。
二、节点展示
工作流以Code节点作为复杂安全规则检测的核心,依托 code-skills.xml 标准化CI/CD能力,实现规则脚本的快速集成、迭代与上线。结合可视化编排能力与机器人多任务调度能力,可快速组装、落地各类复杂安全检测逻辑,高效支撑安全规则的持续更新与规模化落地。
代码节点
单击编辑
可以通过代码模板快速引用
HTTP节点
双击打开
数据库节点(数据采集/转储,获取和记录)
双击打开
openai sdk 节点(AI参与工作流)
双击打开
触发器节点
条件判断节点,if else 分支
循环节点
打开URL节点
机器视觉节点(屏幕识别)
三、工具栏
小鼠标可以框选画布中节点添加到分组框
拖住组内节点可以调整组内位置,拖动分组框也可以移动整组在画布上位置
保存编排刷新网页不丢,清空画布所有内容,导入、导出、分享编排好的内容,xxx.json 或 URL
执行日志
全局变量
自动执行任务
四、落地效果:从 “人工小时级” 到 “自动分钟级”
| 维度 | 传统人工模式 | 自动化工作流模式 | 优化效果 |
|---|---|---|---|
| 攻击研判速度 | 单条告警需手动查日志、对威胁情报、翻规则库,平均15-30分钟/条 | 自动拉取告警 > 查本地历史关联数据库 > 匹配规则 > 输出结论,分钟级批量处理 | 研判效率提升30倍以上 |
| 威胁发现能力 | 依赖个人经验,易漏过隐蔽攻击链(如跨时间、跨设备的碎片化攻击) | 代码节点固化检测逻辑,自动关联本地历史事件,发现人工难以从海量攻击中察觉的攻击模式 | 消除经验依赖,减少漏报 |
| 响应时效 | 从发现到处置需层层上报、人工确认,小时级起步 | 通过专家skills赋能工作流快速研判,高风险告警自动触发封禁、通知、工单 | 响应时间从小时级压缩至秒级 |
| 规则更新敏捷度 | 新攻击手法需全员培训、更新SOP,周期以周计 | 通过code-skills.xml模板新增检测函数,分钟级生效;工作流支持一键导入导出 | 规则更新从周级缩短至分钟级,专家经验快速赋能全员 |
五、总结与展望
工作流平台为安全运营自动化提供了强大的工具支持。通过将可视化编排与代码能力相结合,不仅构建了高效的分析流程,更重要的是沉淀了组织的安全知识,使其成为可复用、可扩展的资产。
「使用 Conda 环境运行工具,下载后仅需 3 步即可使用!下载 Conda、导入conda配置库、简单配置文件,工具包及使用说明私信可获取」
清华源 Conda 24.5.0 下载地址
# conda 导入命令 conda env create -f environment.yml