工厂场景数据建模指南

本文档面向工业工程师、工艺技术员和数据分析师，系统讲解如何在工厂环境中识别有价值的场景、收集数据、分类变量，并建立有效的生产模型。

一、场景识别与价值判断

1.1 什么是"场景"？

在工业数据建模中，场景是指一个完整的生产过程单元，包含：

明确的输入（原料、参数设定）
可观测的过程状态（温度、压力、流量等）
可量化的输出结果（产品质量、产量、能耗等）

示例场景：

场景类型	描述	典型行业
反应釜批次控制	化工/制药的批次反应过程	化工、制药
发酵过程优化	微生物发酵的温度、pH、溶氧控制	食品、生物
挤出成型工艺	塑料/橡胶的挤出温度、压力、速度控制	材料加工
干燥过程控制	热风干燥的温度、湿度、时间控制	食品、农产品
配料混合系统	多组分原料的配比精度控制	食品、饲料

1.2 如何判断场景的核心价值？

不是所有场景都值得建模。使用以下评估框架：

价值评估矩阵

                    高业务价值
                         │
         ┌───────────────┼───────────────┐
         │   优先建模     │   战略储备      │
  高数据  │   (立即行动)   │   (长期规划)    │
  可获得  │               │               │
         ├───────────────┼───────────────┤
性       │   快速验证      │  暂时搁置      │
         │   (PoC试点)    │   (等待时机)   │
  低数据  │               │               │
  可获得  └───────────────┴───────────────┘
                    低业务价值

价值评估检查清单

业务价值维度（每项1-5分）：

评估项	评分标准	得分
质量问题频率	5=每月多次，1=极少发生	___
质量损失金额	5=年损失>100万，1=<10万	___
工艺优化空间	5=明显可优化，1=已很成熟	___
可复制推广性	5=多产线适用，1=单点专用	___
管理层关注度	5=高层重点关注，1=基层自发	___

数据可获得性维度（每项1-5分）：

评估项	评分标准	得分
历史数据存量	5=>1年完整数据，1=几乎无数据	___
数据质量	5=完整准确，1=大量缺失/错误	___
采集自动化程度	5=全自动采集，1=全靠人工记录	___
关键变量可测性	5=全部可在线测量，1=多数需离线检测	___
IT系统支持	5=有MES/SCADA，1=无信息化系统	___

评分解读：

业务价值总分 ≥ 20 且数据可获得性总分 ≥ 20：优先建模
业务价值总分 ≥ 20 但数据可获得性总分 < 20：先改善数据采集
业务价值总分 < 15：暂时搁置，寻找更高价值场景

1.3 场景优先级排序案例

某食品加工厂场景评估：

场景	业务价值	数据可获得性	优先级	行动建议
杀菌温度控制	25分	20分	⭐⭐⭐⭐⭐	立即启动
配料精度优化	22分	18分	⭐⭐⭐⭐	补充传感器后启动
包装密封检测	15分	22分	⭐⭐⭐	低优先级，资源充足时考虑
原料入库检验	12分	15分	⭐⭐	暂时搁置

二、数据收集策略

2.1 数据收集的四个层次

层次1: 手工记录
    └── 纸质记录表、Excel手工录入
    └── 适用：初期探索、无自动化系统
    └── 缺点：易出错、频率低、难追溯

层次2: 半自动采集
    └── 仪器数据导出 + 人工整理
    └── 适用：有关键设备但无系统集成
    └── 改进：建立标准化导出模板

层次3: 自动采集
    └── PLC/SCADA自动记录
    └── 适用：有自动化控制系统
    └── 优势：高频、准确、可追溯

层次4: 集成化平台
    └── MES/ERP/数据湖一体化
    └── 适用：数字化程度高的工厂
    └── 优势：数据关联、全链路追溯

2.2 数据收集规划模板

为每个场景制定数据收集计划：

markdown

## 场景名称：[填写]

### 1. 被控变量（Y）
| 变量名 | 测量方式 | 测量频率 | 数据位置 | 备注 |
|-------|---------|---------|---------|------|
| 产品质量指标 | 实验室检测 | 每批次 | LIMS系统 | 检测周期2小时 |
| 产品合格率 | 自动统计 | 实时 | MES系统 | - |

### 2. 特征变量（X）
| 变量名 | 变量类型 | 测量方式 | 测量频率 | 数据位置 |
|-------|---------|---------|---------|---------|
| 反应温度 | 设定值/操纵变量 | 温度传感器 | 1分钟 | SCADA |
| 原料批次 | 扰动变量 | 扫码记录 | 每批次 | ERP系统 |
| 环境温度 | 扰动变量 | 温湿度计 | 1小时 | 手工记录 |

### 3. 数据收集周期
- 历史数据回溯：[ ] 个月
- 新增数据采集：从 [日期] 开始
- 目标样本量：至少 [ ] 批次/周期

### 4. 数据质量保障
- [ ] 传感器校准计划
- [ ] 异常值处理规则
- [ ] 缺失值填补策略
- [ ] 数据审核流程

2.3 数据收集最佳实践

DO（应该做）：

✅ 记录完整的批次信息（时间、操作员、原料批次）
✅ 同时收集正常和异常工况数据
✅ 标注已知的异常事件（设备故障、原料变更等）
✅ 保持时间戳一致性
✅ 定期备份原始数据

DON'T（不要做）：

❌ 只收集"好"数据，剔除"坏"数据
❌ 不同来源的数据时间戳不一致
❌ 手工转录而不保留原始记录
❌ 采样频率过低（无法捕捉动态）
❌ 采样频率过高（产生大量冗余数据）

三、变量分类体系

3.1 核心变量定义（行业通用无歧义）

在工业建模和控制领域，我们遵循以下标准变量定义：

缩写	全称	中文	说明
SV	Set Value	设定值	给操作变量定的目标值，DCS 上可输入修改
MV	Manipulated Variable	操纵变量	操作工 / APC 可直接调节的阀门、泵等
DV	Disturbance Variable	扰动变量	不可控、不可调的干扰因素
CV	Controlled Variable	被控变量	要控制、要优化的核心目标
PV	Process Value	过程测量值	仪表 / 传感器实际测出来的数值

在数据建模时，我们将上述变量映射为模型的输入（X）和输出（Y）：

text

┌───────────────────────────────────────────────────────────────────┐
│                      变量建模映射体系                                │
├───────────────────────────────────────────────────────────────────┤
│                                                                   │
│   ┌──────────────┐    ┌──────────────┐    ┌──────────────┐        │
│   │ 设定值/操纵变量 │    │    扰动变量   │    │    被控变量   │        │
│   │   (SV/MV)    │    │     (DV)     │    │      (CV)    │        │
│   └──────┬───────┘    └──────┬───────┘    └──────┬───────┘        │
│          │                   │                   │                │
│          ▼                   ▼                   ▼                │
│   我们可以主动              我们无法控制          我们要预测和          │
│   调节的参数(X)             但会影响结果(X)       优化的目标(Y)        │
│                                                                   │
│   例：反应温度设定(SV)       例：环境温度          例：产品纯度(CV)      │
│       阀门开度(MV)           原料成分波动          (通常由PV表征)      │
│                                                                   │
└───────────────────────────────────────────────────────────────────┘

3.2 变量类型详解

设定值/操纵变量（Set Value/Manipulated Variable, SV/MV）

定义： 操作人员或控制系统可以直接调节的输入参数。在实际工业生产中，绝大多数情况下，操作人员是通过修改设定值（SV） 来间接控制执行机构，而操纵变量（MV）则是底层 PID 或控制系统自动输出的结果。

特征：

可主动改变（主要修改 SV）
通常有明确的操作范围
是工艺优化的主要抓手

常见示例：

行业	设定值/操纵变量示例
化工	反应温度、压力、搅拌速度、催化剂用量
食品	杀菌温度、保温时间、配料比例、干燥风速
制药	升温速率、保温时间、冷却速度、pH设定值
冶金	加热功率、冷却水流量、轧制速度

在建模中的角色：

作为 X 变量的核心组成部分
VIP 分析的重点关注对象
工艺优化的直接操作对象

扰动变量（Disturbance Variables, DV）

定义： 影响过程输出但无法（或难以）主动控制的变量。

特征：

客观存在，难以人为干预
可能随时间变化
是模型鲁棒性需要考虑的因子

常见示例：

类型	扰动变量示例	应对策略
原料类	原料批次差异、含水率波动、杂质含量	入厂检验、前馈控制
环境类	环境温度、湿度、大气压力	环境补偿、空调控制
设备类	设备磨损、催化剂活性衰减、换热器结垢	定期维护、在线校正
操作类	操作员差异、交接班影响	SOP标准化、培训

在建模中的角色：

作为 X 变量的补充
帮助解释模型残差
识别"不可控"的变异来源

被控变量（Controlled Variable, CV）

定义： 我们希望控制在目标范围内的过程输出或质量指标。

特征：

是过程的结果
通常有明确的质量标准
是模型预测的目标（Y）

常见示例：

行业	被控变量示例
化工	产品纯度、转化率、选择性、副产物含量
食品	水分含量、色泽、口感评分、微生物指标
制药	有效成分含量、溶出度、杂质谱
材料	拉伸强度、硬度、表面光洁度

在建模中的角色：

作为 Y 变量（被控变量）
模型预测和优化的对象
评估模型性能的核心指标

过程测量值（Process Value, PV）

定义： 仪表或传感器实际测量出来的过程数值。

特征：

是物理或化学状态的真实反映
是计算或评估CV的基础
可能包含测量噪声或误差

常见示例：

行业	过程测量值示例
化工	热电偶测得的实际温度、流量计读数
食品	在线水分仪读数、实际pH值
制药	传感器反馈的搅拌电机电流

在建模中的角色：

用于表征被控变量（Y）
反馈系统当前状态，供优化控制使用

3.3 变量分类决策树

3.4 变量分类实例

场景：化工反应釜批次控制

变量名	变量类型	分类理由	建模角色
反应温度设定值	设定值/操纵变量	DCS可调节	X
反应压力	设定值/操纵变量	通过阀门调节	X
实际反应压力	过程测量值	压力传感器反馈	X
搅拌转速	设定值/操纵变量	变频器控制	X
催化剂用量	设定值/操纵变量	配料时确定	X
原料批次	扰动变量	由采购决定	X
原料含水率	扰动变量	自然波动	X
环境温度	扰动变量	无法干预	X
产品转化率	被控变量	过程结果	Y
产品选择性	被控变量	质量指标	Y

四、场景建模实战

4.1 建模前准备

数据整理清单

markdown

## 建模前检查清单

### 数据完整性
- [ ] 样本量 ≥ 30（PLS最低要求）
- [ ] X变量数 < 样本数/2（避免过拟合）
- [ ] 无严重缺失值（<10%）
- [ ] 时间戳对齐正确

### 变量确认
- [ ] 设定值/操纵变量(SV/MV)已识别并标记
- [ ] 扰动变量已识别并标记
- [ ] 过程测量值(PV)已识别并评估
- [ ] 被控变量(CV)已明确
- [ ] 变量单位统一

### 业务理解
- [ ] 了解正常工况范围
- [ ] 了解常见异常模式
- [ ] 明确建模目标（预测/优化/监控）

4.2 建模流程

4.3 分步建模指南

Step 1: 数据导入与配置

导入数据：将整理好的Excel数据导入星途平台
设置标题行：标记变量名称行
配置X变量：
- 选择所有设定值/操纵变量（SV/MV）
- 选择重要扰动变量（DV）
- (可选) 如果关注过程状态，可以引入过程测量值（PV）
配置Y变量：选择被控变量（CV）

Step 2: 探索性分析（PCA）

目的： 了解数据结构，识别异常样本

操作：

仅使用X变量创建PCA模型
查看得分图（Score Plot）
识别远离主群体的异常点
查看T²和SPE图，标记统计异常

解读：

正常批次应聚集在主成分空间的核心区域
远离群体的点需要调查原因
结合业务知识判断是否剔除

Step 3: 建立PLS回归模型

操作：

配置X（可调+扰动）和Y（目标）
点击"Fit"训练模型
查看模型指标：
- R²Y：拟合优度
- Q²Y：预测能力（>0.5可接受，>0.9优秀）

诊断：

如果Q²Y < 0.5：检查变量选择、增加样本量
如果R²Y高但Q²Y低：过拟合，减少潜变量数

Step 4: VIP分析与变量筛选

目的： 找出对Y影响最大的X变量

操作：

查看VIP图
识别VIP > 1的关键变量
考虑剔除VIP < 0.5的变量
重新建模验证

业务解读：

VIP高的设定值/操纵变量是工艺优化的重点
VIP高的扰动变量需要加强监控

Step 5: 模型验证

内部验证：

交叉验证Q²Y
检查残差分布

外部验证（如有条件）：

用新收集的数据测试
对比预测值与实际值

4.4 典型场景建模案例

案例：发酵过程优化

场景描述：

产品：某氨基酸发酵
目标：提高产物浓度（Y）
周期：48小时批次

变量分类：

类型 (算法视角)	控制系统术语	变量示例	说明
设定值/操纵变量 (X)	SV / MV (设定值/操作变量)	温度设定(SV)、pH设定(SV)、搅拌转速(MV)、通气量(MV)	DCS中可由操作员或APC主动调节的参数 (通常是修改SV)
扰动变量 (X)	DV (Disturbance Variable 扰动变量)	种子批次、培养基批次、环境温度	客观存在、对系统有影响但不可人为控制的参数
被控变量 (Y)	CV (Controlled Variable 被控变量)	产物浓度、转化率	离线化验或在线仪表的实际检测结果
过程测量值 (X或Y)	PV (Process Value 过程测量值/结果)是CV的体现或值	实际温度(PV)、实际pH值(PV)	传感器反馈的过程状态

建模结果：

R²Y = 0.92, Q²Y = 0.85
VIP > 1的关键变量：pH设定、通气量、温度设定
发现：pH控制精度对产物浓度影响最大

优化建议：

升级pH控制系统，提高控制精度
建立pH前馈补偿模型
预计产物浓度提升8-12%

五、工具辅助挑选变量

5.1 变量筛选工具箱

在星途平台中，可以借助以下工具辅助变量挑选：

工具1: 相关性分析

用途： 识别X变量间的共线性

操作：

使用热力图查看X变量间相关性
识别|r| > 0.8的高度相关变量对
保留其中一个，剔除冗余变量

示例：

如果"反应温度"和"反应器壁温"相关性0.95
→ 只保留"反应温度"（更直接可控）

工具2: PCA载荷分析

用途： 理解变量间的内在结构

操作：

查看PCA载荷图（Loading Plot）
识别聚在一起的变量组（代表相似信息）
从每组中选择最具代表性的变量

工具3: VIP迭代筛选

用途： 逐步优化变量集

流程：

第1轮：所有变量 → 计算VIP
第2轮：剔除VIP<0.5的变量 → 重新建模
第3轮：检查Q²Y变化
      ↓
   如果Q²Y下降<5%：接受简化模型
   如果Q²Y下降>10%：恢复部分剔除的变量

工具4: 变量重要性排序表

综合评估框架：

变量	VIP	可控性	测量成本	综合评分	建议
温度	1.8	高	低	⭐⭐⭐⭐⭐	保留
压力	1.5	高	低	⭐⭐⭐⭐⭐	保留
原料批次	0.3	低	中	⭐⭐	剔除
环境湿度	0.4	低	高	⭐	剔除

5.2 变量筛选决策流程

5.3 变量筛选最佳实践

DO：

✅ 优先保留设定值/操纵变量（可优化）
✅ 保留VIP高且易测量的变量
✅ 保留业务上"常识上重要"的变量
✅ 用交叉验证检验简化模型

DON'T：

❌ 只看VIP，完全忽略业务知识
❌ 一次剔除太多变量
❌ 剔除VIP低但成本也低的变量
❌ 在样本量很小时过度筛选

六、常见问题与最佳实践

6.1 常见问题解答

Q1: 样本量不够怎么办？

A:
最低要求：样本数 > X变量数
理想情况：样本数 ≥ 3 × X变量数
如果不够：
减少X变量（优先剔除VIP低的）
延长数据收集周期
考虑使用PCA先降维

Q2: 如何处理缺失值？

A:
缺失<5%：用均值/中位数填补
缺失5-20%：用插值或回归预测填补
缺失>20%：考虑剔除该变量或样本
星途平台支持多种缺失值处理策略

Q3: 设定值/操纵变量和扰动变量的界限模糊怎么办？

A:
判断标准：当前技术/成本条件下能否主动调节
例：环境温度理论上可控（空调），但成本过高→视为扰动
在模型中两者都是X，区别仅在于优化策略

Q4: 模型在新数据上表现不好怎么办？

A:
检查新数据是否在训练数据范围内（外推风险）
检查是否有新的扰动因素出现
考虑模型更新（增量学习或重新训练）

Q5: 如何向管理层汇报建模结果？

A:
避免技术术语，聚焦业务价值
用具体数字："优化后预计提升产量X%"
展示可视化：得分图、VIP图
给出明确的行动建议

6.2 建模成功 checklist

markdown

## 项目交付检查清单

### 模型质量
- [ ] Q²Y > 0.5（最低门槛）
- [ ] R²Y - Q²Y < 0.2（避免过拟合）
- [ ] 残差无明显模式
- [ ] 关键变量VIP > 1

### 业务验证
- [ ] 关键变量符合工艺常识
- [ ] 异常样本有合理解释
- [ ] 模型预测误差在可接受范围
- [ ] 已验证至少一批独立数据

### 文档完整
- [ ] 变量分类清单
- [ ] 数据收集方法说明
- [ ] 模型性能报告
- [ ] 应用建议与风险提示

6.3 持续改进建议

模型生命周期管理：

第1-2月：模型建立与验证
    └── 收集数据、建立初始模型
    └── 内部验证、参数调优

第3-6月：试运行与优化
    └── 小范围试用
    └── 收集反馈、修正问题

第6-12月：正式部署
    └── 全面应用
    └── 建立监控机制

第12月后：定期维护
    └── 每季度评估模型性能
    └── 数据漂移检测
    └── 必要时重新训练

附录：快速参考卡

变量分类速查表

问题	设定值/操纵变量(SV/MV)	扰动变量(DV)	被控变量(CV)	过程测量值(PV)
能否主动调节？	✅ 能 (主要是修改SV)	❌ 不能	N/A（是结果）	N/A（是结果）
在模型中的角色	X	X	Y	X/Y
优化价值	高（直接操作）	中（监控预警）	目标	状态反馈
示例	温度设定值	环境温度	产品纯度	实际温度读数

模型选择速查表

场景	推荐模型	关键指标
只有X，探索结构	PCA	R²X, 得分图
X→Y预测（连续）	PLS	R²Y, Q²Y, VIP
X→Y分类（离散）	PLS-DA	Accuracy, F1, AUC

VIP解读速查表

VIP值	重要性	建议
> 1.5	非常重要	重点关注
1.0-1.5	重要	保留
0.5-1.0	一般	可保留
< 0.5	不重要	考虑剔除

本文档是星途数据洞察平台的配套指南，结合实际工业场景，帮助用户系统性地开展数据建模工作。

工厂场景数据建模指南 ​

一、场景识别与价值判断 ​

1.1 什么是"场景"？ ​

1.2 如何判断场景的核心价值？ ​

价值评估矩阵 ​

价值评估检查清单 ​

1.3 场景优先级排序案例 ​

二、数据收集策略 ​

2.1 数据收集的四个层次 ​

2.2 数据收集规划模板 ​

2.3 数据收集最佳实践 ​

三、变量分类体系 ​

3.1 核心变量定义（行业通用无歧义） ​

3.2 变量类型详解 ​

设定值/操纵变量（Set Value/Manipulated Variable, SV/MV） ​

扰动变量（Disturbance Variables, DV） ​

被控变量（Controlled Variable, CV） ​

过程测量值（Process Value, PV） ​

3.3 变量分类决策树 ​

3.4 变量分类实例 ​

四、场景建模实战 ​

4.1 建模前准备 ​

数据整理清单 ​

4.2 建模流程 ​

4.3 分步建模指南 ​

Step 1: 数据导入与配置 ​

Step 2: 探索性分析（PCA） ​

Step 3: 建立PLS回归模型 ​

Step 4: VIP分析与变量筛选 ​

Step 5: 模型验证 ​

4.4 典型场景建模案例 ​

案例：发酵过程优化 ​

五、工具辅助挑选变量 ​

5.1 变量筛选工具箱 ​

工具1: 相关性分析 ​

工具2: PCA载荷分析 ​

工具3: VIP迭代筛选 ​

工具4: 变量重要性排序表 ​

5.2 变量筛选决策流程 ​

5.3 变量筛选最佳实践 ​

六、常见问题与最佳实践 ​

6.1 常见问题解答 ​

6.2 建模成功 checklist ​

6.3 持续改进建议 ​

附录：快速参考卡 ​

变量分类速查表 ​

模型选择速查表 ​

VIP解读速查表 ​

工厂场景数据建模指南

一、场景识别与价值判断

1.1 什么是"场景"？

1.2 如何判断场景的核心价值？

价值评估矩阵

价值评估检查清单

1.3 场景优先级排序案例

二、数据收集策略

2.1 数据收集的四个层次

2.2 数据收集规划模板

2.3 数据收集最佳实践

三、变量分类体系

3.1 核心变量定义（行业通用无歧义）

3.2 变量类型详解

设定值/操纵变量（Set Value/Manipulated Variable, SV/MV）

扰动变量（Disturbance Variables, DV）

被控变量（Controlled Variable, CV）

过程测量值（Process Value, PV）

3.3 变量分类决策树

3.4 变量分类实例

四、场景建模实战

4.1 建模前准备

数据整理清单

4.2 建模流程

4.3 分步建模指南

Step 1: 数据导入与配置

Step 2: 探索性分析（PCA）

Step 3: 建立PLS回归模型

Step 4: VIP分析与变量筛选

Step 5: 模型验证

4.4 典型场景建模案例

案例：发酵过程优化

五、工具辅助挑选变量

5.1 变量筛选工具箱

工具1: 相关性分析

工具2: PCA载荷分析

工具3: VIP迭代筛选

工具4: 变量重要性排序表

5.2 变量筛选决策流程

5.3 变量筛选最佳实践

六、常见问题与最佳实践

6.1 常见问题解答

6.2 建模成功 checklist

6.3 持续改进建议

附录：快速参考卡

变量分类速查表

模型选择速查表

VIP解读速查表