某浊循环系统设置有0.65MPa、0.85MPa水泵各3台，负责为轧线的各机组供水，供水压力不足时，会导致轧线停机、爆辊等事故。
这些泵组的电机为10KV高压电机，从轧线的高压室直接驱动，电机的控制在水处理电气室。两地之间通过硬线信号直接联系。
从2005年开始，这些水泵开始出现无规律、无任何故障记录的自动停机现象。开始几年的频度较低，1-2个月出现一次，2017年开始频度开始增加，有时候又可能2个多月都没有异常。
该故障从2017年开始追踪，2020年1月查到故障原因，并采取了对应措施，进行了解决。
该水处理PLC是AB的PLC5系统，归A部门管理。高压柜归B部门管理。
PLC发出停机指令、现场操作盘发出停机指令、高压柜本身发出停机指令。
由于故障并不是集中在某一台泵身上，因此，虽然高压控制不是很可靠（控制器件出现了不少问题），也不太怀疑是高压柜本身的问题。可惜的是，综合保护装置功能很弱，无法记录停止时的各点状态，也就无法为排查外部信号提供帮助。
现场控制盘的停机按钮不经过任何连锁就可以停机，为了排除这个可能性，就在高压柜内临时拆除了该控制线，再次出现停机后，排除了该处的可能性。
开停机命令由PLC DO板发出，经过了PLC柜内的继电器。高压柜利用110VDC，从继电器的干接点取信号，并且是直接驱动跳闸线圈，因此，专家认为，被干扰到误动作需要的能量较大，因此，概率很小。谨慎起见，还是将该继电器的触点信号接入PLC进行监控。
从逻辑分析上看，阀门的异常、关运行状态、电机的运行信号、故障信号、控制权限转移等信号都可能导致泵停。逐个屏蔽不致命的信号，逐个排除，逐步将焦点锁定在阀门运行信号、电机运行信号、故障信号上。
利用国外的录波软件，对于这一系列信号进行连续录波（发现该录波软件经过一段时间，会停止更新信号，重启软件能解决），虽然出现了几次异常停机的机会，但是，从波形上什么都没有发现。可能是该PLC过老，以太网通讯能力过低，采样频率不足导致的。
于是，就修改程序，用接通和断开延时功能，将这几个信号的闪烁进行拖尾，比如，需要抓偶尔的断开时，就加一个接通延时，在瞬间断开再接通后，定时器的输出会延时后再接通。延时时间要确保录波软件能够采集到。
采取该措施后，在2020年春节假期里再次异常停机，成功捕捉到一个异常信号（图里的“2#HMI关闭拖尾”，在PLC程序里是2#的泵运行反馈信号）。
锁定故障原因后，就为所有泵的运行反馈信号增加了软件滤波，2年跟踪看，再也没有出现自动停机的情况。
2021年底，该水处理PLC进行了升级改造，由PLC5升级成Logix 5000（L73）。同时，高压柜也进行了综合保护装置的升级改造。从试运行开始，就再次出现0.65MPa 2#泵启动后8分钟左右自动停机的故障。
将可能的信号恢复滤波后（软件工程师迁移程序时，竟然删掉了滤波），依然没有解决。于是，就利用PLC-Recorder软件对所有怀疑的信号进行连续记录，第二次故障时，就成功捕捉到了异常信号（见下图）：高压过来的故障信号（蓝色）短时出现，同时运行信号（紫色）彻底消失，没有再恢复。
判断是高压侧自己停掉了电机。请综保的技术人员协助排查，在综保的历史记录里，找到了对应的异常信息，然后进行了针对性的处理，解决了问题。
小信号容易被干扰，且很难排除。因此，设计和施工时就要做好各种EMC的措施。
不同建筑物间易出现不等电位的问题，容易产生共模干扰，因此，通讯和信号要做好隔离。
关键的控制信号，要尽可能增加硬件和软件滤波，来提高抗干扰能力。
干扰问题很难有规律，排查的周期可能漫长，不能过多依赖人员的观察。要尽早使用合适数据采集和分析工具来协助追踪。
sunwheel
2022年1月
1.Smart200&V90伺服系统：已更新15课
原文始发于微信公众号（剑指工控）：某泵组异常停机的艰难追踪过程
