在对电子投票和纸质投票的安全性进行比较的讨论中，隐私的减少通常是反对远程互联网投票的一种说法。本文提出了针对传统纸质选举物理环境的侧信道攻击。更准确地说，基于Arduino开发板和廉价的驻极体麦克风构建了一种设备，该设备能够高精度地对木桌上标记的位置进行三角测量。
在最佳配置中，能够以90％以上的精度确定尺寸为4×5cm单元格的内容。这将破坏投票设计的隐私性，而选票设计依靠的是选民在一张大纸上印刷的大量候选人之间做出选择的标记。通过对面部识别部署的各个方面的研究来补充攻击，即攻击者在投票站中安装摄像机，旨在自动检测离开投票站的人员。结合这两种方法，将针对基于纸质投票的隐私进行完全自动化（因此可扩展性相对较好）的攻击。
•只应允许有投票权的人参加，
•每个人的投票数相同，
•符合条件的选民应具有投票权，
•选民应能够表达自己的真正偏好，而不会受到胁迫或非法影响。
这些要求又转化为正在使用的投票系统的技术特性。例如，检查资格假定可靠的投票者名单和人员识别机制。统一性和普遍性取决于完整性措施，例如固定投票箱和通过重新计票或选举后审核来验证最终结果。另一方面，投票自由通常通过投票保密来实现。
不同的投票方法能够在不同程度上满足这些要求。例如，远程互联网投票因无法提供无强制性的投票环境而屡遭批评，因为在像投票者的家这样不受控制的远程位置，破坏投票隐保密性是相对容易的；另一方面，物理投票站旨在通过屏蔽亭来加强隐私。
亭内的投票可以通过多种方式进行。最成熟的方法是在一张纸上标记一个人的选择，然后将其放入投票箱。但是，选票有时可能会很大，而填写选票的逻辑可能会很复杂。而且，用手标记选票很容易出错。
为了解决这些问题，这些年来已经开发并尝试了许多辅助技术工具。这些助手包括打卡机和杠杆机；可以使用更先进的设备来准备要打印的选票或以数字方式记录选票，所谓的直接记录电子（DRE）设备。
DRE设备的历史悠久，存在难以察觉的漏洞、较差的设计选择以及随之而来的攻击。在某种程度上，这些问题使在投票过程中使用机器丧失了信誉。因此，有整个社区致力于推动以纸为基础的投票而不是电子投票（例如https://www.verifiedvoting.org/和http://handcountedpaperballots.org/）。
本文认为，此类社区的成员倾向于低估纸质投票的脆弱性以及技术进步对安全性的影响。有许多有据可查的方法可以攻击纸质投票结果的完整性，包括投票箱填充、使墨水消失、设置伪造的投票箱或窃取真实的投票箱等。此外，许多普通的选举攻击，如选区划分或通过设置类似名称的候选人来混淆选民，都适用于纸质投票。
由于候选人的数量通常很大（很容易达到数百人），因此选民必须能够从中进行选择。进行选票设计时，最简单的选择是将选票留空，然后让选民为政党或候选人写上姓名或号码，但这种设计相对较少，在世界上不到十个国家使用。
一个比较流行的选择是将所有正在竞选的候选人列在一张纸上，然后要求选民选择其中的一个（或几个）。结合大量候选人，将获得大张的选票。例下图显示了2017年荷兰大选的工作表，宽约1.5米。
类似的情况在澳大利亚发生，例如在2013年的维多利亚州参议院选举中，有39个政党（包括独立人士）参加了竞选，选票扩大到102厘米。德国的一些地方选举也设有庞大的选票，见下图。
如果投票站提供的整张桌子都被选票覆盖着，那么如果能够检测出标记选票时钢笔发出的声音的位置，就可以揭示出选民的偏好。正如将在下面看到的那样，这种检测可以非常便宜地被实现，同时可以利用台板的物理特性以高精度进行检测。此外，所有攻击工具都可以在桌子下方的选民视线外隐藏。
当垂直列出候选人并且选票范围从表格的顶部到底部时，仅获取检测到的位置的y坐标即可显示选民的偏爱。当然，如果选票表小于表格，则泄露量将减少，但不会为零。例如，如果工作表的长度大于桌子高度的一半，并且标记位置被检测为靠近中心，那么攻击者就会知道没有标记靠近工作表顶部和底部的候选者。如果选票更小，攻击者可能会做出一些概率性的假设（例如，选票放置在靠近桌子中央的位置），并且仍然会获得非零泄露。
请注意，有系统的攻击者可以通过提出一些额外的候选人来扩大选票，结果来自检测标记位置的泄露将增加。
知情的选民可以通过有目的地将选票放在板子的中央（如果需要的话，可以将其部分折叠）来抵制攻击。但是，由于攻击设备可以秘密运行，在某些特定的选票设计案例中，表格在桌子上的放置没有起到很大作用。
首先，在投票站中使用了不同种类的表。尚未对可在现实生活中的投票站表中找到的材料进行任何研究。但是为实验选择了两种不同的材料，即三聚氰胺覆盖的刨花板和粘合木材。选择距离这两种材料尺寸为80×60 cm的盘子来模拟桌子。
在安装设计中要做出的第二个决定是选择声音检测设备。对许多不同的麦克风和压电元件进行了实验，发现使用MAX4466可调增益驻极体麦克风可获得最稳定的结果。可以按原生产商的价格购买5-10美元，也可以从在线生产商和代理商那里以1-1.5美元的价格购买。
第三，需要一种设备来捕获和处理信号。当以原始信号数据为目标时，需要一台具有模拟输入功能的设备。Arduino系列的开发板非常适合完成此任务，并且具有相对便宜的额外优势。选择Arduino Due是因为它的ATMEL SAM3X8E ARM Cortex-M3 CPU运行在84MHz，这是Arduino系列目前可用的最高频率。可以在网上以15美元的价格购买。
Arduino Due的另一个好处是其模数转换器（ADC）可以在所谓的自由运行模式下工作，在该模式下，上一个转换结束后便立即开始下一次转换（与标准模式相反，预定义的周期数ADC在两次转换之间等待）。自由运行模式的好处是其高工作频率（约为600kHZ），但是由于芯片上残留了一些电荷，因此缺点可能是降低了读取精度。然而实验表明，更高的速度大大弥补了这一缺点。
接下来确定了麦克风的数量和位置。经过一番讨论，在桌子的四角摆放了四个麦克风。但是，这不是唯一可能的选择。原则上，增加麦克风的数量可以提高三角剖分的准确性。另一方面，由于Arduino Due（通常为Arduino）只有一个ADC，因此需要顺序执行读取。因此，增加麦克风的数量也将增加相同麦克风的两次读取之间的时间间隔，从而潜在地降低三角测量精度。
找出最佳设置是一个单独的研究问题。从实验结果可以看出，选择已经非常有效。麦克风通过电线和面包板连接到Arduino Due；连接方案如上图所示。希望攻击以隐身模式进行，因此需要将整个系统安装在桌子下面。从下面拍摄的总体实验设置如下图所示。
下一个决定要考虑的麦克风附件。有几种方法可以做到这一点，例如通过将它们钉到板上或钻入。这两种方法各有利弊。钻入具有潜在的更好的声音检测优势，并且还可以选择将麦克风隐藏在桌子脚内。麦克风的驻极体元件的直径小于1 cm，MAX4466麦克风的整个电路板的尺寸约为1×2 cm（见下图）。
如果无法事先接触到桌子，攻击者可以在投票期间进入展位，然后将麦克风和Arduino粘在桌子下面。在这种情况下，攻击者的任务将更加轻松。
在实验中首先通过敲击平板下方的麦克风，然后将它们钻进去，来测量两种情况下的检测精度。最后要回答的问题是在实验期间应精确测量什么。在物理层面上，来自麦克风的模拟输入被采样为信号在采样时所对应的电压。当没有信号时，可以将该电压与参考电平进行比较，并从中得出一些结论。
作为第一种方法，可以查看参考点电压和电流测量值的差异，将其解释为信号幅度的差异。假设信号在桌子上逐渐消失，则最靠近标记点的麦克风应发出最强的信号，然后按距离的顺序排列其他麦克风，从而确定位置。
尝试通过测量每个麦克风所接收信号的总能量来实现这种方法。通常，信号x(t)的能量计算如下：
该数量可以近似为：
其中x(i)表示在读取i时采样的信号幅度。另一种方法是简单地确定第一个麦克风检测到信号超过阈值水平的时刻，并测量时间差，直到其他麦克风检测到该时刻为止。由于不能同时读取麦克风，因此这种方法会有固有的错误，但希望不会太多。
在测试中对这两种方法进行了实验，发现第二种方法可以产生更加可靠的结果。没有研究基于信号能量的三角测量性能较差的原因。但是，可能是次级信号从桌子边缘反弹回来后到达麦克风导致估计的信号能量大于实际能量。另一方面，基于时序的方法没有这些问题-当信号首次击中麦克风时，它很有可能直接传来（或者非常接近麦克风而产生了反弹）。
不能指望其精度超过2厘米，甚至可能会差一些，因为无法同时读取所有麦克风，并且两次读取之间的时间间隔不是恒定的。从积极的方面来说，几厘米的精度足以对各种选票设计进行攻击。对于实验，选择将工作台板划分为4×5 cm的单元格，从而在80×60 cm的板上形成20×12的网格。对于每个单元，使用铅笔在其中心周围产生标记声音。下图显示了带有单元格和标记的胶合木材桌子的图像。
在实际情况下，攻击者将需要做出额外的努力，以将选票标记的声音与由于将表格放在桌子上或从桌子上移开而产生的噪音区分开。为此，攻击者可以调整麦克风的灵敏度水平，或研究记录纸产生的噪声模式。
对于板上的每种刮擦声，记录了四个麦克风中的每个麦克风首先检测到的时刻t1，t2，t3，t4，并存储了相对于最早时刻的时间增量。即，为每个样本存储的数据元组为（t1-t，t2-t，t3- t，t4-t），其中t = min {t1，t2，t3，t4}。
对于分类任务，评估了五种不同的算法– k最近邻（kNN），kNN的加权版本，梯度提升分类器，多层感知分类器和随机森林分类器。下表列出了五种经过测试的分类算法的评估结果。
kNN分类器的基本思想很简单。首先选择一个距离度量来描述两个样本的相似程度。然后，将数据集的一部分用于学习/训练，其余部分用于测试。对于kNN，学习只是意味着将数据集的第一部分保存为一种格式（样本，类别），其中样本是指时间增量的四倍，类别是板上对应的4×5 cm单元格。为了对测试样本进行分类，从训练集中选择了k个最近的样本（根据距离度量），然后选择在这k个最近的样本中代表最多的类别（即表格单元格）。对于kNN分类器，对k值3、5和7进行了实验，使用了三个距离度量标准以及六个可能的权重。
对于两个样本元组u =（u1，u2，u3，u4）和v =（v1，v2，v3，v4），它们的Bray Curtis距离定义为：
对于kNN的加权版本，还需要定义权重。以1/d^e形式的权重进行了实验，e∈{1,2,3,4,5,6}，其中d是选定的距离度量（例如，Bray Curtis）。然后，所得的加权kNN分类器如下工作。
首先有一组训练数据，其中每个样本元组u i具有一个坐标为（xi，yi）的单元格。当一个新的元组v需要分类时，首先根据距离度量选择k个最接近的样本u ，然后从集合S中将其归类为uk。最后将所选的k个样本按相应的单元格分组，并将第i个组的权重定义为：
在所有实验设置中测试分类准确性得出结论，k = 5，Bray Curtis距离和权重指数e = 3的选择平均效果最佳。但是，如果可以事先很好地预测和/或研究投票站的环境（最值得注意的是餐桌材料），则仍有一些改进的余地。
对于四种测试配置（三聚氰胺覆盖的刨花板或粘合木材，以及对麦克风进行录音或钻孔），分别测量了三种精度。
1）准确预测4×5 cm单元格的准确性。
2）在八个方向的每个方向上有1个单元的允许误差（即3×3个单元形成一个12×15 cm矩形）的预测单元面积的准确性。
3）预测正确的4 cm宽色谱柱的准确性。
最后一个度量对应于攻击场景，在该场景中，攻击者对特定候选人不感兴趣，而对选民的政党偏爱感兴趣，因为在选票单上，同一政党的候选人通常被聚集在同一列中。
对于所有测试，执行了10倍交叉验证。也就是说将实验数据分为10个随机子集，并使用每个数据对来自其余9个子集的训练集进行验证，下表给出了进行500次实验的平均结果。
从表中观察到，在三聚氰胺覆盖的刨花板上可获得最佳结果。与由多个粘合在一起的（非均质）木板组成的粘合木板相比，最可能的原因是该材料的性质更加均匀。
当攻击者设法将麦克风钻到刨花板桌面板上时，在一个4×5 cm单元的范围内，他可以达到90％以上的精度，在一个12×15 cm单元的范围内，可以达到98％以上的精度。即使只有录音选项可供攻击者使用，他的预测准确性（取决于他感兴趣的区域）也大约为80-90％。
当然，使用（超）声波来研究不同材料的特性的想法并不是什么新想法，难以实现的是精度、易于构建最终设备、低价格和小尺寸。对于中等水平的攻击者来说，创建这样的设备绝对是负担得起的，并且可以访问。
除了建立加权kNN方法的良好平均性能外，在所有实验中计算了所有单元格中错误检测到的样本的比率，结果如下所示。得出的结论是，尽管偶发的单元错误率高达40％，但这些似乎没有系统性的偏差。
当攻击者利用攻击破坏投票隐私时，他只是实现了目标的一部分。仅仅知道某些投票的价值并不太有趣，攻击者通常还需要找出谁提交了这些投票。有权访问这两个信息的部分，他可以发起胁迫攻击。
当攻击者针对特定的选民群体时，他可以先在展位桌下方安装们的商标三角剖分设备，然后假装成为公众观察员。通过观察投票站，他可以记下谁在什么时候退出投票站，然后再将他的记录与设备记录并带有时间戳的投票进行交叉引用。
但是，这种攻击的程度将受到攻击者留在一个投票站（和/或雇用可以覆盖多个地方的协作者）的能力的限制。因此，扩大攻击范围的关键是自动检测选民。该检测机构应该是非侵入性的，可以远距离工作并且具有相对较高的精度。选择这种机制非常简单-面部识别。
人脸具有很高的特征，通常不会被遮盖。生物统计学的这一子领域已经得到了充分的研究，攻击者可以轻松地使用许多工具。这些方面使得面部识别对于攻击者而言是一种易于使用的工具。
构建面部检测系统的任务又可以分为两个子任务。首先，攻击者需要安装/访问照相机以进行图像捕获，其次，他需要后端来运行实际的面部识别软件。
根据当地传统，第一个子任务可能相对容易完成。有几个国家/地区在投票站中预先安装了摄像头，以此来建立信任。尚未对此类设置中的摄像机进行过任何研究，但出于预算和设置简单的原因，认为很可能经常使用便宜的IP摄像机。但是，IP摄像机以较低的安全标准而臭名昭著，它允许恶意攻击者访问其流和图像，替换固件等。如果摄像机不是投票站标准设置的一部分，则攻击者将需要自己获取并安装它们。IP摄像机的在线购买价格为20美元起，因此最大的实际问题是将其安装到投票站。
最直接的方法是将摄像机与台板标记三角剖分设备同时直接放置到投票站中。但是，与后者相反，摄像头必须在视线范围内，如果没有在简约隔间中进行检测，可能很难做到这一点。
第二个办法是将摄像机放置在投票站的某个地方，以便记录走出展位的人的脸。该策略的成功取决于摄像机的尺寸和颜色以及投票站的一般环境，是否有隐藏视频设备的好地方等。
解决隐藏相机问题的一种方法是根本不隐藏相机。即使当地的选举传统不包括建立信任摄像机，攻击者仍然可以声称自己是选举观察员，有兴趣确保例如不会发生投票箱塞满的情况。由于在投票站外发生的事件并非真正私密，选举官员将很难反对这种监视。为了掩盖，攻击者甚至可以与其他完全合法的观察者共享摄像机。
实际上，在由相机生成的图像/流上运行面部识别算法的子任务要求更高，因为这些算法需要大量的计算能力。根据攻击情况，攻击者可能会在选举期间保存摄像机流，并花所有时间在以后进行处理，或者可能对近实时面部识别感兴趣。
对于计算面部检测后端，攻击者还可以选择几种方法。可能最简单（且最便宜）的设置是使用现有的基于云的服务。例如。微软正在其Azure云平台上提供Face API。$ 100可以使攻击者获得100,000个检测，这足以应付相对大规模的隐私侵犯（即使考虑到可能有多个交易花在一个选民身上）。另外，他将需要为每存储1000张面孔支付0.25 $，这仍然是非常合理的。
使用托管服务的主要问题（除了留下大量的数字足迹供执法部门使用外）是攻击者的不可靠性。在某个时候可能会检测到大规模的购买尝试。像Microsoft这样的商业云提供商已经充分意识到了此类服务的隐私风险，并可能愿意与执法机构合作，并在第一时间就阻止该服务。
请注意，将所有摄像机放下将需要更多时间，尤其是在隐藏摄像机的情况下。另一方面，如果摄像机还具有建立信任的公共功能，则将其拆除将需要调查哪些摄像机属于隐私侵犯攻击的一部分，哪些不是。为了使调查复杂化（并因此延长），攻击者可能会安装一些仅出于合法目的的摄像机。
如果投票期很短（例如一天），那么攻击者可能会在一瞬间丢失整个计算后端的风险，也可能无法接受。作为替代，他可以尝试自己构建计算面部检测服务。为了评估这种方法的成本，设置简便性以及由此产生的检测质量，决定从通常可访问的硬件和软件组件中构建一个完整的面部识别系统。
硬件平台包括Intel i5-2310 CPU和nVidia GTX 1070，带有8BG板载RAM作为GPU。在撰写本文时（2018年秋季），GTX 1070是中高级图形卡，新价格为400欧元左右，二手价格为200-300欧元。与大多数nVidia卡一样，它也支持CUDA框架，从而使其吸引了从加密货币挖掘到机器学习的广泛应用。桌面配备了720p Logitech网络摄像头和Ubuntu 18.10 OS。
该装置部署在普通的办公环境中，摄像机指向入口走廊。为了测量检测距离，在距摄像机每满一米的地方都在地板上粘贴了标记，63位在办公室工作的志愿者作为测试对象。每个主题的一张图像用于训练识别系统，进行了两个实验。首先，对实时检测的质量感兴趣。其次还保存了视频流，以确定在留出一些额外时间进行后处理时可以达到的检测精度。
第一个实验的准确性是由观察员手动测量的，观察员为以自然方式通过的列出的志愿者写下了检测结果。另外，记录了检测时被摄对象离相机的大概距离。
面部识别脚本由三个主要部分组成。首先，它必须处理视频源中的一帧并找到面部的位置。接下来，它必须为找到的面孔创建编码。最后，找到的编码必须与对应于志愿者面部的编码相匹配。使用Python的face_recognition工具包5来创建和比较编码。人脸由基础dlib库编码，该库返回代表相应人脸的128个元素的实值特征向量。
一旦脸部被定位并被编码，比较编码就很简单了，例如通过他们的欧几里得距离来找到最接近的匹配项，就像face_recognition工具包所做的那样。
但是，困难的步骤是在图像上找到脸部的位置。有几种方法可以解决此任务，而且它们在计算上都非常昂贵。dlib库允许使用基于GPU的卷积神经网络（CNN）检测面部位置。另一个公认的选择是使用OpenCV工具箱中的Haar Cascades方法。
两种方法都有其积极和消极的一面。dlib的CNN甚至可以检测到倾斜的人脸。但是，这对计算要求很高，与Haar Cascades相比，它仅允许使用大约一半的帧速率。在实时设置中使用CNN时，最多可以检测到3-4米的距离，而Haar Cascades可以识别两倍距离的脸部位置。
Haar Cascades的缺点是面部位置的误报率，但是这并不重要，因为可以手动测量准确性，并且只对具有匹配项的面部编码感兴趣。因此，选择Haar Cascades作为面部位置检测方法。结果是，实验的这一部分根本没有真正使用GPU加速，因此相应的攻击要便宜得多。
在进行带有后处理的第二个实验时，性能限制并不那么严格。能够利用运行dlib的CNN实现的GPU的全部功能来进行面部检测。但是，根据视频的确切分辨率，检测时间比视频本身的持续时间长约5-10倍。攻击者可以通过将流分成较小的块并进行并行处理来加快挂钟时间。另一方面，这需要对GPU硬件进行较大的投资。
面部检测后处理脚本的输出由操作员进行评估，以比较脚本输出和视频的准确性。同样，基于流中可见的仪表标记记录了大约的检测距离。
仅当该方法从面部数据库中识别出一个人时，才执行准确性评估，而仅当它能够在图像上找到某个面部的位置时，才执行准确性评估。准确度定义为所有人员标识中正确标识的份额。总体而言，在测试基于CPU的实时检测时，能够获得101个识别样本，而对于基于GPU的后处理，则能够获得151个样本。面部识别实验的结果如下图所示。该图显示了准确性和检测距离之间的关系。
基于CPU的实时检测的总体平均准确度为67.33％，正确检测的平均距离为3.51米。借助基于GPU的后处理，平均准确度提高到74.17％。正确检测的平均距离增加到了（仅）3.76米，但是从图可以看到，在整个距离谱上，检测质量更加稳定，最大检测距离提高到了8米（相比之下，最大检测距离为6米）。再次强调，这些结果是根据每个测试对象的一张图像获得的。增加图像的数量（和质量）也可能会提高检测精度。
如果攻击者不能选择构建和运行专用的面部检测后端，则他可以尝试通过将计算机本地连接到每个摄像头来分发任务。万一他喜欢隐藏设置，那么使用大型台式机甚至笔记本电脑可能是不受欢迎的。
作为替代方案，攻击者可以考虑使用连接到每个摄像机的小型单板计算机。在ODROID C2上尝试了这种情况，它具有ARM CortexA53 1.5Ghz四核CPU，Mali-450 GPU和46美元的价格。其主要竞争对手Raspberry Pi 3具有更好的GPU，但CPU较弱，并且dlib和OpenCV库都不支持这两个GPU，因此无论如何都需要在CPU中进行计算。由于可以在主要实验中使用基于CPU的设置来获得合理的实时检测性能，因此也有希望在单板平台上获得良好的结果。
nVidia Jetson TX产品线可为机器学习应用提供小尺寸和高性能的理想组合。例如，在CUDA性能方面，GTX 1070和Jetson TX2几乎相等。由于拥有高端芯片由于是相对较新且缺乏竞争的产品，Jetson开发板的价格高于普通的单板计算机（取决于配置，价格在300-500美元左右）。
在本文中描述了一种新的侧信道攻击，适用于多种纸质选票设计。在最佳设置下，检测板上正确的4×5cm单元格的平均精度超过90％。当将此设备与用于面部检测的适当解决方案结合使用时，攻击者可以完全自动化破坏纸质投票的隐私权。反过来，攻击自动化是可扩展性的必要先决条件。
实际上，攻击的最大瓶颈不是在投票站中安装设备的难度，而是面部识别所需的基础设施和计算能力。当前，实时现场检测似乎假定主要用于执法的硬件和软件都是可用的。
在后端使用商业面部识别服务存在风险，因此攻击者的主要选择是自己构建这样的后端。这需要不平凡的开发工作以及对硬件的不平凡的金钱投资。攻击的总体成功将取决于攻击者应对这些挑战的能力。
同时，新技术（如现成的Web框架和匿名加密货币）的可用性已使攻击的其他部分（如收集面部特征数据库和自动匿名转让）变得更加容易。在选票非常大的情况下，侧信道效果最好。但是，发生这种投票的渊源很深。向选民介绍所有候选人是一个挑战，正如研究表明的那样，这可能会带来新的隐私问题。解决这种目标冲突需要在社会上进行更大范围的讨论，从而就未来将要部署的新安全措施达成协议。
- 结尾 - 精彩推荐 【技术分享】BIAS：蓝牙冒充攻击 【技术分享】印度统一支付接口和支付应用程序的安全性分析 【技术分享】减轻对旧版Web应用程序的SQL注入攻击 戳“阅读原文”查看更多内容 原文始发于微信公众号（安全客）：【技术分享】一种针对纸质投票的可扩展侧信道攻击
