智能织物也会机器学习？你的可穿戴设备体验可以更进一层

文 / 研究员 Alex Olwal，Google Research

纺织品可以通过提升设计感、人体工程学体验、改善舒适度，帮助我们将技术融入到生活环境和日用品中。一些消费类设备已经开始通过将这些特殊材质结合到智能音箱和耳机线中来利用这一机遇，而材料和柔性电子器件领域取得的进展也使将传感器和显示装置嵌入柔软衣物（例如夹克、裙子和毛毯）成为可能。

具备嵌入式触摸感应、手势识别和视觉反馈功能的可扩展交互式智能织物架构

在《智能织物微互动》(E-textile Microinteractions)（ACM CHI 2020 会议提出）中，我们将交互性融入柔软的设备，并展示了机器学习 (ML) 如何与交互式织物相结合，从而实现离散和连续手势的并行使用。这项研究拓展了之前推出的智能织物架构（ACM UIST 2018 会议提出）的用途。研究围绕绳线展开，因为它可用作服装的拉绳，也可以作为各类设备和电源的连接线。借助纺织品的编织技术，我们使用重复矩阵拓扑方法将手势感应和视觉反馈功能集成到织物表面。

• 智能织物微互动
  https://dl.acm.org/doi/abs/10.1145/3313831.3376236

• 智能织物架构
  https://dl.acm.org/doi/abs/10.1145/3242587.3242638

了解其中原理，请观看视频：

智能织物微互动的视频

有关织物架构的视频

将连续感应与离散和握紧动作相结合的智能织物微交互

了解更多，请观看我们今年 TensorFlow Dev Summit 上的介绍：

螺旋感应矩阵 (HSM)

编织一般是指用三股或更多股原料进行对角交织。尽管编织在传统上更注重美观和结构完整性，但也可用于实现传感和显示功能。

鉴于细绳可以通过电容感应来检测基本触摸手势，我们开发了一种 螺旋感应矩阵 (Helical Sensing Matrix，HSM)，以实现更大的手势空间。HSM 是一种线状编织物，采用绝缘导电纺织纱线和纱线支撑而制成，其中位置相对的纱线具备 传输 和 接收 电极的作用，由此便可实现手动电容感应。HSM 交叉位置的电容耦合由用户的手指进行调节，由于这种编织模式在整条细绳上不断重复，所以在细绳上的任何位置都可以感应到这些交互。

左：基于 4×4 线状编织物（核心四周围绕了 8 根导电线）的螺旋感应矩阵。洋红色/蓝绿色的是导电纱线，发挥接收/传输作用。灰色的是纱线（棉质）；中：矩阵横截面图，展示了无数个 4×4 矩阵 （彩色圆圈 0-F），这种模式在整条细绳上重复；右：黄色的是光纤线，负责提供视觉反馈

旋转检测

一个重要规律是 HSM 中的两个轴向柱共用一组电极（并在矩阵横截面图中以彩色标出），这两个轴向柱在彼此的正对面。因此，捏和旋转细绳会激活一组电极，我们可借此追踪这些轴向柱的相对运动。旋转检测可识别随时间变化的正弦信号集（90º 抵消）的当前相位。线状编织物结构使用户能够在任意位置进行旋转，还可使用一小组电极进行扩容。

旋转角度可以从轴向柱的水平手指运动推断得出：下方的平面图展示了相对电容信号强度，该强度会随着手指间的距离而变化

交互技术和设计准则

智能织物结构使细绳具备触摸感应能力，但与刚性触摸表面相比，其柔软性和可延展性限制了适当的交互。考虑使用这种独特材料时，我们的设计准则强调：

• 手势简单。我们要设计简短交互，用户要么做出单一的离散手势，要么进行持续控制。
  

• 闭环反馈。我们想帮助用户发掘功能，并从他们的操作中获得持续反馈。条件允许时，我们会在设备中集成视觉、触觉和听觉反馈。

根据以上原则，我们利用智能织物架构，凭借感应距离、面积、接触时间、旋转和压力的能力打造交互技术。

智能织物可根据距离、接触区域、接触时间、旋转和压力的电容感应实现交互

如果细绳包含可显示不同强度颜色的光纤线，则能为用户提供实时动态反馈。

编织光纤线可给人造成定向运动的错觉

动作手势和抓握手势

我们开展了手势触发调查，发现了扩展手势集的机会。受这些结果的启发，我们决定研究五种动作手势，包括轻弹和滑动，以及单点触摸手势（捏、抓和拍）。

针对设想的触摸感应方式的手势触发研究

我们收集了 12 位新参与者的数据，共得到 864 个手势样本（每人各做八个手势，重复九次），每个样本有 16 个特征，随时间线性插值得到 80 个观察结果。参与者按自己的风格做八个手势（不提供反馈），这是因为我们想要适应个体差异，毕竟分类高度依赖于用户风格（“接触”）、偏好（“捏/抓的方式”）和个体差异（如手掌大小）。为此，我们专门为依赖于用户的训练设计了流水线，以便涵盖不同参与者之间的个体风格差异，例如对顺时针/逆时针的使用不一致、表示时间的手势中存在重叠（例如，轻弹与轻弹和握住，以及类似的捏和抓手势）。对于不依赖用户的系统，我们需要解决如下差异：更严格的一致性说明，来自更大人群的数据，以及更多样化的环境等。训练期间的实时反馈将有助于减少差异，因为用户会学习调整其行为。

十二位参与者（横轴）重复做出 九 次（动画）八种手势（纵轴）。每个子图像显示 16 个重叠特征向量，随时间插值得到 80 个观察结果

我们利用八次重复进行训练，并利用剩下的一次进行测试，从而对每位用户的手势进行交叉验证。经过九次排列，实现了约 94% 的手势识别准确率。这个结果令人鼓舞，特别是在考虑到如此低分辨率的传感器矩阵（八个电极）能够实现的表达度的情况下。

这里值得注意的是，重复传感矩阵中的内在关系非常适用于机器学习分类。我们研究中使用的 ML 分类器可对有限数据进行快速训练，使依赖于用户的交互系统具备可行性。根据我们的经验，训练典型手势所花的时间不到 30 秒，这相当于训练指纹传感器所需的时间。

不依赖用户的连续扭转：量化精度和速度

根据用户特征训练的手势识别生成了八种新的离散手势。对于连续交互，我们还想量化 不依赖用户的 连续扭转在精细任务上的表现。我们使用两种基准比较智能织物，一种是电容式多点触控触摸板（“滚动”）以及熟悉的耳机线远程控制（“按钮”）。我们设计了一个实验室研究，使用上述三种设备在目标任务中控制一维运动。

我们分析了 1800 次试验的三个因变量，涵盖 12 位参与者和三项技巧：任务耗时（毫秒）、总动作以及试验结束时的动作。参与者还通过排序和评论提供了定性反馈。

我们的定量分析表明，智能织物的扭转速度比现有耳机按钮控制快，与触摸表面的速度相当。定性反馈还表明，相比于耳机控制，参与者更喜欢智能织物交互。

左：经过加权平均处理的主观反馈。我们将李克特 7 点量表映射成 [-3, 3] 范围内的分数，并乘以技巧得到该评分的次数，然后计算所有得分的平均值。右：目标距离的平均完成时间显示按钮的速度一直较慢

考虑到与刚性输入设备相比，我们的智能织物更加灵敏，这些结果就格外有趣。表达性或许能够解释这些结果。用户可以快速或缓慢地扭转细绳的任意位置，这些操作对称且可逆。耳机上的传统按钮需要用户找到对应位置，并且需要为了进行操作而改变握法，此限制会增加按错按钮的成本。我们使用高通滤波器限制偶然的皮肤接触，但还需进行后续工作以强化稳健性，并评估实际使用时的长期效果。

手势原型：耳机、卫衣拉绳和音箱线

我们设计了不同的原型以展示智能织物架构的功能：控制手机上媒体播放的智能织物 USB-C 耳机、带有隐形音乐控制功能的连帽衫拉绳；智能音箱的手势控制交互线。

左：单击 = 播放/暂停；中：双击 = 下一首；右：滚动 = 音量 +/-

   

同时使用连续（扭转/旋转）和离散手势（捏/拍）来控制音乐播放的交互式音箱线

结论和未来方向

我们引入交互式智能织物架构来实现嵌入式传感和视觉反馈，它可在紧凑的织物外形中实现精确的小规模和大规模动作。

借助此项研究，我们希望推动织物用户界面的发展，促进微互动在未来穿戴式界面和智能织物领域的应用，打造无需注视就能实现操控的交互方式，让随意、紧凑和高效的输入造福用户。我们希望智能织物在保持设计感和人体工程学体验的同时，能启发研究人员借助可扩展技术增强实体物品的功能。

致谢

此项研究由 Google 多个团队合作开展。本项目的主要贡献者包括 Alex Olwal、Thad Starner、Jon Moeller、Greg Priest-Dorman、Ben Carroll 和 Gowa Mainini。感谢 Google ATAP Jacquard 团队与我们合作，尤其要感谢 Shiho Fukuhara、Munehiko Sato 和 Ivan Poupyrev。特别感谢 Google Wearables，以及 Kenneth Albanowski 和 Karissa Sawyer。最后，我们要感谢 Mark Zarich 提供配图，感谢 Bryan Allen 提供视频，感谢 Frank Li 帮助处理数据，感谢 Mathieu Le Goc 提供宝贵意见，感谢 Carolyn Priest-Dorman 在编织物方面提供建议。