自动计算机视觉系统分析了风味注释中的空间关系，
机器学习辅助人类对味道的印象研究
研究人员将应用程序 Vivino（整理了 820,000 多条评论）收集的数据与人工品尝调查相结合：“我们使用了一种名为 napping 的技术，即将人们认为相似的葡萄酒分组。在几次盲品过程中，256 名参与者被要求对一小杯葡萄酒进行评论，并将它们放在一张 A3 纸上，以便味道相似的葡萄酒彼此距离最近。”调查记录了总共 5,000 种口味之间的距离，参与者最多品尝了五个年份的葡萄酒，以确保不会出现味蕾疲劳。“然后，我们通过拍摄每一张 A3 纸将参与者的印象数字化。”此后，这些图像中的空间关系由自动计算机视觉系统分析，该系统创建了矩阵来表示葡萄酒之间的相似性。
WineSensed 数据集包含大量图片、用户评论和年份元数据（左上）。在一项大型用户 目标电话号码或电话营销数据 研究中，我们使用“Napping”方法 [Pagès，2005] 收集了 100 多种葡萄酒的风味注释，其中要求参与者根据他们感知到的口味相似性将葡萄酒放在一张纸上（左下）。我们提出了一种算法，将这些数据模态 新加坡电话列表 组合成一个共享表示（右），并发现使用口味注释作为附加模态可以提高下游任务的性能。
汇编结果
为了对结果进行详细的交叉引用分析，研究人员采用了多模式学习方法，结合了研究品酒 可帮助您查看数据随时间的变化 活动的注释、酒瓶上的原产地、酒精含量百分比和品种等信息以及 Vivino 的评论。为了将图像与文本联系起来，研究人员利用了一种名为 CLIP（对比语言图像预训练）的神经网络，该网络从自然语言监督中学习视觉概念。CLIP 与另一种分析品酒参与者注释的工具相结合，以建立这些 2D 表示与所研究葡萄酒的元数据之间的关系。“使用这种方法，我们能够为葡萄酒呈现一个‘风味空间’，其中各个酒瓶之间的距离代表了它们在口味方面的相似性。”
研究人员创建的算法被证明能够比其他仅使用图像和文本等传统数据类型的工具更准确地预测消费者对葡萄酒的偏好，这一成就只有通过创新地加入人类感官印象才有可能实现。Thoranna Bender 及其团队采用的新方法可能还处于早期阶段，但他们的发现可能会引起食品行业的极大兴趣，并为进一步研究铺平道路，旨在阐明我们对味觉的理解。正如 Bender 指出的那样，这项研究采用的方法可以很容易地应用于其他大众市场产品，尤其是咖啡和啤酒。