听觉学习影响半自动驾驶安全

听觉学习对半自动驾驶安全的影响

引言

车辆自动化正变得越来越普遍。大多数汽车制造商（例如，丰田和宝马集团）以及许多科技公司（例如，谷歌）一直在研究车辆自动化（Trimble et al., 2014）。自动化等级从0级（无自动化）到5级（完全自动驾驶）（SAE, 2018）。2020年市面上大多数可购买的半自动驾驶车辆属于2级到3级自动化。2级车辆包括自适应巡航控制和车道居中功能。在特定条件下，驾驶员可以不再直接操控车辆，但车辆可能会在没有提前警告的情况下交还控制权（Trimble et al., 2014）。3级车辆应能够在特定交通和环境条件下接管所有安全关键功能。驾驶员可能需要偶尔介入，但应有充足且舒适的过渡时间（Trimble et al., 2014）。严格来说，2020年生产的市面上没有可购买的车辆完全符合3级自动化的标准，但少数车辆被归类为介于2级和3级之间的车辆自动化（例如，特斯拉 Autopilot）。这些level‐2+车辆能够在特定条件下控制车辆，但仍需要人类驾驶员进行监控并在必要时干预（Kyriakidis et al., 2019）。持续提高车辆自动化等级具有优势，因为自动化可以提升安全性并减少交通事故数量（Litman, 2017）。车辆自动化还能降低驾驶员的心理工作负荷，使驾驶员能更自由地参与次要任务（Biondi et al., 2018）。由于半自动驾驶相对较新，针对半自动驾驶情境下次要任务影响的研究相对较少。当前研究的目的是探讨在半自动驾驶条件下，听觉学习任务对驾驶安全的影响。

驾驶过程中执行次要任务是一种多任务处理，会占用原本可用于道路监控的认知资源。认知资源的容量有限，多任务处理会导致大多数人的任务表现下降（Watson & Strayer, 2010）。然而，多任务处理对驾驶的影响似乎取决于驾驶员所执行的次要任务类型。进行手机通话被发现是不安全的，会增加刹车反应时间并损害驾驶员的物体检测能力（斯特雷耶等人，2015；斯特雷耶和约翰斯顿，2001年）。听收音机或有声读物则被发现不会干扰驾驶员检测交通信号的能力（斯特雷耶和约翰斯顿，2001年）。根据斯特雷耶等人（2011）的研究，这可能是因为手机通话对驾驶员的认知处理资源需求较高，而听收音机或有声读物的任务对驾驶员的认知处理资源需求较低。

根据这些研究发现，在非自动驾驶情境下驾驶时，听收音机或有声读物是一种安全的次要活动。如果半自动驾驶比传统手动驾驶释放更多的认知资源，那么在半自动驾驶期间听收音机或有声读物应该会更加安全。然而，驾驶安全问题可能并不像降低驾驶员的认知负荷那样简单（班克斯等人，2014）。

发现收听广播和收听有声读物不会影响驾驶能力的研究是在近20年前进行的（斯特雷耶和约翰斯顿，2001年）。当时的人工智能领域尚未发展到能够支持半自动驾驶的水平。斯特雷耶和约翰斯顿（2001年）研究中的参与者在整个实验过程中始终以模拟手动驾驶任务作为主要任务，因此可能将大部分认知资源投入到主要驾驶任务中，而将较少的认知资源分配给次要听觉学习任务。然而，在半自动驾驶情境下，研究发现驾驶员会脱离驾驶过程，达到“脱离回路”的状态（比昂迪等人，2018年）。这种在半自动驾驶情境下的心理脱离对驾驶员构成了独特的挑战。

驾驶员可能在长途驾驶开始时完全专注于主要驾驶任务。但当驾驶员将车辆设置为半自动驾驶模式并从主要驾驶任务中脱离时，他或她可能会越来越多地将认知资源投入到次要任务上，例如通过有声读物进行听觉学习。此时，驾驶员投入到次要任务上的认知资源超过了主要驾驶任务。当车辆通过警告信息请求驾驶员接管控制时，问题就出现了，此时驾驶员需要重新投入并重新优先分配认知资源回到主要驾驶任务上。重新确定任务优先级并重新分配不同层次认知资源的过程可能对驾驶安全产生负面影响（鲁宾斯坦等人，2001年）。这是半自动驾驶情境所面临的独特挑战，因为在传统手动驾驶情境中，驾驶员很少有机会从主要驾驶任务中脱离到需要重新确定认知资源优先级的程度。

有人可能会认为，参与听觉学习仍然是一项认知负荷相对较低且不涉及视觉感知的任务；因此，其对驾驶员在半自动驾驶情境下监控道路能力的干扰应降至最低（萨尔武奇和塔特根，2008年；舒马赫等人，2001年）。认为听收音机或音频书籍认知负荷较低这一观点的问题在于，音频媒体存在多种不同类型。音频媒体的例子包括无歌词音乐、有歌词音乐、单人演讲的谈话节目、多人演讲的谈话节目、叙事类有声书、说明类有声书等。即使仅考虑有声书，也仍存在不同体裁。例如，叙事类书籍（如小说和自传）在结构上通常比劝说性文本更简单（比尔斯和纳吉，2009年）。类似大学教材的说明类文本则通常较为复杂，在层级结构上较为复杂，具有三到四个结构层次，每一层都有相应的标题（勒马里埃等人，2008年）。与建筑或工程相关的、需要调用个体视觉‐空间草图板的文本，也可能干扰驾驶员对道路的监控能力。更复杂的音频文本类型可能导致认知负荷增加，在半自动驾驶过程中成为主要任务，从而影响驾驶员监控道路的能力。如果认知资源需求足够高，次要任务即使在半自动驾驶情境下也可能成为安全问题。

当前研究首次探讨了在半自动驾驶情境中聆听复杂的多层次说明性文本的影响。测量了听觉学习对驾驶员反应时间、感知任务负荷和学习效果的影响。

方法

参与者

来自一所大型公立大学的58名参与者参与了这项研究。参与者为来自心理学被试库的大学生年龄群体（女性= 80%）。

材料与程序

Participants took part in three separate sessions using desktop computer workstations, with three participants per session. The desktop computers were HP ProDesk 600 G2 models equipped with HP Elite Display E222 monitors. Each computer was fitted with over-ear headphones. The computers ran Windows 10 and E-Prime psychological research software for tracking reaction times. Participants sat approximately two feet from the monitor and wore headphones throughout the experiment.

该研究采用被试内设计，每位参与者经历了三个连续阶段。总体研究设计见表1。在会话1中，参与者在台式计算机上体验模拟半自动驾驶，但不听取音频文本。在第2阶段，参与者收听一段音频文本（无模拟驾驶），并在最后回答自由回忆问题。在第3阶段，参与者同时进行模拟半自动驾驶并收听音频文本，并在第3阶段结束时回答自由回忆问题。除了回忆问题外，参与者还在每个实验阶段结束后完成NASA任务负荷指数（NASA‐TLX）问卷（哈特，2006年）。

表1 总体研究设计

第1和第3次实验包含模拟半自动驾驶情境。实验人员使用手机摄像头录制了两段高速公路驾驶视频。第1阶段的视频时长为154秒，包含10条警告信息。第3阶段的视频时长为205秒，同样包含10条警告信息。警告信息列表包括“前方有车辆”、“保持车道”、“燃油不足”和“胎压过低”等。警告信息以红色文本框的形式显示在屏幕底部中央（参见图1）。警告信息文本框在计算机屏幕上的实际尺寸约为1英寸×0.5英寸。每条警告信息显示持续一秒钟。10条警告信息在预设的时间点出现。例如，第一条警告信息出现在第2秒，第六条警告信息出现在第61秒，第九条警告信息出现在第1阶段的第125秒。大多数警告信息与驾驶视频中的实际事件相对应。例如，其中一条警告信息为“车辆超车”，与一辆快速行驶的车辆从左侧超车的事件同时发生。而其他一些警告信息，如“燃油不足”和“胎压过低”，则不与视频中的实际事件对应。

在第1和第3次实验中，参与者被要求监控模拟半自动驾驶情境，并在屏幕上看到警告信息后立即按下空格键。警告信息出现至参与者按键之间的时间被记录为反应时间延迟。

第2和第3次实验包含了两段改编自另一项关于听觉学习研究的音频文本（陈和洛奇，2018年）。这些音频文件由亚马逊Kindle的文本转语音引擎从纯文本格式生成。这两段文本被归类为工程类文本，内容均与飞机飞行有关。第2阶段的音频文本涉及阻碍飞机飞行的力，第3阶段的音频文本涉及支持飞机飞行的力。第2阶段的音频文本时长为154秒，第3阶段的音频文本时长为205秒。要求参与者在两个实验阶段中聆听录音以理解内容。在录音结束后，参与者首先完成NASA‐TLX调查，然后回答自由回忆问题。

参与者以三人一组的形式参加研究。每位参与者均按相同顺序完成三个实验阶段：1）仅半自动驾驶，2）仅听觉学习，3）半自动驾驶与音频学习。视频和音频刺激材料由E‐Prime控制。NASA‐TLX调查和自由回忆问题通过Qualtrics呈现。在每个实验阶段开始前，参与者会先观看一个示例，以熟悉该阶段的刺激材料。要求参与者保持就座，直到组内所有三名参与者均完成全部三个实验阶段。最后，全体参与者统一接受实验后说明并解散。

结果

警告信息反应时间延迟

从警告信息开始到参与者按键的时间被计算。如果参与者遗漏了警告信息，则该次遗漏的按键不计入该参与者的平均反应时间延迟。我们的结果表明，参与者在驾驶与学习条件下的反应时间延迟（M=792.26 ms，SD=153.96）长于仅驾驶条件（M=729.64 ms，SD=168.55）。重复测量方差分析表明，这种差异具有显著性，添加听觉学习任务对半自动驾驶中参与者的反应时间延迟产生了较大影响 [F(1, 57)=8.66, p<0.01, η௣²=0.132]。

音频学习—自由回忆表现

对仅学习条件和驾驶与学习条件进行了分析。在仅学习条件下，参与者需要回答六个自由回忆问题，共六分。在驾驶与学习条件下，参与者需要回答八个自由回忆问题，共八分。参与者的自由回忆表现由四名评分者根据陈和洛奇（2018）研究改编的评分标准进行评分。评分者间信度达到80%；后续的评分分歧通过讨论解决。参与者的表现在每个条件下通过其得分平均值除以该条件下的总可能得分来计算。驾驶与学习条件下的参与者（M=0.32，SD=0.19）的回忆表现比仅学习条件下的参与者（M=0.48，SD=0.30）更差。重复测量方差分析表明，这种差异显著，且添加听觉学习任务对参与者的回忆表现具有较大影响 [F(1, 57)=26.48，p<0.01，η௣²=0.317]。

NASA任务负荷指数评级

参与者在每次呈现三种实验阶段的刺激材料后完成了NASA‐TLX调查。参与者被要求评估他们在该实验阶段的工作负荷水平。NASA‐TLX调查包含六个问题，用于评估参与者的自我感知心理需求、任务时间压力、努力程度、生理需求、挫败感水平和自我评估的表现水平。参与者在0‐100的量表上进行评分，其中0表示最低，100表示最高。例如，努力程度得分为12表示努力程度非常低，得分为50表示中等程度的努力。表现水平的问题进行了反向编码——该项目得分越高，表示表现越差。重复测量方差分析表明，实验阶段条件（仅驾驶、仅学习、驾驶与学习）对参与者对任务负荷的自我感知具有显著影响 [F(2, 114)=102.64, p<0.01, η௣²=0.643]。将每个实验阶段的六项任务负荷指标取平均值后发现，参与者认为仅驾驶阶段的任务负荷最低（M=13.52, SE=1.34），其次是仅学习阶段（M=25.24, SE=2.02），而驾驶与学习阶段的任务负荷需求最高（M=39.64, SE=2.44）。对实验阶段操作的成对比较表明，所有成对比较均具有显著性（p<0.01）。图2总结了各单项指标评分的结果。

讨论

总体发现

本研究调查了在模拟半自动驾驶情境中听觉学习的影响。20年前的研究发现表明，听觉学习不会干扰驾驶表现（斯特雷耶和约翰斯顿，2001）。然而，一项较新的研究发现，驾驶员在计算机辅助的半自动驾驶情境中可能变得越来越脱离驾驶任务（比昂迪等人，2018年）。脱离驾驶任务的驾驶员可能会优先关注听觉学习而非监控道路，从而导致反应时间变慢并影响安全性。

当前研究的研究发现表明，听觉学习可能会对半自动驾驶情境下的驾驶安全产生负面影响。在驾驶与学习阶段，参与者对警告信息的反应速度比仅驾驶阶段更慢。这种影响可能部分是由于多任务处理所致。然而，多任务处理的概念并不能完全解释反应时间变慢的现象，尤其是先前的研究已经表明，听觉学习对驾驶表现没有显著的负面影响（斯特雷耶和约翰斯顿，2001年）。更可能的原因是，参与者需要重新分配其认知资源，从而导致了显著的反应延迟。参与者认为听觉学习任务（M=25.24）比仅驾驶任务（M=13.52）更具任务负荷需求。仅音频阶段和仅驾驶阶段的任务负荷需求之和几乎等于合并阶段的任务负荷需求（任务负荷需求总和为38.76；驾驶与学习阶段的合并任务负荷需求为39.64）。任务负荷评分表明，参与者在各个实验阶段中对任务负荷的感知具有一致性，并且他们将更多的认知资源分配给了听觉学习任务。听觉学习较高的任务需求可能导致参与者在结合听觉学习与半自动驾驶的实验阶段中优先处理听觉学习任务。当警告消息出现在屏幕上时，驾驶员可能需要将任务优先级从听觉学习重新转移到驾驶上。这种认知资源的重新优先排序和重新分配最有可能导致反应时间延迟增加（鲁宾斯坦等人，2001年）。反应时间延迟的增加反过来可能影响驾驶安全。未来的研究可以通过眼动追踪等在线测量指标来验证这一重新分配理论。

尽管近期研究发现表明，半自动驾驶对驾驶员的需求降低到可能导致驾驶员脱离任务的程度（比昂迪等人，2018年），但我们的研究发现表明，驾驶员仍然为此任务投入了显著的认知资源。学习效果数据显示，参与者在进行多任务处理时的学习效果明显差于仅专注于听觉学习时的表现。这些研究发现意味着，尽管在本实验中半自动驾驶被评价为任务负荷需求最低的任务，但其占用的认知资源仍足以影响学习表现。较低的学习表现可能是由于多任务处理或认知优先级重新分配所致。利用半自动驾驶时间进行听觉学习的 commuters 可能会发现学习环境并不理想。

对法医从业者的启示

在引用当前研究的研究发现时需谨慎。首先，当前研究包含三个短暂的实验阶段。这三个实验阶段的总任务时间少于30分钟，且不包括指导和事后说明所花费的时间。疲劳可能并未对当前研究的研究发现产生影响。如果将Biondi 等人 (2018) 的研究发现与当前研究的发现结合起来，反应时间延迟的观察效应很可能与驾驶持续时间相关——在半自动驾驶情况下驾驶时间越长，对警告信息的反应速度就越慢。

其次，当前研究中观察到的实际反应时间延迟为62.62毫秒。这一时间延迟具有统计学显著性，但在自然的半自动驾驶情境中，可能并不会立即转化为明显的危险。还需要开展更多研究，以推断在自然半自动驾驶环境中反应时间延迟与疲劳之间的关系。

总之，法医从业者在参考当前研究时需要谨慎。关于听觉学习在半自动驾驶情境中的影响，还有很多工作有待开展。

局限性

当前研究存在若干局限性。首先，本研究为实验室研究，对真实半自动驾驶情境的普遍性有限。其次，研究使用了离线测量指标（NASA‐TLX）来评估参与者的任务负荷。未来的研究可采用眼动追踪、脑电图或心率监测器等在线测量方法，以补充离线数据。第三，当前研究仅使用了一种类型的音频文本，未对音频文本的类型进行变化。听觉学习的效果可能因音频材料的复杂性而异。

尽管存在这些局限性，当前研究在探讨听觉学习对半自动驾驶情境的影响方面仍提供了有益的初步探索。这些研究发现对于经常在驾驶过程中进行听觉学习的通勤学生可能尤为有用。