第三节 认知任务分析的研究步骤及方法
CTA虽然有很多方法,但是在研究的整个过程中,绝大多数研究分析者采用5步法:
1.基线知识的收集 研究分析者应该尽量熟悉研究知识领域,找到合适的专家,从他们那里获得具体的基层知识。
2.知识再现的识别 围绕特定任务而展开,充分利用概念图、流程图和语义网等方法。
3.应用焦点知识提取术 聚焦任务目标,提取复杂任务在解决过程中所必需的条件和认知过程。
4.印证并分析获得的数据资料 对结果进行编码和格式化,以保证应用中的可印证性、有效性和可用性。
5.形成结果,指导应用 结果必须转化成模型,揭示出潜在的技巧、思维过程以及问题解决策略。某些高度结构化的结果,很方便用于专家系统或计算机辅助教学。
一、基线知识收集的方法
最初阶段,任务顺序的识别是CTA技术的一大焦点。研究分析者应该尽量熟悉研究知识领域,找到合适的专家,从他们那里提取具体的知识。分析者本身不需要像专家一样也成为具体主题领域的专家,但是应熟悉被分析的内容、系统和程序过程。
如果可能,多个专家的参与是最好的。虽然选择专家的标准在不同的情形下标准会很不一样,但是基本的标准是有足够证据证明专家能够胜任被分析的任务。过程中,尽量分别与专家交流,以避免过早地达成一致。
这个阶段需要的研究方法包括:文件分析法、观察法、结构式或非结构式访谈法。这个阶段的结果就是识别出任务相关的知识类型和结构。
1.文件分析法
尽可能收集有关主题任务的书面资源,以形成综述性的观点。包括各种文件资料,如历史文献、操作手册、员工手册、报告、术语表、教科书以及现有的培训资料等。这些文件资料用于准确地定向任务,为深度分析做准备,证实基本的想法等。比如,如果熟悉了专家的专业词汇,结构访谈中提取信息就显得更深入和更充分。文件分析法,也需要比较专家的实践经验与书本知识的差异。
2.观察法
观察法是最常用的,也是最有力的知识提取工具之一,用来识别有关的任务,发现随后进行任务分析的限制条件。观察可以帮助分析员对比专家们对任务知识的描述与实际操作之间的差异。多数情况下,分析员需要谦虚地观察专家的任务执行过程,以拓展自己对专业的理解,观察和记录特定背景下的事件相关的行为和条件。虽然专家的精神活动不可能通过观察而清晰地识别,但是分析员可以细心地注意到专家在什么时候正在评估情形条件,或正在进行分析,或者已经做出决策。
3.非结构式访谈
“要了解一个人知道些什么,最好的方法就是直接问他(Cooke,1999)。除了观察法,非结构式访谈也是CTA早期研究中常用的方法。可以用来提出论点和问题、看清研究范围,并为随后的结构式访谈提供基础。非结构式访谈中,不会事先确定交谈的具体内容和顺序。但是,也可能会让专家聚焦于某个事件、案例或任务。
二、再现知识的识别
再现知识(knowledge representations)是利用基线准备阶段的信息,认真检查每个任务并识别出子任务,以及分析出完成任务所需要的知识类型。CTA方法都是围绕特定任务为提取再现知识而展开的,比如,概念图、流程图、语义网等。这样的知识再现,为以后的分析提供方向和顺序指导。知识提取方法直接指导知识类型的整理。有些方法用于提取过程性知识,另一些则利于陈述性知识的提取(Chipman等,2000)。不管采用什么方法,都会与专家进行访谈,建议记录(录音、录像)访谈并转化为文本,便于以后整理。不建议在访谈中做详细的笔记,这可能会让分析员与任务过程脱离。
三、焦点知识提取方法
在知识提取的过程中,在前期阶段可以使用各种方法来收集知识。不同的方法提取的知识层面可能不一样,但是如果不使用聚焦技术,通常难以澄清。最好的知识提取需要整合多种方法。
在众多的知识提取方法中,各种结构式和准结构式访谈是最常用的CTA方法,因为相对容易使用,几乎不需要复杂的培训(Ericsson、Simon,1993)。虽然各种方法强调的焦点可能不同,但是他们有一个共同的目标:就是提取复杂任务在解决过程中所必需的条件和认知过程。比较常用的焦点知识提取方法包括关键性行为和决策的评价技术、关键性决策方法、学习层次分析法,以及概念、过程和原理技术等。
1.关键性行为和决策的评价技术
关键性行为和决策的评价技术(critical action and decision evaluation technique,CADET)源于Rasmussen阶梯模型,其工作重点就是识别出关键性行为或决策(critical actions or decisions,CAD)。如果CAD错误,将会影响安全、生产与成功等。
分析CAD采用下面的方法:
在被分析的任务中,任务状态明显改变时,可以识别出CAD。识别CAD不局限于针对关键状态时的行为,而更强调先于行为的决策判断。在识别出与情景直接相关的所有CAD之后,要求分别对每一决策的行动成分进行分析,其分析过程遵循Rasmussen阶梯模型,见表9-1。需要强调的是,失败可能发生在识别出来的每一个CAD元素。
表9-1 CAD分析步骤及分析要点:Rasmussen模型的决策/行动元素(Embrey,1986)
CADET技术可作前瞻性应用,也可回顾性应用。在前瞻性应用中,有些任务执行的结果难以弥补,比如错误诊断而造成的后果就特别严重,CAD就可以用于识别潜在的认知错误,以帮助发现失败情景。当然也可以回顾性地使用以识别出失误或问题中的错误认知。
2.关键性决策方法
关键性决策方法(critical decision method,CDM)(Klein、Calderwood、Macgregor,1989)是一个准结构式访谈方法,通过一系列的认知探针技术(cognitive probes)去识别出关键事件中的情景评估和决策判断。CDM是基于专家做出决策判断的基础概念来识别任务中的线索。对情境的意识在专家的行动决策中扮演了主导角色,做出决策的速度表明专家是在无意识地评估可行性目标、重要线索、情境动力、行动过程和预期。为了提取知识,CDM使用了回顾性的、案例基础的提取方法,逐渐深入细节,不断解决过程中的障碍。
CDM应用的程序:
(1)选择事件:
事件能够说明研究领域的特殊性。研究者要求专家对选定的事件做出决策,并且决策对于非专业人士可能比较难。
(2)获取非结构性的说明:
专家被要求持续参与研究过程,即从事件发生开始到事件解决结束。在这个过程要达到几个目标:①从访谈者的角度建立一个可理解的知识背景;②能够激发专家进行事件相关的回忆;③要与专家建立高度的合作,做好倾听而不是质问。
(3)建构事件时间线:
根据每个事件的持续时间和顺序建立时间线,便于重新建构过程及过程说明。事件包括被访谈者陈述的客观可证实的事实、思想和感知。时间线有利于理清案例的事实。
(4)决策点识别:
时间线建构过程中,特定的决策点被识别出来以便进一步分析。如果存在其他可选择的行动,被访谈者就面临了决策点。
(5)决策点的刺探问题:
通过线索、知识、类比、目标、选择、基础、体验、支持、时间紧迫性、情景评价、假设等刺探问题深入决策判断点进行知识的提取。
(6)其他过程:
(推荐)
1)使用多个被访谈者。
2)让缺乏经验的访谈者也能深入访谈专家(被访谈者)。
3)采用录音。
4)访谈时间要大约2小时。
5)让被访谈者画流程图,以便于更好地再现事件及针对特定刺探问题的反应。
3.学习层次分析法
学习层次分析法(learning hierarchy analysis,LHA)(Jonassen等,1999)提出了对于复杂问题的解决技巧,建议根据技巧的难易度进行分级。比如,溜冰运动实践学习过程中,问题解决(学会溜冰)之后就可以提取学习规律,提取规律之后又可以提升概念。教学过程的基本思想则相反:一个人如果具备了学习规律的前提概念,就能够学习规律,学会规律后就可以很好地解决问题。要分析一个学习层次,需要首先识别出最复杂的学习结果,然后分析要达到这一目标需要的技巧分级,技巧的等级就通过每一个技巧需要的任务图来陈述。
HLA可以指导深入的知识再提取,这体现出CTA过程的可重复性特征。正是在CTA的过程中,知识、技巧和认知策略的细节被提取出来,可以用于显示、提炼和证实复杂的学习过程。
4.概念、过程和原理技术
概念、过程和原理技术(concepts,process,and principles,CPP)(Clark,2006)通过多阶段的访谈技术,去提取自动性的、无意识的过程性知识。让多个专家通过任务实践和体验,然后描述其过程,并不断地接受自我评议和同行评议。开始阶段,进行准结构式访谈,专家被要求列出任务中所有必须完成的关键性子任务,以及其执行过程。并且帮助写出至少五个实际性问题,以指导任务被很好地解决。问题包括很平常的,也包括很复杂的。任务的结论性顺序将成为培训或工作指导的大纲。从第一个子任务开始,分析员需要问一系列的问题以便收集以下知识:
(1)完成子任务所必需的行动步骤。
(2)完成子任务需要作出的决定。当一个子任务执行之后,就需要考虑另一个决策,需要清楚在做出下一步选择时标准是什么。
(3)专家完成子任务的所有概念、过程和原则。
(4)执行过程中,必需的条件和初始事件有哪些。
(5)必需的设备和材料有哪些。
(6)必须包括哪些感知体验,除了看和听,还需要考虑嗅觉、味觉和触觉的参与。
(7)要求的工作标准,比如速度、准确性或质量指标。
每一个专家重复以上的过程,每一次访谈都需要被很好地记录并整理成文本,以便以后分析。
四、印证和分析获得的知识
CTA方法在结构、形式和报告的结果上有很大差异,知识提取的技术缺乏标准和固定形式,因此,分析员就需要对结果进行编码和格式化,以保证应用中的可印证性、有效性和可用性。CDM没有用统一的方法去编码文本,而是针对每类具体的研究问题,提出如何编码(Klein等,1989)。编码的图式应该与研究的领域有关,并有认知功能。如何编码信息,应该反映知觉线索、决策点以及情景评估。
转录的文本经过编码,用于总结、分类、整合已有的资料。编码之后,格式化的结果应该提交给参与的专家,以印证、提炼和修改,以保证任务的各种认知成分被再现出来之后是完整和准确的。然后,将不同专家的知识进行整理,将结果再次进行比较分析,以验证其正确性。
五、适于应用的格式化结果
研究资料显示,专家认知过程的准确提取,用在培训中将是非常有效的,CTA比传统方法获取的知识都有效(Merrill,2002)。知识的内容提取和表述不准确或不完整,会给基于这样知识背景的说明带有很大的缺陷。一旦形成误解,即使努力去补救,也难于校正。
CTA方法提取的结果需要转化成模型,揭示出潜在的技巧、思维过程以及问题解决策略。某些高度结构化的结果,很方便用于专家系统或计算机辅助教学。比如在概念、过程和原理技术(CPP)的分析阶段(Clark,2004,2006),分析员将访谈概括整理为标准格式,包括任务、子任务清单、情境条件、判断标准、设备与材料等。对于每一个子任务,分析员写出程序,包括每个行动步骤及决策步骤,并让专家评议这些程序,请他们为进一步提高准确性和有效性而修改稿件。分析员这样撰写出的格式化报告,就可以很好地指导如何完成所有任务。
(张 骏)