结合定性评价和社会网络分析研究课堂中的社会交互

A.马丁内斯^a ，Y.蒂姆特里尔迪斯^b ，B.卢比亚^c ，E.戈麦斯^b，P.德·拉弗恩特^a

a西班牙巴利亚多利德大学计算机科学系， b西班牙巴利亚多利德大学信号理论、通信和信息通信工程系， c 西班牙巴利亚多利德大学教学法和学校组织系

摘要：

研究和评估促进积极和协作学习的实际经验是计算机支持的合作学习的重要领域。仍然悬而未决的重大问题涉及到对方法和数据的定性和定量分析，特别是在教育环境中涉及物理和计算机支持的协作问题的出现。在本文中，我们提出了一种混合评价方法：它是从解释性视角结合了使用计算机日志的传统数据源，并且集成定量统计、定性数据分析和整体社会网络分析的方法。结合定性分析的通用软件，几个电脑工具已经开发出来以协助这一过程。 这一评估方法和工具已在进行了三年的教育方面的研究项目中逐步得到应用和验证。本文中该方法的使用是用这个项目中的对某一特定类别的评价例子来说明的。本文提出的方法和工具旨在对研究计算机支持的合作学习中出现的新形式互动相应的创新技术需要给予答复;旨在提高传统意义上吃力的定性分析方法的效率以便具有课程经验的教师使用它们;旨在对一组为弥合不同的数据来源和分析观点的指引给出界定。

关键词：合作/协作学习，评价方法，学习社区，中学后教育

1引言

由于隐含角色的多样性和要考虑改进学习、学校组织、文化问题、软件设计、分布式系统管理、人机间交互等问题的多样性，设计和开发计算机支持的协作学习（CSCL）系统非常复杂。这种复杂性需要可行的让研究人员和参与人员大胆革新不断反思来学习的评估方法 （尼尔和卡罗尔，1999）。由于计算机可以记录相互和自动处理交互的能力，在协作学习中计算机应用一直被视为该领域研究中的一个新的资源。然而这也提出了新的挑战，主要涉及到新形式互动的新的协作情况的出现与自动管理和解释数据的问题（顾利柏和沃森，2002）。

为了支持CSCL情景的开发，我们提出了一个名为DELFOS（“一个基于学习情景的远程教育的层次框架描述”）的概念框架（欧苏纳与蒂姆特里尔迪斯 1999）。它定义了一个基于参与分析和设计理念设计CSCL应用和开发方法的架构 （秦，罗森和卡罗尔，1997）；它强调信息系统开发过程中形成性评价的作用。我们目前正致力于细化DELFOS定义的与形成性评价相关的方法和技术。为此，我们吸收了一种要求采用解释性范式进行评价的情景学习方法。这个观点指出了结合参与者的角度在实际情况中研究学习过程的需要同时也考虑到了学习的个人和社会两方面（威尔逊和迈尔斯，2000）。在以前版本的DELFOS，评价从学习的建构者方面出发重点关注个人而不是社会。因此，现在我们通过在DELFOS中为评估群体学习者的社会方面界定一种方法和相关工具来完成评价方法。

社会网络分析（SNA）已经表明是适用于研究学习的这些社会的和参与方面的一门学科（瓦瑟曼与福斯特，1994）。SNA寻求描述参与者之间的关系模式，分析这些模式的结构，发现它们对人们和组织的作用。一些研究已经证明CSCL领域研究小组学习中个体的结构特性如参与者的突出性或网络密度（纽曼赖，莱赫蒂宁，帕罗尼，1999，赵，斯特凡昂，盖伊，2002）。这些研究通常用电脑记录作为输入并用一个SNA的软件包如UCINET来进行处理（博盖蒂，埃弗雷特和弗里曼，1999）。然而，社会网络分析本身是不足以获得问题的全貌，需要其他方法像定性数据分析的补充。不幸的是，在CSCL文献中没有提供关于数据和方法的定性分析与SNA的整合方面的指引。另一方面，现有的SNA工具需要较高的专业水平和它们使用专有的数据格式。基于XML呈现协作交互的方法（W3C，2000）和通过集成自动工具的后续处理可以为解决问题的异质性和集成性以一个系统的方式提供一种手段。

我们认为，定性的个案研究的原则（斯泰克，1995）包括在一个从解释性角度进行的CSCL评价中倾向整合SNA方法良好的框架。这种方法借鉴能够处理所研究的现象的主观和复杂性的自然主义的研究方法。这个角度下进行的案例研究是基于教育活动发生的情境下对参与者的相互作用进行分析的基础上。这些研究使用人种志的数据源，如意见，问卷调查和访谈，能够捕捉到与会者的看法。定量的数据可以用来解释活动或事件的发生，并与定性类别相联系。这种组合了定性，定量和社会网络分析方法使我们的设想处在了多种评估方法的领域中（弗莱克林和夏普，1997）。

在本文中，我们提出了一种方法可以在面临CSCL带来了新的要求情况下，使不同来源的数据和方法融入基于对学习的社会各方面进行形成评价的案件定性研究。部分数据来自学生用于完成课程作业的基于计算机的工具的事件日志，而其他数据由传统的手段（正式的意见，问卷调查，焦点小组）收集。作为一个这种方法整体的一部分，我们提出用以增加评估程序的效率和可用性的我们已经开发出的工具。为了例证讨论，我们提出用在以教室为基础的名为LAO¹（计算机体系结构实验室）（蒂姆特里尔迪斯，马丁内斯，茜草，加列戈，2001）的研究项目情境中的方法，我们过去已经在这个项目工作了三年。该项目已成为验证本文中提出评价方法的概念和有效性的平台。

本文的其余部分的结构如下：下一节概述评价已应用的项目。然后，呈现支持（评价的）研究方法和工具。第三部分说明研究提取的一类案例研究中使用的研究方法。我们也详细指出所提出的方法的优点和限制。最后，我们得出一些结论，并提出研究的未来线路。

2案例研究描述：计算机体系结构实验室项目

在过去三年中，我们投入一个以教室为基础的研究和发展项目，目的是在介绍在研究通信工程的计算机体系结构课程中基于项目的案例研究学习和协作学习。遵从DELFOS模型的原则以及IEEE / ACM计算课程的指示，该项目旨在提供情境化的、综合性和有意义的知识；积推动积极的有目的性的协作学习。除了这些学习目标，LAO项目也作为教育研究平台，在这个平台上有关教学设计的影响和关于合作态度工具的几个问题已经在研究。实验工作过去三年中已经在进行，在1999-2000年度至2001-2002学年秋季学期（9月至2月）。在第一年总体上的设计已被验证。为了评估在完成上述学习目标（这个项目的）有效性，修订后的项目得到广泛和系统的评估。这一评价的总体结果可以在蒂姆特里尔迪斯等（2001）的文章中看到。在这里，我们提出了该项目的主要特点，因为它们构成了设置我们已申请和验证评估的设计和工具。它们对了解在第4节提出的例子是必要的。

整个过程被定义为整个学期发展的一个项目，其目标是计算机系统的设计和评价。为了使教室内出现主题的不同观点，定义了涵盖不同的市场领域和系统要求的五个（ 客户 ）案例研究。老师扮演不同的客户的角色和制造公司的经理的角色。学生两人一组，并分别承担咨询公司角色和电脑制造商的角色，整个过程的研究中每一对会被分配五个案例研究中的一个，即他们只承担五大客户之一。通过这种方式，在至多40名学生的每个实验室组中，整个过程不同的客户都得到研究。 教育设计旨在促进分配给不同的客户的组内部及相互之间的互动。

该项目分为三个子项目，以研究整个问题的特定的不同问题。每个子项目提出了两个转折点。在第一个转折点阶段，作出基本决定并在第二个转折点，每对提交正式的技术报告给客户（教师）。 在每一个转折点，每个实验室组举行辩论，作为对学生工作的协作回顾并且可以在实验室水平共享和讨论不同客户的问题。在整个项目结束时，在实验组中处理相同的案例研究的各小组合作一份技术报告。

几个工具用于支持该项目。BSCW（对协同工作的基本支持）（Applet，1999），一个众所周知的基于网络接口的共享工作区系统，被用于异步文件共享和多线程讨论。这里特别提出的事实是BSCW记录上共享工作区执行的每一个动作，提供被用来作为分析源的数据，这将在下面的部分来解释。其它工具，如通信用的电子邮件和任务模拟器在整个过程中也在使用。

下一节介绍在评价计算机体系结构实验室（LAO）项目的研究目标中使用的方法，而在LAO项目案例研究中的具体的结果则是在第4节提出。

 

3为研究学习的社会方面（采用的）混合评价方法

在本节中提出的评价方法，试图对形成性评价问题在由CSCL的提出的新要求方面给出一个答案。在对方法进一步描述前我们简要概述这些问题，他们是重要的，以了解该提案的动机。

支持协作学习使用电脑的重要后果是由于它们的存储和处理能力许多研究人员将它们看作评价的一个机会的事实。通过这种方式，计算机提供日志文件是时下常见的数据源，通常结合传统的数据。然而，CSCL还引进了评估协作学习新的挑战，像怎么处理这些环境下出现的多种互动类型，如何使日志数据可以方便地使用使研究人员可以操纵评价；如何通过自动化手段执行数据处理；以及如何呈现一个直观的格式的结果。此外，所有这些问题必须从解释性角度来解决，这对从涉及到学习发出的情境的相关议题和从参与者的角度考虑进行研究提出了需要。

图1拟议的混合评估方案：数据来源，方法，时间和分析工具。箭头显示的信息流路径。

 

为了解决这些问题，我们提出了一个混合评价方法，如图1所描绘。它使用多个来源的数据和分析方法，并支持通过自动化工具，以提高整个过程的效率。本节专注于这些元素的解释。

3.1数据来源

该方法采用一系列来源的人种数据。它结合了不同的问卷调查：考虑到评价的目的采用开放式和封闭式问题，在课程的开始和结束时的问卷调查; 有意义的活动或事件后为得到的短期的印象学生事后的专门评论; 为获得他们对项目的主观看法学生对教育项目的评论作为报告的附件提交；最后，可以使学生列出那些与他们有过某种形式的关系的人的名字。一年内可完成这些计量社会学应用几次，至少一次在课程开始时，一旦在它的结束。 焦点小组会议在适当的转折点由同组的志愿者举行，包括在开始举行课程和课程结束后，以便深入了解学生的观点；课堂非参与者观察中观察者对学生在参与实验室的日常工作中不同的交互和态度做笔记。最后，日志文件登记通过使用计算机支持的协作学习工具过程中发生的交互。 虽然访谈和问卷调查更适合获得参与者对问题的观点，数据自动收集和观察更好地适用于测量工具的实际使用和从中产生的交互。考虑到计算机支持的协作学习背景下产生的新要求， （数据）多来源旨在支持数据的三角测量计划。

对此数据的部分内容进行处理的软件工具，如3.3节所述。很重要的是要注意到这些工具的使用需要在一个适当的水平抽象数据以适用于被计算机处理。我们选择XML（W3C，2000）作为数据的表示格式。这种选择的主要的原因是（它的）自描述性，标准化和互操作性。XML文件是很容易理解和产生的，他们遵循的语法是由一个DTD（文档类型定义）定义的。我们的提议中DTD在一个抽象的方式描述计算机支持的协作学习情景中出现的交互的不同类型。通过这个DTD文档类型定义定义，我们提供了一个对不同的数据来源的统一呈现，从而避免了使用不同的数据和工具的典型场景中繁琐的数据转化过程。此外，作为一个普遍接受的标准，工具开发人员可以利用基于XML技术的越来越多的技术；而最终用户（教师，研究人员）可能会受益于具有通用网络技术的建议工具或基于XML的另一个系统的集成。关于DTD和支持评价使用的进一步细节可以在马丁内斯，德·拉弗恩特、蒂姆特里尔迪斯（2003）文章中找到。

 

3.2方法的说明

我们提议的方法是基于个案研究的原则。如前所述，计算机支持的协作学习情景下的研究需要从解释性的角度来看，其目的是在理解考虑到其背景和演变的每一种经验。在定性分析方法中，案例研究是适合用于评价的，因为他们与某些现象的一个或几个样品的深入研究有关。本节说明如何将个案研究的一般阶段（斯泰克，1995）与我们建议的混合计划相适应。

如图1所示，评价开始于一个类型计划的定义。这可以根据过去的经验的结果验证性完成，或根据评价的具体目标从理论上完成。该计划在整个研究中发展，通过现有类别的专业化或通过增加从分析中出现的新类型。

定性分析依赖于定性数据源（开放式问卷，观察，焦点小组）。部分定性分析通过积累每个类别的相关数据和从直接的解释过程中进行。对封闭式问题进行定量分析是为了描述事实、可能的疑问要点的发生。它包含由任何现有的统计软件包协助的简单的描述统计分析。这些研究的目的不是为了如实证的方法那样证明假说，而是以有效的方式来检测一般的倾向，通过三角测量与其他两个分析方法结合这被证实或丢弃。

我们已经确定了一组研究学习参与性方面的社会网络分析指标：网络密度（D）、角色的向心程度（CD（（ni））和 网络集中度（CD）（沃瑟曼和福斯特，1994）。网络密度D 测量了网络如何编织其范围从0（最稀疏）至1（最密集）。向心程度是一个角色的威信指数。任意给定一个角色ni，CD（（ni）反映了和它毗邻的角色的比例。它反映了角色的活动。在考虑联结方向的定向关系的案例中，定义了两个程度指数：输入度数或者终止于节点的联结数；和输出度数，或始发于节点的联结数。最后，网络集中度是根据角色的向心程度在小组水平的量度。它提供了一个有关网络对一个小团体的活动依赖程度的看法。其值的范围从0（活动的均匀分布）至1（最集中网络）。定向网络定义内集中度（CID）和外集中度（COD）的相应指标。所有这些指标和范围适用于二元关系，它只能有两种可能值：0时，没有链接和1时，有两个角色之间的联系。考虑加权关系也是可能的，它包括一个显示其强度的数字。由这些关系计算的指标相比从二元关系计算的指标更难，但这在提供更多的信息方面有时是重要的。所有这些指标提供了关于网络中角色活动和针对不同关系的网络全局结构的基本信息。此外，它们易于理解和解释，这对于促进不可能是社会网络分析专家的评价人员使用这些方法是重要的特征。

为了执行社会网络分析，我们需要定义应用于研究的网络和关系。我们已经确定了三个通用社交网络类型：定向关系网络，由两个角色间关系建立; 间接的关系网络，通过一个已建立的共享对象（像文档的建立和进一步阅读）来建立;和资源网络的利用，它与角色和对象有关。这些通用网络必须通过定义角色集合和数据源使每个情景都具体化。在我们的计划，这些来源包括通过自动方式（系统日志）收集的数据和来自观察和社会计量问卷的人种学数据。我们应该注意到，使用不同数据源以及整体评估计划，补充信息并提供了一个对流程更彻底更可靠的了解。

社会网络的一个相关特征是，他们可以可视化为社会关系图的图形，其中角色作为图形的节点和角色之间的联结作为图中的线。一个方便的社会关系图表征可以使用多维定标（MDS）产生。多维定标映射了角色之间的相似性，使那些彼此相似的角色在图的输入数据方面更紧密，反之亦然。使用测量距离作为相异性的量度，社会图将以直观的方式显示相互关联角色的亚小组及一些相关定位比如突出和并不太突出的角色（沃瑟曼和福斯特，1994）。

总体评价进程循环发展所以每一个分析方法在第一阶段都独立完成，产生可以由三角测量证实或拒绝的局部结论，或可以产生一个评估过程的新循环，以获得有关应急方面的洞察力。评价是一个在整个过程中演变的纵向的过程。其主要产品是初步类别计划的精细化以及教学设计的形成性变化。

 

3.3支持的评估工具

我们提议的评估计划由三个软件工具支持：QUEST探求，SAMSA（邻接矩阵和基于社会图分析系统），和NUD * IST。此外，任何统计软件包可用于定量分析。图2显示了整体分析方法的这些软件的使用，这将在本节中概述。

图2。建议的与潜在的行动者（学生，研究员，老师）相关的分析工具，显示在教育研究中的信息流。

探求（戈麦斯，蒂姆特里尔迪斯，卢比亚和马丁内斯，2002）考虑到由教师或研究员设计问卷，以及它们以基于网络的形式展示给学生。探求自动收集结果并将其转换成不同的格式： NUD * IST使用的RTF文件，定量数据分析使用的电子表格文件，和表示社会网络分析相互作用的XML文件。我们应该指出，这些数据自动转换很简单，但对提高整个过程的效率是非常需要的。

邻接矩阵和基于社会图分析系统SAMSA²支持社会网络分析的自动处理。正如图2所示，它包含几个输入模块（obs转换成xml，el转换成xml）它从不同来源（意见和事件日志）收集数据将它们并转换成表示交互的XML文件。然后，SAMSA允许研究员选择和配置她想要研究的网络（选择日期，角色和关系类型）。该工具生成表示网络的矩阵（被称为社会矩阵），并计算研究者所选择的指标。它也显示代表网络的社会关系图，并考虑到角色属性的可视化。SAMSA支持上述为我们的评估目的所认同的社会网络分析测量。

总体评价程序还由第三个工具，一个众所周知的定性数据分析软件包NUD * IST（QSR定性研究软件开发商，1997）提供支持。正如在前一节所述，定性分析位于处理过程的核心，因此，这个工具从其他系统元素接收数据（图1和图2）。它从Quest（RTF格式的自由形式问卷）以及观察和焦点小组的抄本直接输入。

数据来源，程序和本节中所述的工具构成了我们使用混合评价方法的提议。由于我们研究学习参与性方面的兴趣社会网络分析已经被引进，并且为检测一般倾向使用了定量数据。 最后，定性分析提供了对参与者的观点和协作背景的见解。所有的方法由不同来源的数据支持，以满足捕获出现在计算机网络支持的教室中产生的不同形式互动的需要。这样，我们提供了将提高评估可靠性的方法以及数据三角测量。统一不同数据源的需要使我们提出了使用XML和随后的一个模型化不同类型协作交互的DTD定义。下一节将以计算机体系结构实验项目为例说明该系统的使用。

 

4共享信息的协作：一个计算机体系结构实验项目中方法的例子

在上一节中所提出的方法已被应用到第2节描述的教育和研究项目中。在本节中，我们说明提出的方案，它使用了关注某类别（分享信息的协作）的一个特殊例子，这个类别尤其与项目教育研究目标的背景相关。

4.1经历的评价数据和程序

在本节介绍的例子提取自2001年秋季对西班牙巴利亚多利德大学通讯工程学院进行的五年研究中第四年的课程进行案例研究的一般结果。100到200名学生的班级被分成每个会期最多40人的三个会期，其中初始单元由两个学生（一对）形成的组构成。15周长的一学期和各占四个星期的三个子项目相对应，还有每两个星期进行的复习（同步争论）。第六周开始最终报告的详细阐述。最终报告在课程结束后一个月提交，因此，这个阶段没有让学生可以面对面的课程。

评价的主要问题是要知道，西班牙大学被动和个人主义文化背景下这些创新方法在发展对合作的新观念，态度和程序方面是否能够成功。我们也对基于计算机的工具在这种观点的潜在变化中的作用感兴趣。重要的是要注意，这部分的目标不在于呈现整个评估过程，而是在说明例子中方法的主要特点。完整的评估过程的描述可以从马丁内斯（2003）的文章找到。

为了表明该方法的使用，我们将侧重于单一类别“ 信息共享协作”的研究。这个概念在几个原因上对我们的教育环境有特殊意义。首先，一个学习者社区出现需要组中的信息自由流动，在那里每个人都有他们可以访问社区中重要数据的感觉（确定性）。这是我们的项目中的一个重大挑战，因为学生的以往经验靠近在传统的教室里建立的经验，那儿信息被认为主要在教师和学生之间流动。第二，在该项目的计算机支持的协作主要是通过信息共享发生：协作工作的基本支持可以用来分享报告、论文、统一定位资源和其他信息资源并且大力鼓励学生们通过老师这样做。最后，教育项目的设计也是为了促进这些共享的交互。每个实验室组处理相同客户的所有组对的学生们被要求写最终技术报告，因此要求他们（至少）分享子项目报告。他们还要求跟其余的客户比较他们的解决方案，这本身就是鼓励学生访问其他组对信息的一个手段。

评价遵循在第3条中提出的一般计划，以适应该项目的具体特点。每周在一个实验室小组举行正式的观察并且由十个志愿者举行五个关注小组会话。根据评价设计问卷提交给学生，并且在课程中记录协作工作的基本支持事件。为了检查交互构建了一些社会网络。在此节提出的例子旨在展示如何用这些不同的数据来源，方法和分析技术为正在研究的概念提供一个更好的理解。

4.2分析程序

课程开始之前，通过两份问卷，一个旨在建立关于教室中先前合作关系初始社会网络的社会测量，和一份让学生可以表达自己对协作环境感知的一般问卷，检查了与合作相关的先前概念。课程结束后两个相同的问卷进行了反复使用。课程中的响应比下降，有些学生回答了初始问卷最后的却没有回答。考虑到这些事实，定量计算和社会网络分析指标只包括同时回答了初始问卷和最终问卷学生的数据。这个预选不适用于开放问题的定性分析，它使用了所有学生提供的答案。

邻接矩阵和基于社会图分析系统处理了社会测量的答案，产生了密度如表1所示的两个网络。看第一列我们可以观察到学生的先前协作经历中没有包括协作的主要形式的分享信息（这个概念是密度最小的，密度Di=0.29%），而解决疑问和创作共同的产品是密度最大的关系。而且，在接下来的问卷调查中只有一些学生（16.5%）认为教室环境是协作的，另外一些学生（30%）认为协作只发生在朋友中。令人惊奇的是，大多数组对（75对10）宣称他们在小组中工作中有动力。这指出了一个明显的矛盾：他们欣赏协作为抽象的价值，但他们先前的经验相当差实际上不倾向协作的态度。

看两个表的右边一列我们可以观察到这些概念的整体进展。结合考虑关系问卷，所有活动的密度明显增强，其中显著的是分享信息的值几乎增加了一倍。最终一般问卷中也出现了积极结果，其中关于教室协作环境的相同问题呈现了如下分布：6.8%认为是非常竞争的，18.2%认为是竞争的，9.1%表示漠不关心，40.9%认为只存在于朋友之间，25%认为有整体性协作。这个初步的观察反映了教育项目的积极影响，但是需要用我们方法论中的其他分析工具来验证。

至于信息分享的手段，协作工作的基本支持提供了这样一个共享工作空间，它鼓励学生发表文档和笔记并且老师可以用它向全班传递文档和评论。出现一个明显的问题是，协作工作的基本支持是否事实上对前文所述分享信息方面的协作态度的发展有贡献。基于非定向关系建立了一个社会网络，它产生于通过发布和阅读他人文档使角色ni和角色nj之间的联结代表角色nj访问了角色ni创作的一个物体。

表1 对从问卷建立的网络的密度的测量（Di：初始问卷网络密度，Dj：最终问卷网络密度）

 

关系	Di	Dj
讨论	0.34%	0.48%
解决疑问	0.43%	1.11%
分享信息	0.29%	0.53%
创作共同的产品	0.77%	1.82%

一个包含老师另一个排除老师的两个网络允许测出老师在使用协作工作的基本支持方面的整体作用。表2分四个阶段显示了网络的密度和集中指数：三个子项目（sp1, sp2, sp3）和一个最终项目（spf）。左边的两列显示了包含老师的网络，而右边的一列则是排除老师的网络结果。

表2 协同工作基本支持的非定向交互网络的指数。D：密度， COD ：二元网络的外度集中，CODv ：加权网络的外度集中

 

没有老师				有老师
阶段	D	COD	CODv	D	COD	CODv
sp1	17.65%	31.14%	115.57%	21.93%	82.41%	374.38%
sp2	13.73%	66.43%	88.93%	17.54%	87.03%	1668.21%
sp3	10.13%	26.64%	137.02%	14.33%	72.84%	226.85%
Spf	31.05%	29.41%	157.79%	35.38%	68.21%	775.31%

在前三个子项目中，随着时间变化两个网络都显示了网络密度的减小。课程这一阶段协同工作基本支持的低使用是通过课程中期在其中一个转折点进行的调查问卷（事后回顾问卷）和一个后续问卷得到验证的。在前一个个问卷中学生被询问他们是否打算在协同工作基本支持中发布他们的笔记和中期文档，后续问卷中询问学生是否真正如此做以及为什么这么做。令人惊奇的是，有20对表达了他们分享文档的意图但只有3对这样做了。当通过一份开放问卷在接下来的转折点被问起这个矛盾的原因时，他们争辩说他们在实践中缺乏时间或自信。

无疑，表2显示了最终项目阶段出现密度顶点。通过几个原因解释活动的增加：学年这个时候他们正是没课的考试阶段因此他们没有面对面的碰面；他们开始在协作工作的基本支持中发布草稿、笔记、评论和数字结果同时阅读由有相同客户（如相同的案例研究）的其他组对发布的几乎所有文档，这支持了分享信息的协作在部分受到生产共同产品协作的关系影响下得到发展的观点。

另一方面，外度集中指出了文档的创作是如此平衡，它可以被认作是动态信息共享。观察显示含老师网络指数的右边几列，可以看出老师有很强的影响。这在第二个子项目(sp2)中达到顶点，其中有87%的活动依赖于一个角色（老师）。观察加权网络中计算的大数值指数(1668%)，我们可以看到相比学生老师产生了大量的文档。通过检查协作工作基本支持日志的XML转换文件，我们很容易核实这一阶段老师发表了关于第一个子项目的文章和评论，它们被所有学生阅读过。这些网络中的集中度在接下来的阶段降低，保持在50%以上；最后一个项目加权网络的外度集中非常高，这时老师对学生提交的一系列版本的最终报告发表评论。这些评论被学生大量阅读，这就解释了高指数。另一方面，左边不含老师网络的指数显示了更平衡的分布（除了第2个子项目之外，二元网络的外度集中在30%左右），尽管他们仍然显示了学生活动的不均分布，有一个角色出现在每个网络的几乎三分之一的关系中。

社会关系图为上表补充了信息，对不同的演员（这个案例中是组队）如何与特定的关系对应给出了初步的看法。图表3显示了课程第四阶段非定向关系网络的社会关系图，这个阶段学生正在准备最终报告，网络中包括了老师（x00）。我们可以观察到几个有意思的特征：首先，网络显示了一个连接图（所有节点之间直接或间接可达），这不同于从问卷中建立的其他网络或从观察中建立的交互图的案例；因此初步结论是协作工作的基本支持在减少学生间的障碍方面很成功。其次，尽管老师是如前所示最中央的角色，一些角色（x26, x34, x23, x39）仍然占据了社会关系图的中央位置。第三，由于这个阶段协作工作的基本支持主要被用来交换与最终报告（已经由有相同客户的几个组队写出）有关资料和信息的事实，组队位于和它有相同客户的组队附近。既然以客户为中心的组织不能从与其他子项目（没在这儿显示出）有关的社会关系图中观察到，我们又可以断定写合作报告（比如，有一个共同产品）显著增加了分享信息的协作。这可以由接下来的选自最终小组采访中的一些陈述得到确证：“【···】在这个项目中我们相当多的使用协作工作的基本支持来预约，来发表东西，来···，在这个中我们做到了， 而在其他（工具中）我们几乎做不到”；“我们使用协作工作的基本支持所以使收集整理资料的人可以立刻在家完成，第二天我们会面时拿着打印版资料并修改它。”

总结这一节，我们可以重新指出与评价目标有关的一些发现并指出提议计划是如何帮助实现了评价目标。

对课程之前和课程后进行的问卷进行的大量分析产生的结果反映了在学生感知他们自己对分析信息的协作态度方面的一个改进。这个积极的结果部分的通过其余的方法得到确证，他们又促进揭示了一些新的方面。比较三个子项目及最后一个子项目之间社会网络的不同，我们可以推断出协作工作的基本支持主要用来从老师那儿得到信息，只是在最后阶段学生才通过它来分享信息。通过对学生对开放问题的答案和对关注小组进行深层次质性分析，信息交换的增加主要是由于实际的原因而与他们分享自己知识方面关系不大。另一方面，定量分析显示对教室协作环境的整体感知在课程结束后得到了引人注目的改善。总之，我们可以说教育设计差不多使学生练习了协作的新形式，尽管不是计划建构但仍帮助改善了教室的整体协作环境。这些发现也显示了课程的最积极阶段是在最终报告的撰写阶段，协作此时发生在客户水平。作为形成性评价过程的一部分，这建议我们需要忽略第三个子项目，以便学生有更多时间投入到客户水平的最终报告中，以希望发展更好的协作态度和习惯。

关于评价方法本身，我们也观察到社会关系图可以同时揭露出通过使用电脑（使用电脑日志）或直接通过以观察者日志作为数据源出现的交互方式。发现的方式可以通过由社会网络工具提供的密度和集中数字来得到确证。为了更深层次解释，纯质性工具像Nud*IST帮助分类来自质性数据源的信息，比如问卷、关注小组或观察者注释。因此，几个数据源的结合致使极大方便地避免了虚假或不完整结论的产生。然而，我们已经在混合评价计划中看到三角测量在时间效率和可用性方面可能对研究人员造成不合理的负担。我们在计算机体系结构试验室项目上的经验显示有指引的提议工具显著减少了在计算机支持的协作学习系统评价方面的问题。

图表3 最后阶段（撰写最终报告）协作工作基本支持网络的非定向关系的社会关系图。老师和不同的客户用不同的方式表现。

5结论和进一步工作

我们已经提议了一个旨在研究支持计算机支持协作学习参与性方面的综合评价方法，它通过在一个整体定性案例研究设计中包含社会网络分析技术，定量统计和电脑日志来实现。

社会网络分析指数和由邻接矩阵和基于社会图分析系统提供的社会关系图对探查教室活动中出现的不同协作方式是非常有价值的，定性和定量研究帮助从参与者的角度区分这些问题。不同数据源和方法的结合也帮助增加了评价过程的可靠性。提议的计划在西班牙半出勤的大学环境下一个三年时间阶段中得到了广泛检验并获得了相当大的成功，它的主要观察结果已经呈现在本论文中。我们可以证明的是提议的评价设计仅仅是宏观的，它的想法可以被采用在不同于已经考虑的其他计算机支持的协作学习环境中。这个陈述由我们使用两个不同的环境得到有效验证，其中一个基于开放大学的远程学习，另一个基于幼儿的同步协作游戏。

提议的混合评价方法已经产生了一个比仅仅基于定性数据分析方法更有效的途径。如案例中所示，定量和社会网络分析可以探查出“关键性”问题以帮助关注特定问题的定性评价，而不是一定要分析所有的定性数据才能得出结论。方法中提议的自动化工具也促使了效率的增加。从这个意义上来说，QUEST在设计、收集和将问卷数据转换成适当格式（既包括定性的又包括定量的）方面已经被证明是有效和灵活的。另外，邻接矩阵和基于社会图分析系统可以以便捷有效的方式处理不同数据源的数据并提供了可配置的容易可视化的社会网络分析结果。可用性和有效性的增加可以在计算机体系结构试验室项目三年来的实地工作中明显地观察到。随着提议的方法、指引和工具不断发展进化，我们的努力可以集中在评价目标上，可以对纠正措施进行反应以及可以部分地支持课程老师的形成性评价过程。

用XML来呈现交互可以在一个共同的描述下对不同数据提供概念上的和操作上的整合。它是松散耦合结构的核心，其中新单元可以加进来处理新的数据源。此外，开发人员可以利用市场上的大量基于XML的技术。如果我们考虑到多层面的评价计划需要使用多数据源的数据并且考虑到计算机支持的协作学习环境倾向于包括许多不同的独立的工具，那么所有的这些事实都变得很重要了。

几个问题仍需要说明一下。其中一个很重要的涉及三角测量很大程度上依靠研究人员/老师的专门技术的事实。一个成功的方法需要对环境的深入了解，对研究目标和分类的精确认真的设计以及对工具的充分利用。尽管这些问题中的一些问题明显和一般自然主义的研究方法有关，我们旨在提供一套更精细的指引和基于人工智能技术的工具。

仍在进行的研究涉及这个观点与已有的对进行建构主义评价的整合，这允许我们对学习的个人方面和社会方面的整合进行反思。这会引发考虑与角色的作用及他们在网络中的位置有关的社会网络分析新技术。

 

致谢：

作者们想要感谢Olga Velloso, Judit Tardajos, Inmaculada Garrach´on和 Jose Mar´ıa Marcos（开发邻接矩阵和基于社会图分析系统），Raquel D´ıaz 和M. Jos´e Gallego（初始实验环境的设置），C´esar Osuna博士（基于学习情景的远程教育层次框架描述），EMIC跨学科小组的其他成员以及最后但并非不重要，所有参与学术经历的学生们的贡献。我们也想感谢Milton E. Jensen帮我们校对和改进论文。这个研究项目的部分财政支持由卡斯蒂利亚和莱昂自治政府，西班牙科学技术部，欧洲区域发展基金和欧洲列昂纳多规划联盟提供。

 

参考文献：

Applet, W. (1999). WWW Based Collaboration with the BSCW System. In Proceedings of SOFSEM’99, Springer Lecture Notes in Computer Science (Vol.1725, pp. 66–78). Milovy.

Borgatti, S., Everett, M., & Freeman, L. (Eds.). (1999). UCINET 5.0 Version 1.00.Natick: Analytic Technologies.

Chin, G., Rosson, M., & Carroll, J. (1997). Participatory analysis: Shared development of requirements from scenarios. In Proceedings of Human Factors in Computing Systems, CHI’97 Conference (pp. 162–197). NY: ACM.

Cho, H., Stefanone, M., & Gay, G. (2002). Social Information Sharing in a CSCL Community. In G. Stahl (Ed.), Proceedings of CSCL 2002, Boulder, CO (pp.43–50). Hillsdale, NJ: Lawrence Erlbaum Associates.

Dimitriadis, Y., Mart´ınez, A., Rubia, B., & Gallego, M. (2001). Cooperative Learning in Computer Architecture: an educational project and its telematic support. In Proceedings of the Conference of Frontiers in Education, FIE 2001.Reno, NE, USA.

Extensible Markup Language (XML). (2000). (http://www.w3.org/XML/)

Frechtling, J., & Sharp, L. (Eds.). (1997). User-Friendly Handbook for Mixed Method Evaluations. Directorate for Education and Human Resources Division of Research, Evaluation and Communication NSF.

G´omez, E., Dimitriadis, Y., Rubia, B., & Mart´ınez, A. (2002). Quest, a telematics tool for automatic management of student questionnaires in educational research. In Proceedings of TIEC 2002. Barcelona.

Guribye, F., & Wasson, B. (2002). The ethnography of distributed collaborative learning. In G. Stahl (Ed.), Proceedings of CSCL 2002, Boulder, CO (pp.637–638). Hillsdale, NJ: Lawrence Erlbaum Associates.

Mart´ınez, A. (2003). A method and a model for the computational support to evaluation

in cscl. Unpublished doctoral dissertation, Dpt. of Computer Science. University of Valladolid, Spain.

Mart´ınez, A., de la Fuente, P., & Dimitriadis, Y. (2003). An XML-Based Representation

of Collaborative Interaction. In Proceedings of CSCL 2003. Bergen.

Neale, D., & Carroll, J. (1999). Multi-faceted evaluation of complex, distributed activities. In C. Hoadley (Ed.), Computer Support for Collaborative Learning (CSCL’99), Stanford, CA (pp. 425–433). Mahwah, NJ: Lawrence Erlbaum Associates.

Nurmela, K., Lehtinen, E., & Palonen, T. (1999). Evaluating CSCL log files by Social Network Analysis. In C. Hoadley (Ed.), Computer Support for Collaborative Learning (CSCL’99), Stanford, CA (pp. 434–442). Mahwah, NJ: Lawrence Erlbaum Associates.

Osuna, C., & Dimitriadis, Y. (1999). A Framework for the Development of Educational Collaborative Applications based on Social Constructivism. In Proceedings of CRIWG ’99 (p. 71-80). Canc´un: IEEE Computer Society Press.

QSR, NUD*IST. Software for qualitative data analysis. (1997). Thousand Oaks,CA, USA: Scolari.

Stake, R. (Ed.). (1995). The art of case study research. Thousand Oaks, CA:SAGE.

Wasserman, S., & Faust, K. (1994). Social Network Analysis: Methods and Applications.

Cambridge, U.K.: Cambridge University Press.

Wilson, B., & Myers, K. (2000). Theoretical foundations of learning environments. In D. Jonassen & S. Land (Eds.), (pp. 57–88). Mahwah, N.J.: Lawrence Erlbaum Associates, publishers.

 

1 Laboratorio de Arquitectura de Ordenadores，（西班牙语中的计算机体系结构实验室，是我们最初实施工程的主题）

 

 

2以卡夫卡《变形记》中的主题命名