(二)我国区域义务教育质量关键影响因素监测指标框架
构建区域义务教育质量关键影响因素监测指标框架,需要基于一定的理论基础,面向区域义务教育发展实际,关注党和国家政策推进实施的着力点,注重对已有成果的吸收和参考。特别是,指标框架的整体构建及其结构和要素之间关系的厘定都需要一定的理论作指导。国际大型教育质量监测项目,如OECD-EAG、SASS、TIMSS等,都是在明确的理论指导下形成了相应的指标框架,从而有效服务于项目实践和测评目标的达成。比较研究发现,以“背景-投入-过程-产出”为基本结构的CIPP模型不仅在国内外大型教育质量监测项目的评价指标框架构建中得到广泛应用,并且与构建我国区域义务教育质量关键影响因素监测指标框架的需求亦具有高度的适切性。该模型有助于从社会、学校、班级等多个层面来挖掘与学生发展关系密切的关键影响因素,有利于真正实现以学生发展结果为根本旨向的测评目标,体现义务教育发展的重要政策关切,凸显区域特性并兼顾各个层次和方面的影响因素。因此,本研究将CIPP模型作为构建我国区域义务教育质量关键影响因素监测指标框架的理论基础,参考CIPP模型的基本结构,遵循构建我国区域义务教育质量关键影响因素监测指标框架的四个原则,形成我国区域义务教育质量关键影响因素监测指标框架,包含背景评价、输入评价、过程评价、结果评价四个方面的内容(见表2)。
表2我国区域义务教育质量关键影响因素监测指标框架
第一,背景评价是在特定的环境下评定目标对象的需要、问题、资源和机会。霍力岩等认为,CIPP模型使我们加深了对教育背景和人口等关系的认识,让我们重新审视影响教育发展的决定性因素,即决定教育发展的力量不在校园内部而在校园外部。背景评价主要关注区域经济社会发展水平和区域教育事业发展基本情况。其中,区域经济社会发展水平包括区域内人口与就业、地区生产总值等方面;区域义务教育事业发展基本情况包括区域内义务教育阶段的学校布局结构、学校数、在校学生数、教职工数和专任教师数、生师比等方面。
第二,输入评价是在背景评价的基础上,对达到目标所需的条件、资源以及各备选方案的相对优点所作的评价,其实质是对方案的可行性和效用性进行判断。输入评价主要关注区域政府对于当地教育的投入,主要包括教育经费、办学条件和师资配置。其中教育经费包括教育经费总投入、生均经费、教育经费投入方式、教育经费管理制度;办学条件重点关注办学规模、班额、校舍及各种教育教学场地建设情况、教学资源配备情况等多个方面;师资配置主要包括教师聘用条件及资格、专任教师学历及专业技术职务情况、教师专业发展等方面。
第三,过程评价的目标就是调整和改进实施过程,其本质属于形成性评价。过程评价主要关注区域内义务教育的组织与领导,包括政策执行、入学机会、保障机制和质量管理四个方面,拟重点回答三个问题:教育政策/方案在实施过程中是否出现问题?教育政策/方案在实施过程中是否需要进行调整或修改?教育政策/方案该如何修改?其中,政策执行主要指是否贯彻执行党和国家的教育方针和战略部署,“以促进公平为重点,以提高质量为核心,全面实施素质教育”,推动教育科学发展,实现教育现代化,迈入教育强国行列;入学机会主要包括学位保障、入学率、保障外来务工人员随迁子女接受义务教育、建立留守儿童关爱体系等;保障机制主要关注是否依据国家政策,建立相关的责任、监督、落实和问责机制;质量管理主要包括义务教育巩固率、高中入学率、学生体质健康达标率、是否有效减轻课业负担、是否按国家规定的课程标准开齐开足课程等。
第四,结果评价主要是对目标达成度的评价,其本质上属于终结性评价。结果评价主要包括学生发展、均衡状况和公众满意度三部分。其中,学生发展主要包括学业水平发展(可采用国家义务教育质量监测结果)和全面个性发展(可参考学生综合素质评价结果)两方面;均衡状况包括校际差异、城乡差异两方面;公众满意度的核心指标为学校满意度、家庭满意度和社会满意度。
三、关于区域义务教育质量关键影响因素监测指标框架的几点思考
区域义务教育质量关键影响因素监测是一个不断发展螺旋式上升的系统工程,包括指标框架构建、标准研制、工具开发、数据采集、数据分析、报告撰写、结果反馈、改进提升等多个重要环节,环环相扣、紧密相联、互为促进。指标框架构建是这个系统工程中的基础性工作,因此在尝试构建我国区域义务教育质量关键影响因素监测指标框架时,还需充分考虑到未来的具体实施和应用,保证其可落地操作性和可实现性。
(一)适时更新指标框架,并利用横纵向数据对指标进行交互验证
指标框架需要根据教育发展状况和实际需求,适时对指标进行修订和更新,并在实践中不断通过监测数据进行指标验证,保证区域义务教育质量关键影响因素指标的科学性和合理性。例如,OECD-EAG教育指标在研制过程中始终关注那些通过国际视角能够提供重要附加值的问题,在保持指标稳定性和开发新指标的过程中保持平衡。
一般来说,区域义务教育质量关键影响因素指标理论框架的验证和完善主要通过两种途径。一是通过有代表性的横断数据进行验证。例如,通过一次性调查问卷获得的区域义务教育质量关键影响因素监测数据与学生发展水平进行关联分析,从而有效筛选出与区域义务教育质量有关联的关键影响因素。二是通过持续监测的数据进行纵向追踪,筛选出与区域义务教育质量有关联的关键影响因素指标。目前,国际大型教育质量监测项目越来越倾向于使用趋势性数据来验证关键影响因素。如在 2017年出版的OECD-EAG中,将2005年的数据作为基线数据,2015年的数据作为对照数据,观察不同国家在这10年间的变化趋势。趋势性数据可以帮助政策制定者作出持续性诊断和反馈,且更少受到因文化问题引起的解释性偏差的影响,如果区域教育政策在某段时间内发生了重大变化,也可以通过追踪数据来评价政策带来的效果和影响。
(二)构建区域义务教育质量数据采集网络信息系统,多渠道采集数据
数据是教育评估的重要依据,其质量的高低直接影响统计信息的信效度。通过多元渠道采集区域数据,构建基于区域的数据网络信息系统,以此来保证评估数据的信效度。例如,OECD针对不同类型的数据,设计了科学多元的数据采集途径。一是以教科文-经合组织-欧盟统计局联合统计数据为主要数据来源,重点统计教育管理型数据,如入学率、教育支出、班级规模等。二是NESLI信息采集网络系统,收集有关教师与课程的数据,如教师工作时间、教师工资等。三是LSO信息采集网络系统,主要统计与教育产出相关的数据,包括教育与就业、教育与收入等方面的数据,为高质量采集数据提供了基础保障。
我国区域义务教育质量关键影响因素监测框架涉及学生、学校、区域和政府四个层面,为保证数据采集的科学、客观、真实、有效,可根据监测对象的不同,采用多元的方式采集数据。对于学生和学校层面的指标,可以请学生或校长填写问卷,采用问卷调查的方式采集数据。对于区域层面的指标,可以同时采用三种方式采集数据。第一,对于公共数据库中已包含的指标(如经费保障),可以直接采用公共数据,从相关部门直接获取数据信息。第二,对于公共数据库中未包含的指标,可采用问卷调查(如公众满意度)的方式收集数据。第三,对于难以采集的数据,可以结合实地访谈的方式收集,如了解区域的传统与文化氛围等。对于政府层面的指标,可在采用政府部门提供的数据的同时,采用实地访谈的数据结果对问卷数据进行补充和验证。