(5)邀请谁来评估调查结果或所得的结论的正确性和可靠性:用什么资料作出评估,是抽取少量样本,还是仅由专业人员作出判断。
(6)评价的结果提供给谁:是送给参与评价过程的所有人,或送给有关部门,还是公布给社区群众。
(7)评价结果以什么方式发布:通过会议或研讨会,张榜公布,通过口头方式,还是以论文形式发表。
2.评价内容
健康促进项目结果的评价通常包括以下几方面:
(1)健康文化的评价:包括与健康相关的知识、态度、动机、行为意图、个人保健技能和自我效能。
(2)社会行动和影响力的评价:包括社区参与、社区赋权、社区规范和公众意见。
(3)健康公共政策和组织改革:包括政策、立法、法规、资源分配、组织改革、文化和行为。
(4)健康生活方式和条件的评价:包括吸烟、食物的选择和可用性、体育活动、违禁药品的滥用、在自然和社会环境中对危险因素的保护比例。
(5)有效的健康服务评价:包括提供预防性服务、服务的可得性以及社会和文化的合适性。
(6)健康环境的评价:包括限制其获得烟、酒和违禁品,为青少年和老年人提供良好的环境,远离暴力和毒品。
(7)社会结果的评价:包括生活质量、功能的独立性、社会支持网络、辨别能力和公平。
(8)健康结果的评价:包括降低发病率、残疾率、可避免的死亡率、社会心理承受能力和生活技能。
(9)能力建设结果评价:包括可持续性的测量、社区参与和赋权。
(二)规划评价的类型
规划的评价应作为干预规划的组成部分,完整的评价应包括四种类型。
1.形成评价
形成评价(formative evaluation)又称为诊断评价或需求评估,是在规划执行前或执行早期对规划内容所作的评价,包括为制订干预规划所做的需求评估及为规划设计和执行提供所需的基础资料。
形成评价总的目的是通过需求评估以了解所制订的规划目标和干预措施是否合适;规划实施前对目标人群的了解,以决定适用于该人群的最佳干预方法;产生新观念、探索新策略。
具体内容包括以下几方面:
(1)了解目标人群对于各种措施的看法。
(2)选择教育信息并做预试验。
(3)了解教育资料发放系统,包括生产、贮存、批发、零售以及免费发放渠道。
(4)通过调查获得有价值的信息(如文盲率、方言、术语用词),为制订评价问卷提供依据。
(5)问卷的项目通过预调查作适当修改。
(6)提供定性资料为定量资料做解释或补充说明。
(7)发现实施早期阶段可能出现的问题。
形成评价的方法主要有文献、档案、资料的回顾、专家咨询、专题小组讨论、目标人群调查、现场观察、试点研究等。形成评估的指标一般包括计划的科学性、政策的支持性、技术上的适宜性、目标人群对策略和活动的接受程度等。
形成评价主要评估现行规划目标是否明确合理、指标是否恰当;资源的种类和数量,资料收集方法是否可行;执行人员是否具有完成该规划的能力等。总之,形成评价是使规划更完善、更合理、更可行、更容易为群众所接受,能最大限度降低项目失败的风险,增加成功的机会,形成评价可以看作是对项目的精心准备,能为项目的正确实施和取得良好效果奠定基础。
2.过程评价
过程评价(process evaluation)起始于健康教育与健康促进规划实施开始时,贯穿于规划执行的全过程,测评投入、活动和产出的过程。通过过程评价能发现项目执行过程中存在的问题,以便采取修正行动。过程评价的着重点在于项目日常持续进行的操作运转情况,旨在改善项目及其管理。过程评价与监测有相当大的重叠。
过程评价包括对规划的设计、组成、实施过程、管理、工作人员工作情况等进行评价,它是评估项目活动的质量与效率,而不是评估规划的效果和行为效应,目的在于控制规划的质量。因此,过程评价又称为质量控制或规划质量保证审查(quality assurance review,QAR)。
(1)过程评价的内容:过程评价的目的是确保项目能够按照规划执行,从而使规划目标能真正实现。它可分为三个层面:①针对个体的评价内容:评估规划实施情况并随时了解现场反应。如教育干预是否适合于教育对象,并为他们所接受;教育干预是否按既定程序得以实施(时间、频率);干预实施质量如何,是否出现敷衍了事、不负责任的工作作风;教育材料是否全部发放给目标人群;教育干预的覆盖率是多少,是否覆盖全部目标人群;目标人群参与情况如何,是否愿意或有可能参与规划,原因何在;干预方法是否有效,何种方法最佳,针对教育对象应如何调整干预方法;教育服务利用情况,如设立各类展览、咨询等服务项目,应了解其利用情况、利用率低的原因何在;信息反馈系统是否健全,是否建立完整的信息反馈体系,及时有效地反映规划情况;是否建立必要的记录保存制度,记录的完整性和质量如何。②针对组织的评价内容:项目涉及的组织;各组织间的沟通方式;各组织参与项目的程度和决策力量;对参与组织的调整方案;信息反馈制度等。③针对政策和环境的评价内容:包括项目涉及的政府机构;具体的参与部门;相关政策环境的改变和对项目的影响等。
(2)过程评价的方法:①查阅档案资料,即项目活动进度,目标人群的参与情况。②目标人群定性或定量调查,即目标人群参与情况,满意度调查。③现场观察,即干预活动执行情况,目标人群参与情况、满意度等。
3.效果评价
效果评价(effect evaluation)主要是针对短期和中期规划的评价,是规划评价的重要内容。评价的重点在于规划或规划的某方面对参与者的知识、态度、行为的直接影响。
效应评价是评估那些影响有关健康行为的倾向因素(包括知识、态度、信念等)、促进因素(资源、技术)及强化因素改变的程度,评估相关行为的改变情况,如有益的健康行为有无增加;有损健康的行为是否得到控制,如人群的吸烟率下降了多少,疾病是否较早得到诊断,暴露于危险环境的机会是否减少,环境状况是否得到改善。评估政策、法规制订情况,如领导及关键人物的思想观念是不是得到转变;是否制订有利于健康的政策、法律;各级行政领导对健康教育的干预参与程序,是否制订了相关的政策;是否为项目的开展创造了支持性环境等。
由于健康教育的效果是建立在知识、信念、行为转变上且其最终效果往往要几年、十几年甚至几十年才能表现出来的,因此效应评价是健康教育规划评价的重要内容。要使评价结果更具科学性,更有说服力,其评价设计的要求就更高,在工作中常需采用对照的方法。
4.结局评价
结局评价(outcome evaluation)又称远期效果评价,是评价健康促进规划的最终目的是否实现。结局评价表现为以下几个方面:
(1)效果:即规划对目标人群健康状况的影响,其评价指标是疾病发病率、死亡率、病残率的变化,了解规划是否影响某病的发病和流行情况,患者存活率及存活时间有无改变等。
对于营养健康教育,则以参与者的体重变化为指标。
(2)效益:效益指规划改变人群健康状况所带来的远期社会效益和经济效益。它的指标主要是生活质量指标,如劳动生产率、智力、福利、环境改善、长寿、人们精神面貌、降低卫生保健成本等。