image 5 e1767167513437

学习

创新和系统变革需要对项目采取适应性管理方法。你的监测、评估和学习计划(MEL)必须:

  • 优先考虑持续学习和调整,而非项目结束时的测评。
  • 依靠适于实验和非线性学习的方法,和对计划、战略和技术方法的常规调整。
  • 在决策中融入持续的反思和洞察,以指导未来的干预措施。
  • 采用参与式方法让关键利益相关者参与到整个过程中。

传统的监测和评估(M&E)方法在应用于创新性项目或系统性变革时可能面临挑战,有如下几个原因:

不确定性和不可预测性

创新或系统变革通常具有高度不确定性和不可预测性。传统的监测与评估依赖于预先设定的指标、具体的目标和精确的发展轨迹。相比之下,创新性项目通常涉及探索、适应和学习,使得结果难以预测。

非线性

传统的监测与评估方法通常假设从输入到输出再到成果的线性路径,而系统变革和创新本质上是非线性的。它们涉及尝试不同的方法、从失败中学习并对想法迭代更新。使用传统方法识别直接的因果关系并衡量影响可能会很棘手。

动态且复杂的环境

创新或系统变革所发生的环境是动态且复杂的。一个领域中的变革可能会导致其他领域中意想不到的后果,而且将特定干预措施的影响与其他因素分隔出来可能非常困难。

长期影响

创新或系统变革的影响通常需要很长时间才能显现出来,而在传统监测与评估周期的典型时间范围内,这些影响可能很难被发现。

失败的风险

当创新和系统变革尝试新的或复杂事物时,失败的风险可能更高。传统的监测与评估方法可能无法考虑这种风险,并且可能会消极看待失败,而不是将其视为学习和改进的机会。

性质方面

创新和制度变革常常带来性质上的变化,而这些变化并不总能通过传统的监测和评估中使用的定量测量措施有效发现。例如,组织文化的改变或利益相关者间合作水平的变化可能是创新挑战的关键成果,但用标准指标却难以衡量。

鉴于这些原因,监测和评估创新或系统变革需要更灵活和更具适应性的方法,以应对模糊性、复杂性和不确定性,并识别数量和性质两方面的变化。

形成变革理论

每个项目无疑都有其独特的变革理论。然而,你的测量策略应侧重于合理预示长期影响潜力的短期成果。在创新和系统变革的背景下,我们认识到变革是通过新理念的协作设计、测试和持续实施而实现的。这个过程需要培养更好的合作关系并发展新的能力,这通常需要思维模式和认知的转变。

因此,你的变革理论可能包含以下的连续阶段:

1›

个人思维模式的转变

参与者对创新和系统变革的看法和理解可能会因他们对项目的参与而不断发展变化。

2›

个人技能的提升

参与者的能力应随着他们参与能力构建活动而得到提升。

3›

组织思维模式、实践和
文化的改变

当个人参与者将所学新知识应用到各自的组织或机构时,可能会观察到更广泛的组织思维方式、实践和文化的改变。

4›

实践变革

随着思维方式转变、能力增强和文化改变,你希望看到个人以及组织以与先前不同的行为方式做事,这包括围绕系统理解和系统图绘制、协同设计、原型设计和测试的各项具体活动。

5

合作关系或伙伴关系的强化

合作关系或伙伴关系可以通过系统理解和网络建设活动得以结成和强化。

尽管这些活动可能是挑战赛中强制要求的,但尝试了解a)这些活动是否在按照挑战赛的初衷进行;以及b)参与者对所学内容的采用是否已延伸到竞赛要求之外,都将会提供有价值的信息。

假设你观察和测量到这些结果的积极转变,并且你也确信系统创新方法对这些改变做出了重大贡献。在这种情况下,这些结果就可以作为预测长期影响可能性的代理指标。

在整个过程中,必须记住,由于开放创新和系统变革的本质,变化的轨迹可能不是线性的。随着进程发展,以及这些方法的系统性影响变得愈加明显,可能需要对变革理论进行相应修订和调整。还有一点同样至关重要:要认识和考虑到可能会出现意想不到的后果,无论这种后果是积极的还是消极的。

每个阶段需要考虑的可能指标

虽然每个项目都会设置自定义指标,但下面的通用指标代表了在实施系统创新项目时希望看到的结果。你可以将其作为你的监测、评估和学习(MEL)计划的起点。

  • 输出
  • 绘制系统图并完成分析
  • 传达和交流系统图绘制的结果
  • 在发现阶段动员参与系统图绘制和挑战设计的利益相关方数量
  • 参与的利益相关方的多元化程度(包括组织和/或个
    人——即当地组织、历史原因被边缘化的群体等)
  • 成果
  • 参与者和更广泛的合作网络对系统性问题的认知度的提升
  • 网络参与者对系统性思维和系统性变革的观念模式转变
  • 网络参与者的系统性思维和系统图绘制的能力增强
  • 影响
  • 增强了以系统化方式工作的兴趣和投入度
  • 输出
  • 收到的符合条件的项目建议书数量
  • 提交项目建议书的组织和/或个人的多元化程度(即当地组织、历史原因被边缘化的群体等)
  • 产生的与挑战目标相关的创意数量
  • 成果
  • 个人和组织将创新与系统变革方法应用于工作中时,在知识、态度和/或思维模式上可衡量的变化
  • 参与者在系统创新方面的能力提升
  • 参与者在协作动机方面的增强
  • 参与者在应用系统视角计划并实施工作时表现出的可衡量变化
  • 参与者在工作中应用创新方法的可衡量变化
  • 影响
  • 组织与合作网络展现出持续参与、创新与合作,以解决系统层面的问题
  • 输出
  • 新确立的伙伴关系或者合作联盟的数量和质量
  • 解决方案与挑战目标的契合程度
  • 成果
  • 针对系统性问题的创新解决方案的开发和测试
  • 影响
  • 基于系统的解决方案明显地支持、催化或扩展了创新
  • 输出
  • 确立了合作网络的使命和章程
  • 激活了合作网络的协调功能
  • 确定了支持持续合作的网络资源
  • 成果
  • 与网络使命有关的利益相关方之间联系与合作的加强
  • 合作网络在挑战结束后仍以结构化的形式持续运行
  • 影响
  • 网络成员在系统问题上的集体影响力有所扩大
  • 对系统问题的集体行动有所增加和强化

暂停和反思

你可以考虑采用和整合“暂停与反思”这种方法来支持非线性调整。“暂停和反思”方法为创新和系统变革背景下的监测、评估和学习(MEL)提供了一种创新思路。它鼓励团队有意识地暂停工作,反思他们的工作,理解新出现的模式、调整策略并记录所学到的经验教训。这种方法非常适合系统创新的复杂性和动态性。

“暂停和反思”环节支持团队审视在系统创新过程中哪些做法运作良好,哪些方面存在问题。可以讨论预料外的结果、新颖的见解或新出现的挑战。例如,系统图绘制或能力构建工作坊的进展与预期不同,或者团队可能遇到参与者和合作网络的预料外的反应。这些反思环节帮助团队迭代完善你的流程,提供了一个从正在进行的工作中学习并根据需要调整路径的正式机会。

对于系统变革举措而言,“暂停和反思”可以提供一个途径来审视所做工作的更广泛的影响和意义。系统变革通常涉及长期且复杂的干预措施,其影响会波及到许多方向。反思环节可以帮助团队识别这些系统性影响,并思考这些影响是否与目标一致。例如,团队可能意识到某项干预成功影响了系统的一部分,但却无意中强化了另一部分有问题的方面。你可以利用从反思中获得的洞察重新设计方法,以推动所需改变。

“暂停和反思”环节应包括所有有关的利益相关者,包括你的核心团队和合作伙伴,受益人或受这项工作影响的其他人。这种包容性的方法确保多元化的视角,丰富反思过程,并促进更深入的学习和适应。这些“暂停和反思”环节应定期进行并嵌入到项目周期中,从而创造一种持续学习和改进的文化。

创新与系统变革的监测、评估和学习(MEL)方法

虽然传统的MEL方法可能不适用,但各种旨在更有效地应对复杂性和不确定性的方法可以帮助你了解项目的进展和影响。除了简单的“暂停和反思”环节,你还可以考虑以下方法:

  • 发展性评估

创新和系统变革经常涉及尝试新事物并且边做边学。发展性评估可以成为你在这种工作中的有力助手。与评估预设结果的传统评估方法不同,发展性评估通过提供实时反馈来支持创新,帮助你从正在进行的工作中学习并对策略做出相应调整。记住,这不是为了评判成功或失败——而是为了持续的学习和发展。

  • 成果采集

你可能正在一个复杂的系统中工作,其中因果关系很难确定。成果采集可以帮助你驾驭这种复杂性。这个方法不是从预设的结果着手,而是要识别已经发生的变化(‘成果’),弄清楚你的项目对这些变化做出了什么贡献,并从中学习。这是一种后向逆推的方式来理解你的影响,在出现意想不到的结果时尤其有用。

  • 最显著变化

讲故事的力量是强大的。最显著变化(MSC)的方法就是利用了故事的力量:从与你一起共事或为之服务的人们那里收集他们所经历的最显著变化的故事。通过讨论和分析这些故事,你和你的团队可以对你工作的影响获得深入的见解,包括那些定量方法可能忽略的影响。

为你确定方向的决策

  • 你的变革理论是什么?你可以在变革理论中测量什么?在你的变革理论中你不能评估什么?
  • 你的监测、评估与学习(MEL)框架将如何支持持续的适应性管理、学习、和决策?你会使用什么方法?
  • 学习和测评证据是为谁服务的?你将会向什么样的受众传达结果?
  • 你将如何以及何时收集数据?在挑战中的哪些时候,数据收集就会有意义?
  • 你需要多少时间、精力和技能来收集和分析数据?
  • 你收集数据时的风险和障碍是什么?

学习的旅程中你需要的向导

  • 监测、评估和学习(MEL)专家

你的核心团队应包括一名创新和系统变革方面的MEL专家,他可以设计框架并监督其实施。

  • 研究人员和数据分析师

你将需要研究助理来支持数据收集,并需要一名数据分析师来清理、分析、可视化所收集的数据。这些团队成员应该熟悉定量和定性方法。

  • MEL倡导者

MEL倡导者是来自于每个关键利益相关者组织中的人员,他们了解数据收集和分析,可以支持你推广这些工具并吸引合适的利益相关者参与所有MEL活动。

  • 外部MEL专家

考虑寻找愿意支持项目方法设计和评估的外部MEL专家,通过参与全部四个阶段中各项活动和会议来提供支持。这种专业技能是可选项,但考虑到评估创新和系统变革的复杂性,它可以成为你团队的宝贵资产。

评估你计划中的这些关键要素

  • 你是否已了解你希望发挥的影响,以及当前情况与预期改进之间的潜在因果联系?
  • 你是否已清楚地阐明你可以从项目中评估和学习什么,以及你需要什么数据?
  • 项目中的哪些时刻你已明确标识为数据收集点?你需要什么工具来收集和分析这些数据?
  • 你是否已告知有关利益相关者,特别是合作网络和挑战参与者,你需要他们做出承诺来收集你所需数据?
  • 你是否有一个系统来确保持续的反思点,以根据持续学习来调整项目?

注意警示标志

  • 不要过度承诺你能衡量的成果和影响。仔细思考确定你的学习和评估问题。确保这些问题在项目期间是可观察和可测量的,所以它们必须是具体和务实的。
  • 避免太多的问题或太多的指标。重点突出的MEL方法将为你提供更好的数据和见解。
  • 确保所需数据和承诺之间的平衡。在要求利益相关者参与之前,仔细考虑他们的时间投入和兴趣。在设想收集数据的方法时要有创意。

下面这些资源可以为你在学习的旅程中提供帮助

在创建MEL计划之前,请查看GKI的创新和系统变革MEL培训平台

查阅GKI的孟加拉国加速创新抗逆力项目中的示例材料,获取MEL工具和方法的启发想法:

有关创新与系统变革中MEL的其他资源:

尚未收到任何众源推荐。来做第一个分享者吧!

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注