为助力同学提升AI时代就业能力，探寻职场新知，上海财经大学商学院持续开展【AI+就业力锻造】项目系列活动，本次为AI大模型产品经理实战营第十一期课程。

   在AI产品从原型走向落地的关键阶段，如何科学评估AI能力与产品价值成为产品经理的核心能力。1月16日晚，“AI大模型产品经理实战营”第十期课程《AI产品能力评测》顺利进行，围绕AI产品评测的方法体系、流程设计与效果量化展开，为学员构建了一套可落地的评测能力框架。

      课程开篇指出，在大模型时代，产品经理的职责已从“功能定义”转向“价值定义与效果验证”。传统基于确定逻辑的产品文档已无法准确描述AI能力，产品经理必须通过构建评测集（Evals），将产品价值转化为可测试、可量化的标准。一位“懂AI的老板”在功能上线前最关心的不是体验反馈，而是评测结果——因为它直接反映了AI是否真正带来了用户价值。

  本次课程系统讲解了AI产品评测的核心流程。评测集的构建需贴近真实用户场景，其来源包括公开数据集、历史业务数据转化和人工构造。每条评测用例都应包含场景上下文、用户输入、期望结果等要素，并针对提效场景记录人工完成时间作为基准。在制定通过标准时，需区分客观题与主观题，后者往往需要设定多维度评价体系。

      评测执行阶段包括白盒测试与黑盒测试两种方法，执行方式涵盖人工测试、自动化测试以及智能辅助测试。通过率与提效率是核心评估指标，其中提效率的量化计算是衡量AI价值的关键。课程通过具体案例详细拆解了如何计算AI功能是否真正节省时间，并推算出其带来的成本节约，将技术能力转化为可感知的商业效益。

     与传统软件测试相比，AI产品评测由产品经理主导，关注用户价值而非单纯功能正确性。评测集的制定需要避免技术视角偏差，确保反映真实用户需求。评测是一个持续迭代的过程，不追求初始完美，而应基于上线后的真实数据与AB测试不断优化，形成“定义-评测-迭代”的闭环。

AI产品场景化设计与体验升级

场景驱动设计方法：深入解析高频用户场景挖掘与需求拆解，掌握从用户任务分析到AI能力匹配的系统化设计流程。

智能体与副驾模式实战：对比剖析Agent与Copilot在不同业务场景下的适用边界，学习如何根据用户专业程度选择最优产品形态。

体验分层与流程设计：掌握AI交互的三层体验设计——效率层、协作层与创造层，构建自然流畅的人机协作工作流。

风险控制与迭代优化：学习在高风险场景中设置人工校验节点的方法，建立从用户体验数据到产品迭代的闭环优化体系。