New tools for understanding AI and learning outcomes
New tools for understanding AI and learning outcomes | OpenAI
OpenAI 現在想做的是一套能長期追蹤的量測工具,去看學生到底有沒有真的學會
而不是只是看一次考試成績
Learning Outcomes Measurement Suite
不是單一模型,而是一組量測框架,核心是同時看三件事:
模型怎麼教、學生怎麼互動、以及長期學習結果怎麼變化
- System instructions
用教學導向的系統指令去調整模型行為,讓它更像 tutor,而不是直接給答案 - Learning interaction classifiers
自動抓出對話中的「學習時刻」,例如學生有沒有投入、有沒有修正錯誤 - Learning quality graders
評分每一次互動品質,看學生有沒有達成目標,以及這段互動是否符合好的教學原則,也會辨識 failure modes - Longitudinal learning graders
追蹤同一個學生一段時間內的變化,例如參與度、堅持度、後設認知策略 - Standardized cognitive / metacognitive measures
用標準化工具在使用前、中、後測量能力變化,例如批判思考、創造力、記憶
這篇不是在發表「AI 教學模型」
而是在發表一套「怎麼衡量 AI 到底有沒有真的幫學生學會」的工具箱