New tools for understanding AI and learning outcomes

New tools for understanding AI and learning outcomes | OpenAI

OpenAI 現在想做的是一套能長期追蹤的量測工具,去看學生到底有沒有真的學會
而不是只是看一次考試成績


Learning Outcomes Measurement Suite

不是單一模型,而是一組量測框架,核心是同時看三件事:
模型怎麼教、學生怎麼互動、以及長期學習結果怎麼變化

  1. System instructions
    用教學導向的系統指令去調整模型行為,讓它更像 tutor,而不是直接給答案
  2. Learning interaction classifiers
    自動抓出對話中的「學習時刻」,例如學生有沒有投入、有沒有修正錯誤
  3. Learning quality graders
    評分每一次互動品質,看學生有沒有達成目標,以及這段互動是否符合好的教學原則,也會辨識 failure modes
  4. Longitudinal learning graders
    追蹤同一個學生一段時間內的變化,例如參與度、堅持度、後設認知策略
  5. Standardized cognitive / metacognitive measures
    用標準化工具在使用前、中、後測量能力變化,例如批判思考、創造力、記憶

這篇不是在發表「AI 教學模型」
而是在發表一套「怎麼衡量 AI 到底有沒有真的幫學生學會」的工具箱


Powered by Forestry.md