作業幫AI實踐創新 “手勢識別”帶來的課堂高頻互動

師生間的肢體互動是活躍課堂氣氛、提升上課效率的有效手段。但一位主講老師同時面對數千甚至上萬學生的課堂，有限的精力無暇回應每一位學生。是否能有這樣一個功能，讓學生的每一次參與都被感知，每一次互動都被回應？借助 AI 能力回應小學生在課堂上的互動行為，“手勢識別”功能的需求被提出。

作業幫智能技術實驗室負責人王巖團隊接到了這一需求。最初，在產研團隊和主講老師的頭腦風暴環節，大概提出了 15-20 種手勢，單手和雙手都有。“產品要貼近應用，小朋友不理解的和老師上課用不到的，做了也沒用。”王巖說。最后，根據老師課堂實用性，保留了點贊、比心、OK 等常用手勢。

但在功能落地過程中，難點也隨之而來。小朋友比劃的形式、角度等都會影響識別的準確率，這就需要前期盡可能多地收集樣本素材，更準確地定義各個手勢。

針對每個手勢，技術都會內部先錄制一版 demo。因為要確定手勢是否貼合小朋友的習慣，需要模擬孩子上課的視角。為此，技術老師編寫了一個小程序。然后，一群程序員，聚在辦公室里，打開手機前置攝像頭，跟著自己編寫的小程序，模仿小朋友做出各種比心、點贊的手勢。

初版 demo 完成后，負責產品的聶靖騏開始在灰度測試中收集小朋友手勢，總共發起 4-5 次收集。“由主講老師在課中進行引導，讓學生比出點贊、比心等手勢。然后，根據各種手勢的占比多少進行取舍。”最后，有近萬名學生的 2000 多種手勢被收錄到系統中。

2020 年初，隨著“小組直播間”的正式上線，手勢識別的功能也被應用到課堂上。2020 年暑期，在小組直播間功能升級調研中，手勢識別成為小學生互動滿意度最高的功能，有 77.14%的小學生表示，非常滿意，平均滿意度達 4.7 分（滿分 5 分）。

借助 AI 技術，作業幫讓在線課堂活躍起來，變得更加有趣。對于接下來的規劃，聶靖騏仍希望這項功能更好地應用到教學場景。“朝著這個方向，我們會繼續豐富手勢和提高識別準確率，為老師和學生帶來更豐富的體驗。”

關鍵詞：