在国家对美育教育逐步重视、钢琴教育成为千家万户艺术培养首选的当下,让人工智能技术助力钢琴学习。这是吴家骥老师指导下,刘嘉懿、李岱勋、王先豪等本科生们正在做的事。这群平均年龄20岁的年轻人,利用人工智能、计算机视觉和音频分析等多项技术,开发出了能够随时回放和进行指法评价的“琴悦人生”——智能钢琴陪练系统。
陪练听起来容易,要用算法实现却并非易事。要想完成一次合格的陪练,李岱勋团队的钢琴陪练系统需要克服手势识别、按键识别及模型部署等难题。拿最核心的手势识别来说,该环节的准确度会受到相机拍摄角度,照片虚化等因素干扰,直接影响模型对关节识别的准确度,进而影响手部姿势校准的准确度,直接影响最终学生手型纠正效果。
为了解决这一难题,琴悦科技团队采用了小关节识别的方法,该方法对手部进行了三维建模,并采集出18个关节特征点,使得每次手指的按动琴键都被清楚地记录且识别出来,以进行下一步的纠错。
目前,李岱勋团队共有7名成员,在全体成员的共同努力下,该项目曾获得西安电子科技大学第34届星火杯科技学术创新大赛的冠军。此外该团队还与背景光年无限科技有限公司签署了战略合作协议。光年无限主要从事机器人人工智能及机器人操作系统的研发及商业化应用,在语义理解、机器视觉、多模态人机交互、深度学习、机器人等领域具备领先优势。该公司目前主要专注于儿童教育市场,他们的加入,对李岱勋团队来说,既是肯定也是支持。
让智能钢琴陪练师“飞入寻常百姓家”,是李岱勋团队的奋斗目标。琴悦科技立足于练琴者实际练习中对指导和纠错提示的需求,从科学练习的方式出发,结合先进的科学技术,降低了钢琴学习的成本,提高了学习的效率,为国家的美育教育事业做出了自己的贡献。琴悦科技的所有成员,无疑是新时代大学生创新创业的榜样和楷模。