一个微风习习的早晨,你舒适地在床上伸个懒腰,然后悠悠地来一句:“微波炉加热早饭。”然后,你起床,洗漱完毕,会发现微波炉已经加热好了一份热腾腾早餐。
山东师范大学传媒学院院长助理兼数字媒体系主任、副教授刘兴波向我们描述这样一个场景,“这个场景就是一个典型的人机交互(人机对话)的情节。其原理是计算机通过声音传感器,采集人的声音,并判断、输入指令‘启动微波炉’。”刘兴波向我们解释说。
山东师范大学传媒学院数字媒体系的数字媒体艺术专业,是一个艺术与技术相结合的专业,属于交叉学科领域,涉及造型艺术、艺术设计、交互设计、计算机编程、计算机图形学、信息与通信技术等方面的知识。作为该系负责人的刘兴波,主要研究方向为信息技术教育应用、虚拟仿真技术应用、数字科技与文化等。
人机交互技术,也被称为人机对话,是计算机发展的趋势和方向。随着人工智能与大数据的发展,借助各种类型的传感器,计算机能够非常直观、直接、全面地捕捉到人的需求,也就是将能够懂得人的潜在意图,并按照人的意图提供各种形式的信息,如播放电影、音乐,查询航班信息,预定酒店房间,播报天气情况等,这在不久的将来会成为现实。刘兴波敏锐地意识到了这一点。2015年10月,系里讨论教学培养方案时,刘兴波谈到了人机交互技术在游戏中的应用问题。他认为,让人类的自然语言与先进的机器智能进行交互,是这个产业中最前沿的课题之一。体感控制作为人机交互的关键技术之一,是当前科研的热点,开发体感控制游戏能够促进科研成果的产出。因此,他建议在教学过程中引导学生开发一些体感控制类的游戏,这既立足于教学,又能够调动学生的学习兴趣和积极性。尤其是是游戏开发专业方向,引入人机交互技术,可以让玩家在游戏过程中体验高度的沉浸感。他的提议得到了系里各位老师的赞同。
引入课题易,落实起来难。但传媒学院的师生不怕困难,他们心往一处想,劲往一处使,凝结成一个强有力的研发团队。他们迎着风雨,勇敢地伸出了触摸未来科技的双手。
2016年5月份在北京微软亚洲研究院,即微软总部大厦举行的“微软下一代人机交互Hackathon(编程马拉松)比赛”是微软公司在中国举办的第一届以微软MPC技术为主题的赛事,得到了微软美国总公司的高度重视。微软充满神秘色彩的DX部门众多技术顾问从微软西雅图总部等地专程赶到比赛现场,并作赛前辅导报告。历经一个月的层层选拔,5月28日至29日,经过紧张的24小时不间断的火热编程比赛,山东师范大学传媒学院的“Hello World”团队凭借自主研发的机器人“缔造者”力克群雄,赢得了“微软下一代人机交互Hackathon(编程马拉松)中国区总决赛”唯一的一等奖。
本次比赛采用“线上+线下”的新颖比赛方式对参赛者的编程能力进行全面评测,吸引了全国211支代表队参赛,包括来自清华大学、山东大学、北京邮电大学、中国传媒大学等重点院校的团队,以及众多IT公司等的企业团队,可谓群英荟萃。可以说,山东师范大学队能夺得头筹实属不易。
通往成功的路总是不太平。为了这次凯旋,他们一路披荆斩棘,共同克服了许多困难和障碍。
唐玉芳博士2015年毕业于北京邮电大学信息与通信工程学院,获信号与信息处理专业博士学位,同年来山东师范大学传媒学院任教。他的研究方向包括模式识别、机器学习、数据挖掘、多媒体信息处理等,近年来在国内外学术期刊及国际会议发表EI论文10余篇。研发团队领队的重任就落在了这个富有才华的青年教师身上。唐玉芳不敢含糊。他精心选拔了李梦媛、董文浩和姜福琳3位对游戏开发有浓厚兴趣的学生,组建了第一支研发团队。团队的第一个项目是研发一款虚拟与现实融合的kinect体感3D游戏——缔造者,这也是他们参加这次微软组织的大赛的项目。
体感3D游戏开发对研发者的艺术功底和编程能力要求较高。为了顺利完成任务,唐玉芳根据团队成员的性格特点和技术特长,做了明确的任务分工,且每个人都有自己的昵称:唐玉芳自己定位为“管家婆”,主要带领学生设定游戏故事场景,分析技术难点,把控开发进度。李梦媛性格外向,编程能力较强,主要负责代码编写,是团队的“程序猿”。董文浩性格沉稳,动手能力较强,主要负责机器人开发事宜,是团队的“电子狗”。姜福琳性格内向,美术功底好,主要负责游戏场景建模,号称团队的“美羊羊”。
攻克技术难关,研发新的产品,这些可不像请客吃饭那么轻松愉快。他们在研发过程中,经常会遇到这样那样的困难和挑战,有时是措手不及,甚至举步维艰的。但他们从来没有气馁,更没有想到放弃。他们相互鼓励,一起学习,一起度过不眠之夜,一起迎来第一缕曙光。对于“美羊羊”姜福琳而言,游戏场景的反复变更是个令她备受折磨的问题。开发过程中,团队成员相互启发,经常碰撞出新的游戏故事情节,这就使得姜福琳要不断地重新绘制游戏场景。就在大赛前两天,他们又遇到了挑战:开发前期,他们使用kinect 1代设备进行体感控制开发;但是,离大赛开始只有两天的时间了,微软大赛组委会临时通知必须使用kinect 2代设备参加比赛!没有选择,李梦媛连续奋战,两天一夜没有合眼,重写了代码,保证了团队最终能够顺利参赛。
最严峻的考验却是在比赛现场,山师大的参赛选手们体验到了“心惊肉跳”的滋味。离比赛结束还有不足一个小时,他们研发的“缔造者”却不受体感控制,做出了一些匪夷所思的动作:队员发出伸手的动作,它却伸脚;摆出前进的动作,它却原地转圈。当时,所有队员的心提到了嗓子眼,广播里比赛结束倒计时的通知更增强了队员们的紧张情绪。一阵焦虑之后,队员们安静了下来,大家互相对视,彼此鼓励,积极寻求解决的办法。这时,唐玉芳老师一下站了起来:“室内有无线电干扰。和主办方沟通一下,我们把机器人拿到赛场外的空地上调试。”李梦媛立即向主办方说明了情况。董文浩在赛场外对机器人进行了仔细检查,重新对其进行编程。整个编程过程中,团队成员焦虑而又满怀期待的目光都集中在了董文浩身上。编程结束后,机器人做出正确动作的一瞬间,团队成员兴奋地喊了起来。
山东师范大学队研发的机器人“缔造者”作为一款融合了虚拟与现实的人机交互应用系统,使用者可以无需使用鼠标和键盘等传统人机交互设备,只需站在电脑前做出自然肢体动作,如伸出手臂、走路、跳起等,便可以准确控制3D场景中的虚拟人物和现实场景中的机器人,它们会准确模仿人的肢体动作。这款机器人以人体动作识别为核心,从虚拟和现实两方面对机器人进行操作控制,不仅实现了玩家通过自然肢体动作控制3D游戏场景中的虚拟机器人角色,还能控制现实场景中的实物机器人,实现了虚拟机器人和实物机器人准确模仿玩家的动作,达到了虚拟与现实的融合统一。该应用系统得到了微软DX部门技术顾问的一致好评,认为“缔造者”不仅可以应用在儿童娱乐、智能护理、危险品排除、特殊环境救助等日常生活和生产领域,也可以应用于宇宙探索中,如火星地质探测、月球开发等未来领域。
此次比赛,山东师范大学传媒学院数字媒体专业学生扎实的基本功、较强的创新能力和良好的团队合作能力受到一致好评。
从目前的发展趋势看,机器人必将像计算机一样,彻底改变人们的生产、生活方式,甚至生存模式。“人机协作”这一概念被看作是下一代机器人必须拥有的属性。只有先实现“人机协作”,才有可能使机器人的普及这一目标成为现实。从这个角度来说,山东师范大学传媒学院数字媒体系的师生不仅是未来科技的触摸者,也是未来世界的“缔造”者。
山东师范大学队获得一等奖 山东师范大学的同学在调试机器人