导航菜单

CMU发布新型“翻译机”,通过JL2P将文字翻译成肢体运动

CMU发布了一种新的“翻译机”,可通过JL2P将文本翻译为人体动作。数据最大摘要2019.9.23我想分享大数据摘要编辑:Vicick和Liu Junyi如何在单词和运动之间建立相关链接?当文本是动词时,这样的连接很简单,只需执行适当的操作,例如在家对狗说“坐下”,如果听话的话,整个动作过程就完成了。但是,如果它是一个更复杂的文本,例如名词或句子,该怎么办?最近,卡内基梅隆大学(CMU)的AI研究人员发明了一种人工智能代理(AI agent),可以将单词转换为身体动作。这种方法称为“联合语言姿势”(JL2P)。自然语言可以通过JL2P与3D姿势模型结合使用。目前仅限于简笔画,但发展潜力巨大。 JL2P与以前的一些将文本转换为图像的工作是一致的。例如,Microsoft的ObjGAN可以概述字幕中的图像和情节提要。迪士尼的AI可以使用脚本中的文本来创建故事。板,Nvidia的GauGAN允许用户使用标记为“树”,“山”或“天空”的画笔绘制风景。Microsoft ObjGAN相关链接:迪士尼AI相关链接: /迪士尼从电影剧本中获取故事板动画/NVIDIA GauGAN相关链接: -look-real/JL2P通过端到端的课程学习进行培训,该课程强调在完成更困难的目标之前缩短任务完成序列。 JL2P动画目前仅限于简笔画,但是将文本转换为类人动物动作的能力有一天可以帮助类人机器人在现实世界中执行物理任务,或协助作者为视频游戏或电影创建动画虚拟角色。

JL2P使用KIT运动语言数据集进行训练。 JL2P可以执行诸如步行或跑步,弹奏乐器(例如吉他或小提琴),遵循方向指示(左或右)或控制速度(快或慢)之类的操作。 9月2日在9月19日在魁北克举行的3D视觉国际会议上,论文的第一作者是由Chaitanya的CMU语言技术学院的共同作者兼研究员在arXiv.org上对这项工作进行了描述。 Ahuja出现了。论文链接:写道:“我们首先优化模型,以基于完整的句子预测两个时间步。这一简单的任务有助于模型学习非常短的姿势序列,例如,步行过程中的腿部运动,挥手时的手部运动,以及弯曲时的躯干运动。一旦验证集的损失开始增加,我们进入课程的下一个阶段。现在,模型的预测姿势数为“姿势数” 。”与SRI国际研究人员在2018年提出的最先进的人工智能相比,JL2P声称在人体运动建模方面有9%的改善。相关链接:。一个人越过障碍,该数据集由德国高性能人形技术公司于2016年发布,人体动作和自然语言描述将11个小时的人体动作记录映射到6200多个英语句子中,大约8个单词。报告:

有机会去乌镇!

第六届世界互联网大会?乌镇峰会

数字经济人才研讨会

首届“ 30位新一代数字人才”评选

注册即可开始!

8月18日-数字经济才华对接VIP晚宴首批“ 30位新一代数字经济才华”颁奖典礼单击“阅读原件”或扫描海报的QR码以注册

实习/专职编辑招聘

加入我们,体验专业技术媒体的每一个细节,并与一群世界上最优秀的人才一起成长在最有前途的行业中。协调北京清华东门,在大数据摘要首页对话页面上回复“招聘”以获取详细信息。请直接将简历发送至

志愿者介绍背景答复“志愿者”加入我们收集报告投诉

大数据摘要汇编:Vicky和Liu Junyi如何建立文本与体育之间的关系?当文本是动词时,这样的连接很简单,只需执行适当的操作,例如在家对狗说“坐下”,如果听话的话,整个动作过程就完成了。但是,如果它是一个更复杂的文本,例如名词或句子,该怎么办?最近,卡内基梅隆大学(CMU)的AI研究人员发明了一种人工智能代理(AI agent),可以将单词转换为身体动作。这种方法称为“联合语言姿势”(JL2P)。自然语言可以通过JL2P与3D姿势模型结合使用。目前仅限于简笔画,但发展潜力巨大。 JL2P与以前的一些将文本转换为图像的工作是一致的。例如,Microsoft的ObjGAN可以概述字幕中的图像和情节提要。迪士尼的AI可以使用脚本中的文本来创建故事。板,Nvidia的GauGAN允许用户使用标记为“树”,“山”或“天空”的画笔绘制风景。Microsoft ObjGAN相关链接:迪士尼AI相关链接: /迪士尼从电影剧本中获取故事板动画/NVIDIA GauGAN相关链接: -look-real/JL2P通过端到端的课程学习进行培训,该课程强调在完成更困难的目标之前缩短任务完成序列。 JL2P动画目前仅限于简笔画,但是将文本转换为类人动物动作的能力有一天可以帮助类人机器人在现实世界中执行物理任务,或协助作者为视频游戏或电影创建动画虚拟角色。

JL2P使用KIT运动语言数据集进行训练。 JL2P可以执行诸如步行或跑步,弹奏乐器(例如吉他或小提琴),遵循方向指示(左或右)或控制速度(快或慢)之类的操作。 9月2日在9月19日在魁北克举行的3D视觉国际会议上,论文的第一作者是由Chaitanya的CMU语言技术学院的共同作者兼研究员在arXiv.org上对这项工作进行了描述。 Ahuja出现了。论文链接:写道:“我们首先优化模型,以基于完整的句子预测两个时间步。这一简单的任务有助于模型学习非常短的姿势序列,例如,步行过程中的腿部运动,挥手时的手部运动,以及弯曲时的躯干运动。一旦验证集的损失开始增加,我们进入课程的下一个阶段。现在,模型的预测姿势数为“姿势数” 。”与SRI国际研究人员在2018年提出的最先进的人工智能相比,JL2P声称在人体运动建模方面有9%的改善。相关链接:。一个人越过障碍,该数据集由德国高性能人形技术公司于2016年发布,人体动作和自然语言描述将11个小时的人体动作记录映射到6200多个英语句子中,大约8个单词。报告:

有机会去乌镇!

第六届世界互联网大会?乌镇峰会

数字经济人才研讨会

首届“ 30位新一代数字人才”评选

注册即可开始!

8月18日-数字经济才华对接VIP晚宴首批“ 30位新一代数字经济才华”颁奖典礼单击“阅读原件”或扫描海报的QR码以注册

实习/专职编辑招聘

加入我们,体验专业技术媒体的每一个细节,并与一群世界上最优秀的人才一起成长在最有前途的行业中。协调北京清华东门,在大数据摘要首页对话页面上回复“招聘”以获取详细信息。请直接将简历发送至

志愿者介绍背景回复“志愿者”加入我们