1、Google机器人团队获ICRA 2023 机器人学习方向最佳论文奖：机器人实体控制的大语言模型程序
这篇论文主要讨论了大型语言模型（LLM）在机器人控制方面的应用。作者们指出，尽管LLM在理解和生成自然语言方面表现出色，但其在实际应用中，如机器人控制等领域的应用仍然有限。因此，他们提出了一种新的方法，即使用LLM编写代码来控制机器人的行为。
他们发现，编写代码的LLM在规划、策略逻辑和控制方面表现出色。这些模型可以被重新用于编写机器人策略代码，给出自然语言命令（格式化为注释）。策略代码可以表达处理感知输出（例如，开放词汇对象检测器）和参数化控制原语API的函数或反馈循环。当提供了几个示例语言命令和相应的策略代码（通过少量提示），LLM可以接收新的命令并自主重新组合API调用以生成新的策略代码。此外，编写代码的模型可以表达各种算术运算以及基于语言的反馈循环。他们不仅可以推广到新的指令，而且由于在数十亿行代码和注释上进行了训练，也可以根据上下文为模糊的描述（例如，“更快”和“向左”）规定精确的值，以引出行为常识。
机器人智能AI&ROBOT
方法部分，作者们详细介绍了如何使用大型语言模型（LLM）生成代码作为策略。他们的方法主要包括以下几个步骤：
1.定义语言模型程序（LMP）：作者们首先定义了语言模型程序（LMP）的概念。LMP是由语言模型生成并在系统上执行的任何程序。他们的工作主要研究了一类名为“代码作为策略”的LMP，这类LMP将语言指令映射到代码片段，这些代码片段可以（i）响应感知输入（即来自传感器或传感器上层的模块），（ii）参数化控制原语API，并（iii）直接在机器人上编译和执行。
2.生成LMP：作者们展示了如何使用LLM生成LMP。他们提供了一些示例，如何将自然语言指令（格式化为注释）转化为代码。例如，他们展示了如何使用LLM编写代码来控制机器人的行为，如移动物体，识别物体，以及执行更复杂的任务。
3.执行LMP：为了执行LMP，他们首先检查它是否安全运行，确保没有导入语句，没有以__开头的特殊变量，也没有对exec和eval的调用。然后，他们使用Python的exec函数，将代码作为输入字符串，并使用两个字典形成该代码执行的范围：（i）全局变量，包含生成的代码可能调用的所有API，和（ii）局部变量，一个将在exec期间定义的变量和新函数填充的空字典。如果LMP预计会返回一个值，他们会在exec完成后从局部变量中获取它。
4.提示生成LMP：生成LMP的提示包含两个元素：（i）提示，例如导入语句，告诉LLM哪些API可用以及如何使用这些API；（ii）示例，这些是指令到代码对，展示了如何将自然语言指令转化为代码。这些可能包括执行算术运算，调用其他API，以及编程语言的其他特性。
5.高级LMP：作者们还展示了如何使用LLM生成更复杂的代码，如使用控制流（如if-else和循环语句）和嵌套函数调用。他们还展示了如何使用LLM生成函数以供未来使用，以及如何使用LLM遵循良好的抽象实践，避免将所有代码逻辑“扁平化”。
在这篇论文的实验部分，作者们展示了如何使用大型语言模型（LLM）编写代码来控制机器人的行为。他们提供了一些示例，包括如何使用LLM编写Python脚本，如何使用第三方库进行复杂操作，以及如何使用第一方库进行操作。他们还展示了如何使用LLM编写更复杂的代码，如使用控制流（如if-else和循环语句）和嵌套函数调用。
在实验中，他们使用了一些具体的任务来展示他们的方法的效果。例如，他们展示了如何使用LLM编写代码来移动物体，如何识别物体，以及如何执行更复杂的任务。他们还展示了如何使用LLM生成函数以供未来使用，以及如何使用LLM遵循良好的抽象实践，避免将所有代码逻辑“扁平化”。
以下是一些具体的实验示例：
1.他们展示了如何使用LLM编写代码来移动物体。例如，他们展示了如何使用LLM编写代码来移动一个名为“红色块”的物体。他们首先获取该物体的位置，然后将其向右移动一定的距离。
2.他们展示了如何使用LLM编写代码来识别物体。例如，他们展示了如何使用LLM编写代码来识别一个名为“蓝色块”的物体。他们使用了一个开放词汇的物体检测器来完成这个任务。
3.他们展示了如何使用LLM编写代码来执行更复杂的任务。例如，他们展示了如何使用LLM编写代码来将一个名为“蓝色块”的物体放在一个名为“蓝色碗”的物体上。
4.他们展示了如何使用LLM生成函数以供未来使用。例如，他们展示了如何使用LLM编写代码来定义一个名为“get_total”的函数，该函数接受一个名为“xs”的参数，并返回其总和。
5.他们展示了如何使用LLM遵循良好的抽象实践，避免将所有代码逻辑“扁平化”。例如，他们展示了如何使用LLM编写代码来定义一个名为“get_objs_bigger_than_area_th”的函数，该函数接受两个参数——一个名为“obj_names”的物体名列表和一个名为“bbox_area_th”的阈值，然后返回所有大于该阈值的物体的名字。
这些实验结果表明，LLM可以有效地用于编写控制机器人行为的代码，具有很高的实用性和广泛的应用前景。
最后作者们总结了他们的研究成果，并对未来的研究方向进行了展望。他们认为，大型语言模型（LLM）在编写代码方面的能力为机器人控制提供了新的可能性。通过使用LLM，我们可以将自然语言指令转化为机器人策略代码，从而实现更复杂的机器人行为。此外，他们还指出，LLM不仅可以理解和生成自然语言，还可以通过使用"say(text)"作为一个可用的动作原语API，参与人机对话和问答。他们的研究结果表明，LLM可以有效地编写Python程序，并能够处理各种复杂的任务，如移动物体，识别物体，以及执行更复杂的任务。他们的方法不仅可以广泛应用于机器人控制，还可以用于其他需要编写代码的领域。
文章来源：CAAI认知系统与信息处理专委会
2、埃斯顿：向子公司埃斯顿机器人增资4.5亿元
埃斯顿8月1日公告，公司拟使用自有资金4.5亿元对全资子公司南京埃斯顿机器人工程有限公司进行增资，其中3亿元计入注册资本，1.5亿元计入资本公积。
埃斯顿公告称，公司计划将持有的埃斯顿医疗10%的股权以2400万元的价格转让给控股股东派雷斯特。转让后，公司仍持有埃斯顿医疗16.68%的股权。此次交易旨在优化公司资产结构，聚焦主业发展，预计对公司2024年业绩产生积极影响，税前利润影响金额约1500万元。
资料来源：埃斯顿公告
埃斯顿公司拟使用自有资金4.5亿元对全资子公司埃斯顿机器人增资，其中3亿元计入注册资本，1.5亿元计入资本公积。增资完成后，埃斯顿机器人的注册资本将由1.5亿元增加至4.5亿元，公司仍持有其100%股权。
本次增资旨在提升子公司资本实力和运营能力，符合公司战略发展规划。增资事项在公司董事会审批权限范围内，无需提交股东大会审议，不构成关联交易或重大资产重组。
资料来源：埃斯顿公告
公告显示，2023年度，埃斯顿机器人实现营业收入16.57亿元，净利润为0.29亿元；2024年第一季度（未经审计）实现营业收入4.00亿元，净利润为0.11亿元。
埃斯顿表示，本次向埃斯顿机器人增资，是为了进一步满足公司及子公司的经营发展需要，提升其资本实力，降低资产负债率，做大做强机器人产业，符合公司的战略发展规划。
埃斯顿机器人成立于2011年，法定代表人为吴侃，经营范围涵盖：以机器人及工业机器人成套系统为主的相关产品（含FTL柔性生产线制造、垂直多关节工业机器人、焊接机器人及其焊接装置设备）、设备和工程集成项目的研发、生产和销售，并提供相关配套服务；自营和代理各类商品和技术的进出口业务（国家限定公司经营或禁止进出口的商品和技术除外）等。
文章来源：新浪财经、同花顺7x24快讯、埃斯顿等