1、Google機器人團隊獲ICRA 2023 機器人學習方向最佳論文獎：機器人實體控制的大語言模型程式
這篇論文主要讨論了大型語言模型（LLM）在機器人控制方面的應用。作者們指出，盡管LLM在了解和生成自然語言方面表現出色，但其在實際應用中，如機器人控制等領域的應用仍然有限。是以，他們提出了一種新的方法，即使用LLM編寫代碼來控制機器人的行為。
他們發現，編寫代碼的LLM在規劃、政策邏輯和控制方面表現出色。這些模型可以被重新用于編寫機器人政策代碼，給出自然語言指令（格式化為注釋）。政策代碼可以表達處理感覺輸出（例如，開放詞彙對象檢測器）和參數化控制原語API的函數或回報循環。當提供了幾個示例語言指令和相應的政策代碼（通過少量提示），LLM可以接收新的指令并自主重新組合API調用以生成新的政策代碼。此外，編寫代碼的模型可以表達各種算術運算以及基于語言的回報循環。他們不僅可以推廣到新的指令，而且由于在數十億行代碼和注釋上進行了訓練，也可以根據上下文為模糊的描述（例如，“更快”和“向左”）規定精确的值，以引出行為常識。
機器人智能AI&ROBOT
方法部分，作者們詳細介紹了如何使用大型語言模型（LLM）生成代碼作為政策。他們的方法主要包括以下幾個步驟：
1.定義語言模型程式（LMP）：作者們首先定義了語言模型程式（LMP）的概念。LMP是由語言模型生成并在系統上執行的任何程式。他們的工作主要研究了一類名為“代碼作為政策”的LMP，這類LMP将語言指令映射到代碼片段，這些代碼片段可以（i）響應感覺輸入（即來自傳感器或傳感器上層的子產品），（ii）參數化控制原語API，并（iii）直接在機器人上編譯和執行。
2.生成LMP：作者們展示了如何使用LLM生成LMP。他們提供了一些示例，如何将自然語言指令（格式化為注釋）轉化為代碼。例如，他們展示了如何使用LLM編寫代碼來控制機器人的行為，如移動物體，識别物體，以及執行更複雜的任務。
3.執行LMP：為了執行LMP，他們首先檢查它是否安全運作，確定沒有導入語句，沒有以__開頭的特殊變量，也沒有對exec和eval的調用。然後，他們使用Python的exec函數，将代碼作為輸入字元串，并使用兩個字典形成該代碼執行的範圍：（i）全局變量，包含生成的代碼可能調用的所有API，和（ii）局部變量，一個将在exec期間定義的變量和新函數填充的空字典。如果LMP預計會傳回一個值，他們會在exec完成後從局部變量中擷取它。
4.提示生成LMP：生成LMP的提示包含兩個元素：（i）提示，例如導入語句，告訴LLM哪些API可用以及如何使用這些API；（ii）示例，這些是指令到代碼對，展示了如何将自然語言指令轉化為代碼。這些可能包括執行算術運算，調用其他API，以及程式設計語言的其他特性。
5.進階LMP：作者們還展示了如何使用LLM生成更複雜的代碼，如使用控制流（如if-else和循環語句）和嵌套函數調用。他們還展示了如何使用LLM生成函數以供未來使用，以及如何使用LLM遵循良好的抽象實踐，避免将所有代碼邏輯“扁平化”。
在這篇論文的實驗部分，作者們展示了如何使用大型語言模型（LLM）編寫代碼來控制機器人的行為。他們提供了一些示例，包括如何使用LLM編寫Python腳本，如何使用第三方庫進行複雜操作，以及如何使用第一方庫進行操作。他們還展示了如何使用LLM編寫更複雜的代碼，如使用控制流（如if-else和循環語句）和嵌套函數調用。
在實驗中，他們使用了一些具體的任務來展示他們的方法的效果。例如，他們展示了如何使用LLM編寫代碼來移動物體，如何識别物體，以及如何執行更複雜的任務。他們還展示了如何使用LLM生成函數以供未來使用，以及如何使用LLM遵循良好的抽象實踐，避免将所有代碼邏輯“扁平化”。
以下是一些具體的實驗示例：
1.他們展示了如何使用LLM編寫代碼來移動物體。例如，他們展示了如何使用LLM編寫代碼來移動一個名為“紅色塊”的物體。他們首先擷取該物體的位置，然後将其向右移動一定的距離。
2.他們展示了如何使用LLM編寫代碼來識别物體。例如，他們展示了如何使用LLM編寫代碼來識别一個名為“藍色塊”的物體。他們使用了一個開放詞彙的物體檢測器來完成這個任務。
3.他們展示了如何使用LLM編寫代碼來執行更複雜的任務。例如，他們展示了如何使用LLM編寫代碼來将一個名為“藍色塊”的物體放在一個名為“藍色碗”的物體上。
4.他們展示了如何使用LLM生成函數以供未來使用。例如，他們展示了如何使用LLM編寫代碼來定義一個名為“get_total”的函數，該函數接受一個名為“xs”的參數，并傳回其總和。
5.他們展示了如何使用LLM遵循良好的抽象實踐，避免将所有代碼邏輯“扁平化”。例如，他們展示了如何使用LLM編寫代碼來定義一個名為“get_objs_bigger_than_area_th”的函數，該函數接受兩個參數——一個名為“obj_names”的物體名清單和一個名為“bbox_area_th”的門檻值，然後傳回所有大于該門檻值的物體的名字。
這些實驗結果表明，LLM可以有效地用于編寫控制機器人行為的代碼，具有很高的實用性和廣泛的應用前景。
最後作者們總結了他們的研究成果，并對未來的研究方向進行了展望。他們認為，大型語言模型（LLM）在編寫代碼方面的能力為機器人控制提供了新的可能性。通過使用LLM，我們可以将自然語言指令轉化為機器人政策代碼，進而實作更複雜的機器人行為。此外，他們還指出，LLM不僅可以了解和生成自然語言，還可以通過使用"say(text)"作為一個可用的動作原語API，參與人機對話和問答。他們的研究結果表明，LLM可以有效地編寫Python程式，并能夠處理各種複雜的任務，如移動物體，識别物體，以及執行更複雜的任務。他們的方法不僅可以廣泛應用于機器人控制，還可以用于其他需要編寫代碼的領域。
文章來源：CAAI認知系統與資訊處理專委會
2、埃斯頓：向子公司埃斯頓機器人增資4.5億元
埃斯頓8月1日公告，公司拟使用自有資金4.5億元對全資子公司南京埃斯頓機器人工程有限公司進行增資，其中3億元計入注冊資本，1.5億元計入資本公積。
埃斯頓公告稱，公司計劃将持有的埃斯頓醫療10%的股權以2400萬元的價格轉讓給控股股東派雷斯特。轉讓後，公司仍持有埃斯頓醫療16.68%的股權。此次交易旨在優化公司資産結構，聚焦主業發展，預計對公司2024年業績産生積極影響，稅前利潤影響金額約1500萬元。
資料來源：埃斯頓公告
埃斯頓公司拟使用自有資金4.5億元對全資子公司埃斯頓機器人增資，其中3億元計入注冊資本，1.5億元計入資本公積。增資完成後，埃斯頓機器人的注冊資本将由1.5億元增加至4.5億元，公司仍持有其100%股權。
本次增資旨在提升子公司資本實力和營運能力，符合公司戰略發展規劃。增資事項在公司董事會審批權限範圍内，無需送出股東大會審議，不構成關聯交易或重大資産重組。
資料來源：埃斯頓公告
公告顯示，2023年度，埃斯頓機器人實作營業收入16.57億元，淨利潤為0.29億元；2024年第一季度（未經審計）實作營業收入4.00億元，淨利潤為0.11億元。
埃斯頓表示，本次向埃斯頓機器人增資，是為了進一步滿足公司及子公司的經營發展需要，提升其資本實力，降低資産負債率，做大做強機器人産業，符合公司的戰略發展規劃。
埃斯頓機器人成立于2011年，法定代表人為吳侃，經營範圍涵蓋：以機器人及工業機器人成套系統為主的相關産品（含FTL柔性生産線制造、垂直多關節工業機器人、焊接機器人及其焊接裝置裝置）、裝置和工程內建項目的研發、生産和銷售，并提供相關配套服務；自營和代理各類商品和技術的進出口業務（國家限定公司經營或禁止進出口的商品和技術除外）等。
文章來源：新浪财經、同花順7x24快訊、埃斯頓等