機(jī)器人領(lǐng)域最重要且至今尚未完成的挑戰(zhàn)是學(xué)習(xí)了解這個(gè)世界，并操控其中的物體與世界進(jìn)行交互?，F(xiàn)在的機(jī)器人跟科幻電影里無所不能的機(jī)器人還差距甚遠(yuǎn)，機(jī)器人在人類社會(huì)的滲透率仍然很低。
【大模型的出現(xiàn)，補(bǔ)全了讓機(jī)器人產(chǎn)業(yè)從1%到10%躍升的技術(shù)基礎(chǔ)，這也是業(yè)內(nèi)為何看中“機(jī)器人+大模型”的主要原因。以ChatGPT代表的生成式AI（AIGC）走紅全球，深刻影響著機(jī)器人行業(yè)。】
具身智能已經(jīng)成為國際學(xué)術(shù)前沿研究方向，具有支持感覺和運(yùn)動(dòng)的物理身體，可以進(jìn)行主動(dòng)式感知，也可以執(zhí)行物理任務(wù)，強(qiáng)調(diào)“感知-行動(dòng)回路”的重要性——即感受世界、對(duì)世界進(jìn)行建模、進(jìn)而采取行動(dòng)、進(jìn)行驗(yàn)證并調(diào)整模型的過程，這一過程正與我們?nèi)祟惖膶W(xué)習(xí)和認(rèn)知過程吻合。
他提到，人工智能從第一代符號(hào)主義到第二代感知智能，以及第三代認(rèn)知智能，與機(jī)器人的發(fā)展歷程交相呼應(yīng)、協(xié)同發(fā)展。以深度學(xué)習(xí)為主的第二代感知智能極大地促進(jìn)了圖像識(shí)別、語義理解、大數(shù)據(jù)分析等領(lǐng)域的技術(shù)進(jìn)步。第二代機(jī)器人解決了環(huán)境感知與導(dǎo)航定位技術(shù)、基于激光SLAM與深度學(xué)習(xí)結(jié)合的語義地圖技術(shù)、基于語音的人機(jī)交互技術(shù)、基于深度學(xué)習(xí)的視頻結(jié)構(gòu)化及圖像檢測(cè)與識(shí)別技術(shù)、基于大數(shù)據(jù)分析的傳感器數(shù)據(jù)分析與行業(yè)數(shù)據(jù)分析和處理技術(shù)。
高新興機(jī)器人結(jié)合第二代人工智能技術(shù)和機(jī)器人技術(shù)，構(gòu)建了全棧機(jī)器人技術(shù)研發(fā)體系，搭建了云邊端一體化機(jī)器人操作系統(tǒng)、FMAX四個(gè)機(jī)器人硬件平臺(tái)、基于國產(chǎn)芯片SOC攻克了智能跨域融合控制器，在移動(dòng)能力上解決了線控底盤、電機(jī)及控制器、智能跨域融合控制器技術(shù)；在感知能力上解決了以激光SLAM為主的組合導(dǎo)航技術(shù)、三維重建技術(shù)、基于高清、紅外、紫光視覺、聲音為主的多傳感器環(huán)境感知與邊緣計(jì)算技術(shù)；在決策能力上解決了規(guī)劃決策、人機(jī)協(xié)同、多機(jī)協(xié)同及調(diào)度、云邊端一體化技術(shù)；在交互能力上解決了特定場景NLP、移動(dòng)AI檢測(cè)和識(shí)別技術(shù)；在應(yīng)用能力上打造了安保服務(wù)平臺(tái)、警用無人系統(tǒng)平臺(tái)、工業(yè)巡檢平臺(tái)及遠(yuǎn)程運(yùn)維和服務(wù)平臺(tái)。
以大模型和多模態(tài)為主的第三代人工智能在基礎(chǔ)模型作為感知模塊的工作中，更多是基于視覺模型與具身智能的結(jié)合;而在基礎(chǔ)模型作為規(guī)劃模塊的工作中，以ChatGPT為代表的生成式語言模型被用于對(duì)復(fù)雜指令進(jìn)行拆解和規(guī)劃;在動(dòng)作執(zhí)行模塊，基礎(chǔ)模型往往需要結(jié)合指令和對(duì)環(huán)境的觀測(cè)結(jié)果等多模態(tài)數(shù)據(jù)，來實(shí)現(xiàn)精細(xì)動(dòng)作的執(zhí)行。
高新興機(jī)器人基于鳳凰平臺(tái)、梧桐平臺(tái)和尚云平臺(tái)構(gòu)成的云邊端一體化機(jī)器人2.0系統(tǒng)為基礎(chǔ)，對(duì)系統(tǒng)架構(gòu)和技術(shù)架構(gòu)進(jìn)行全面升級(jí)，打造全新的基于具身智能大模型框架的云邊端一體化3.0系統(tǒng)“千巡問義”，采用分布實(shí)施分布上線的策略：首先巡邏機(jī)器人基于巡邏業(yè)務(wù)和行業(yè)數(shù)據(jù)庫，使用現(xiàn)有GPT等多模態(tài)大語言模型讓機(jī)器人聽得懂人的語言指令，實(shí)現(xiàn)和人類進(jìn)行“類人”交互模式轉(zhuǎn)變，解決基于AIGC的人機(jī)交互問題，打造人機(jī)生成式大模型交互“千巡問警”；其次解決機(jī)器人的認(rèn)知決策能力：深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、強(qiáng)化學(xué)習(xí)等都是機(jī)器人重要的學(xué)習(xí)手段；最后解決機(jī)器人的執(zhí)行能力，讓機(jī)器人處理現(xiàn)實(shí)中的復(fù)雜任務(wù)。
廣州高新興機(jī)器人有限公司是全球領(lǐng)先的巡邏機(jī)器人（SPR）產(chǎn)品與服務(wù)提供商，致力于“機(jī)器人+安全”賽道，布局面向“公共安全”的警用巡邏機(jī)器人、面向“社會(huì)安全”的安保服務(wù)機(jī)器人及面向“工業(yè)安全”工業(yè)巡檢機(jī)器人三大主營業(yè)務(wù)，為客戶提供云邊端一體化機(jī)器人系統(tǒng)解決方案，已廣泛服務(wù)于公安、消防、邊防、安防、倉儲(chǔ)、工廠、石油化工、電力等領(lǐng)域客戶。
高新興機(jī)器人將有效利用大模型，突破巡邏機(jī)器人的感知、認(rèn)知、決策和交互技術(shù)難題，并籍著我們已完成端到端全自研軟硬件技術(shù)框架搭建的堅(jiān)實(shí)基礎(chǔ)，重點(diǎn)突破智能化3.0階段，提高機(jī)器人的智能化水平和自主化能力，支撐其在警用巡邏、安保服務(wù)和工業(yè)巡檢行業(yè)內(nèi)多場景產(chǎn)品與應(yīng)用落地，用機(jī)器人守護(hù)安全。
【大模型的出現(xiàn)，補(bǔ)全了讓機(jī)器人產(chǎn)業(yè)從1%到10%躍升的技術(shù)基礎(chǔ)，這也是業(yè)內(nèi)為何看中“機(jī)器人+大模型”的主要原因。以ChatGPT代表的生成式AI（AIGC）走紅全球，深刻影響著機(jī)器人行業(yè)。】
具身智能（Embodied Intelligence）是指一種具備自主決策和行動(dòng)能力的機(jī)器智能，能夠像人類一樣與環(huán)境交互、感知、規(guī)劃、決策、行動(dòng)、執(zhí)行任務(wù)。它包含了人工智能領(lǐng)域幾乎所有的技術(shù)：如自然語言理解、邏輯推理、運(yùn)動(dòng)控制、機(jī)械控制、機(jī)器學(xué)習(xí)、機(jī)器視覺、博弈倫理等，橫跨多個(gè)學(xué)科、是人工智能的集大成者。
在ChatGPT出現(xiàn)之前，大模型與具身智能領(lǐng)域的結(jié)合更多出現(xiàn)在感知層面，在海量數(shù)據(jù)集上預(yù)訓(xùn)練的視覺模型只是作為一種更好的表征提取器來提升機(jī)器人在場景中的感知能力，而具體的規(guī)劃與動(dòng)作執(zhí)行依然需要大量的具身場景數(shù)據(jù)進(jìn)行訓(xùn)練。
隨著ChatGPT等大語言模型(LLM)展現(xiàn)出了豐富的知識(shí)和令人驚艷的推理能力，在具身智能領(lǐng)域之前很難解決的復(fù)雜任務(wù)也開始逐漸跟LLM相結(jié)合，通過用LLM將復(fù)雜任務(wù)進(jìn)行分解并特定地完成其分解后的子任務(wù)，并取得突破性的進(jìn)展。
具身智能已經(jīng)成為國際學(xué)術(shù)前沿研究方向，具有支持感覺和運(yùn)動(dòng)的物理身體，可以進(jìn)行主動(dòng)式感知，也可以執(zhí)行物理任務(wù)，強(qiáng)調(diào)“感知-行動(dòng)回路”的重要性——即感受世界、對(duì)世界進(jìn)行建模、進(jìn)而采取行動(dòng)、進(jìn)行驗(yàn)證并調(diào)整模型的過程，這一過程正與我們?nèi)祟惖膶W(xué)習(xí)和認(rèn)知過程吻合。
7月7-9日，華為開發(fā)者大會(huì)2023在松山湖華為小鎮(zhèn)精彩舉辦，在華為“具身智能，讓機(jī)器人‘知行合一’”分論壇上，高新興機(jī)器人首席技術(shù)官劉彪以《大模型助力巡邏機(jī)器人進(jìn)入3.0時(shí)代》為題進(jìn)行了技術(shù)分享。
他提到，人工智能從第一代符號(hào)主義到第二代感知智能，以及第三代認(rèn)知智能，與機(jī)器人的發(fā)展歷程交相呼應(yīng)、協(xié)同發(fā)展。以深度學(xué)習(xí)為主的第二代感知智能極大地促進(jìn)了圖像識(shí)別、語義理解、大數(shù)據(jù)分析等領(lǐng)域的技術(shù)進(jìn)步。第二代機(jī)器人解決了環(huán)境感知與導(dǎo)航定位技術(shù)、基于激光SLAM與深度學(xué)習(xí)結(jié)合的語義地圖技術(shù)、基于語音的人機(jī)交互技術(shù)、基于深度學(xué)習(xí)的視頻結(jié)構(gòu)化及圖像檢測(cè)與識(shí)別技術(shù)、基于大數(shù)據(jù)分析的傳感器數(shù)據(jù)分析與行業(yè)數(shù)據(jù)分析和處理技術(shù)。
高新興機(jī)器人結(jié)合第二代人工智能技術(shù)和機(jī)器人技術(shù)，構(gòu)建了全棧機(jī)器人技術(shù)研發(fā)體系，搭建了云邊端一體化機(jī)器人操作系統(tǒng)、FMAX四個(gè)機(jī)器人硬件平臺(tái)、基于國產(chǎn)芯片SOC攻克了智能跨域融合控制器，在移動(dòng)能力上解決了線控底盤、電機(jī)及控制器、智能跨域融合控制器技術(shù)；在感知能力上解決了以激光SLAM為主的組合導(dǎo)航技術(shù)、三維重建技術(shù)、基于高清、紅外、紫光視覺、聲音為主的多傳感器環(huán)境感知與邊緣計(jì)算技術(shù)；在決策能力上解決了規(guī)劃決策、人機(jī)協(xié)同、多機(jī)協(xié)同及調(diào)度、云邊端一體化技術(shù)；在交互能力上解決了特定場景NLP、移動(dòng)AI檢測(cè)和識(shí)別技術(shù)；在應(yīng)用能力上打造了安保服務(wù)平臺(tái)、警用無人系統(tǒng)平臺(tái)、工業(yè)巡檢平臺(tái)及遠(yuǎn)程運(yùn)維和服務(wù)平臺(tái)。
以大模型和多模態(tài)為主的第三代人工智能在基礎(chǔ)模型作為感知模塊的工作中，更多是基于視覺模型與具身智能的結(jié)合;而在基礎(chǔ)模型作為規(guī)劃模塊的工作中，以ChatGPT為代表的生成式語言模型被用于對(duì)復(fù)雜指令進(jìn)行拆解和規(guī)劃;在動(dòng)作執(zhí)行模塊，基礎(chǔ)模型往往需要結(jié)合指令和對(duì)環(huán)境的觀測(cè)結(jié)果等多模態(tài)數(shù)據(jù)，來實(shí)現(xiàn)精細(xì)動(dòng)作的執(zhí)行。
具身智能機(jī)器人首先要能夠聽懂人類語言，然后分解任務(wù)，規(guī)劃子任務(wù)，在移動(dòng)中識(shí)別物體，與環(huán)境交互，最終完成相應(yīng)任務(wù)。GPT等大模型的出現(xiàn)提供了新思路——已有不少研究者嘗試將多模態(tài)的大語言模型與機(jī)器人結(jié)合起來，通過將圖像、文字、具身數(shù)據(jù)聯(lián)合訓(xùn)練，并引入多模態(tài)輸入，增強(qiáng)模型對(duì)現(xiàn)實(shí)中對(duì)象的理解，幫助機(jī)器人處理具身推理任務(wù)。
高新興機(jī)器人與華為云、上海交通大學(xué)、重慶大學(xué)等高校和大型研發(fā)機(jī)構(gòu)在行業(yè)大模型進(jìn)行合作，高新興機(jī)器人提供行業(yè)數(shù)據(jù)、語料庫以及機(jī)器人底層軟件和具身智能模型落地支持，共同面向巡邏機(jī)器人智能化開展具身智能大模型研發(fā)。
盤古大模型3.0是華為云推出的面向行業(yè)的大模型系列。它采用了"5+N+X"的三層架構(gòu)。其中，"5"代表L0層的五個(gè)基礎(chǔ)大模型，包括自然語言、視覺、多模態(tài)、預(yù)測(cè)和科學(xué)計(jì)算大模型，這些大模型可以滿足行業(yè)場景中的多種技能需求。
盤古3.0提供了多種參數(shù)規(guī)模的大模型，如100億參數(shù)、380億參數(shù)、710億參數(shù)和1000億參數(shù)的系列化基礎(chǔ)大模型，以滿足不同場景和需求的客戶。同時(shí)它還提供了一些新的能力集，如知識(shí)問答、文案生成、代碼生成等能力，以及圖像生成、圖像理解等多模態(tài)大模型的能力。無論參數(shù)規(guī)模大小，盤古提供了一致的能力集。在"5+N+X"這個(gè)架構(gòu)中的"N"代表L1層的N個(gè)行業(yè)大模型，華為云可以提供使用行業(yè)公開數(shù)據(jù)訓(xùn)練的通用大模型，也可以根據(jù)行業(yè)客戶的自有數(shù)據(jù)為其訓(xùn)練專有大模型。客戶可以像華為生成盤古大模型一樣，生成自己的行業(yè)大模型——"X"則代表L2層，為客戶提供更多細(xì)化場景的模型，如政務(wù)熱線、網(wǎng)點(diǎn)助手、先導(dǎo)藥物篩選、傳送帶異物檢測(cè)、臺(tái)風(fēng)路徑預(yù)測(cè)等具體行業(yè)應(yīng)用或特定業(yè)務(wù)場景的模型服務(wù)，為客戶提供"開箱即用"的模型。
通過這三層大模型，華為云構(gòu)建了自己的大模型底座。在最底層，華為搭建了以鯤鵬和昇騰為基礎(chǔ)的AI算力云平臺(tái)，以及包括CANN、MindSpore和ModelArts在內(nèi)的AI技術(shù)底層，為大模型的開發(fā)和運(yùn)行提供支持。華為還與各個(gè)行業(yè)的伙伴合作，將各行各業(yè)的知識(shí)與大模型進(jìn)行匹配和融合，通過"5+N+X"的三層架構(gòu)，提供豐富的基礎(chǔ)大模型、行業(yè)大模型和細(xì)化場景的模型，為客戶在各個(gè)行業(yè)中的人工智能應(yīng)用提供強(qiáng)大的支持。
高新興機(jī)器人基于鳳凰平臺(tái)、梧桐平臺(tái)和尚云平臺(tái)構(gòu)成的云邊端一體化機(jī)器人2.0系統(tǒng)為基礎(chǔ)，對(duì)系統(tǒng)架構(gòu)和技術(shù)架構(gòu)進(jìn)行全面升級(jí)，打造全新的基于具身智能大模型框架的云邊端一體化3.0系統(tǒng)“千巡問義”，采用分布實(shí)施分布上線的策略：首先巡邏機(jī)器人基于巡邏業(yè)務(wù)和行業(yè)數(shù)據(jù)庫，使用現(xiàn)有GPT等多模態(tài)大語言模型讓機(jī)器人聽得懂人的語言指令，實(shí)現(xiàn)和人類進(jìn)行“類人”交互模式轉(zhuǎn)變，解決基于AIGC的人機(jī)交互問題，打造人機(jī)生成式大模型交互“千巡問警”；其次解決機(jī)器人的認(rèn)知決策能力：深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、強(qiáng)化學(xué)習(xí)等都是機(jī)器人重要的學(xué)習(xí)手段；最后解決機(jī)器人的執(zhí)行能力，讓機(jī)器人處理現(xiàn)實(shí)中的復(fù)雜任務(wù)。
關(guān)于高新興機(jī)器人
廣州高新興機(jī)器人有限公司是全球領(lǐng)先的巡邏機(jī)器人（SPR）產(chǎn)品與服務(wù)提供商，致力于“機(jī)器人+安全”賽道，布局面向“公共安全”的警用巡邏機(jī)器人、面向“社會(huì)安全”的安保服務(wù)機(jī)器人及面向“工業(yè)安全”工業(yè)巡檢機(jī)器人三大主營業(yè)務(wù)，為客戶提供云邊端一體化機(jī)器人系統(tǒng)解決方案，已廣泛服務(wù)于公安、消防、邊防、安防、倉儲(chǔ)、工廠、石油化工、電力等領(lǐng)域客戶。
高新興機(jī)器人將有效利用大模型，突破巡邏機(jī)器人的感知、認(rèn)知、決策和交互技術(shù)難題，并籍著我們已完成端到端全自研軟硬件技術(shù)框架搭建的堅(jiān)實(shí)基礎(chǔ)，重點(diǎn)突破智能化3.0階段，提高機(jī)器人的智能化水平和自主化能力，支撐其在警用巡邏、安保服務(wù)和工業(yè)巡檢行業(yè)內(nèi)多場景產(chǎn)品與應(yīng)用落地，用機(jī)器人守護(hù)安全。
