那曲檬骨新材料有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

INDEMIND 3D語義地圖構建技術在機器人上的應用

雙目立體視覺 ? 來源:雙目立體視覺 ? 作者:雙目立體視覺 ? 2022-03-10 10:16 ? 次閱讀

隨著機器人的應用版圖從工廠不斷擴張到商場、超市等服務領域,面對的作業環境也越來越復雜,對于產品的安全性、可靠性、智能化等要求明顯提高,而機器人要應對這一變化,首先要做的不是對系統盲目的做加法,而是需要提升環境感知能力,構建一張更“完美”的地圖。

長期以來,機器人使用的地圖主要為傳統的2D柵格地圖、拓撲地圖,用來指導機器人實現定位、導航、路徑規劃等功能,但這類地圖缺乏機器人用于理解環境、人機/物機交互等業務邏輯的高層次語義信息,使得機器人在智能避障、識別、交互方面有著天然劣勢,整體智能化水平不高,導航地圖亟待升級。

以應用在商超、餐廳等場景下的服務機器人為例,場景特征表現為人員密集,且環境復雜度高,機器人作業時不僅要與人頻繁交互,還需要應對密集的流動人群,不斷進行動態避障或急停等安全規避動作,要高效完成這些基于環境變化、目標需求產生的實時性任務,意味著機器人不僅要能“看到”,還要能“看懂”,對周圍環境做到“了然于心”,傳統的柵格地圖、拓撲地圖顯然已無法滿足要求。

而要解決這類地圖問題,構建一張包含3D信息、環境語義的3D語義地圖顯得越發關鍵。

與傳統地圖相同,3D語義地圖同樣用于機器人的基礎導航,不同的是,它的地圖模型是針對真實場景的三維環境重構,包含區域性場景信息及場景中每個獨立物體的屬性信息、空間中的三維模型、位姿信息等,使機器人在語義層次上理解環境信息,模仿人類大腦對環境理解的方式,從而為實現更高層次的智能化操作提供有效支持。

INDEMIND 3D語義地圖構建技術

解決感知問題是構建3D語義地圖的前提,因此,目前的3D語義地圖構建技術在技術實現上大多采用“多線激光雷達+視覺/ToF/其他傳感器”的融合方案,以此提升環境感知能力,實現3D語義地圖構建,但缺點是成本高昂,加之三維識別算法,場景切割,導致系統復雜性較高。而INDEMIND的3D語義地圖構建在技術實現上則采用單視覺(雙目)sensor方案,借助算法優勢,即可輸出媲美甚至超越激光融合方案的完整的場景3D語義信息。

INDEMIND的3D語義地圖構建是基于INDEMIND自研的立體視覺技術,通過對雙目視覺傳感器獲取到3D視覺點云信息進行點云聚類,并結合邊緣端的嵌入式深度學習和VSLAM算法,可快速輸出個體性物體語義和區域性場景語義,實現3D語義地圖構建。通過結合INDEMIND智能決策引擎,可實現智能避障、小區域局部作業、識別及人機/物機交互等各種高層次智能邏輯。

此外,由于真實場景中,無論是家庭、公司還是超市,大多擁有著3個及3個以上的細分場景,這意味著當機器人收到指定房間作業任務后需要快速準確地理解房間的功能屬性,找到對應房間,并能根據不同房間的功能屬性進行個性化作業。

因此,為了保證場景理解的準確度,根據輸出的區域性場景語義和個體性物體語義,INDEMIND采用二者融合的方式實現場景理解。首先,根據獲取到的區域性場景語義信息,進行整體特征識別;其次,會根據個體性物體語義識別,對場景中一系列獨立個體信息進行識別,并作為場景特征標志,最終通過二相疊加判斷,實現場景理解。

需要提到的是,目前在掃地機器人上應用較為普遍的“單線激光雷達+視覺傳感器”的融合方案,雖然也能獲取到場景中的語義信息,但受限于傳感器限制,事實上只能識別到物體的二維信息,無法構建3D語義地圖。

識別、避障、交互?3D語義地圖為機器人提供無限可能

3D語義地圖構建技術,除了能夠為機器人的自主導航提供基礎指導,更能為識別、智能避障、交互等智能化操作的深入化開發提供了可能性。

基于INDEMIND立體視覺技術的區域性場景語義和個體化物體語義技術,能夠快速提取環境中各類圖像特征,結合深度學習可立體識別行人、動物、固定/移動物體等個體性障礙物,以及樓梯、自動扶梯等危險場景,避免危險情況發生,如去年發生的機器人扶梯跌落事件。

同時,通過識別到與顯示匹配的障礙物3D信息,機器人可作出類似人類規避動作的精細化操作,能夠讓機器人有預判、有策略的實現智能避障。

此外,3D語義地圖通過對場景中獨立個體、房間信息做語義識別及物體分割,在交互上同樣能夠實現精細化操作,以現有的掃地機器人為例,它的智能程度相對仍然較低,還停留在一些基礎的圖像識別和語音交互上,對于個性化的交互實現較粗糙,無法實現獨立的桌椅清掃等精細化交互,而3D語義地圖則為機器人人機/物機交互的深入升級提供了真實可操作性,如實現目標跟蹤、局部清掃等。

審核編輯:湯梓紅

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 傳感器
    +關注

    關注

    2553

    文章

    51407

    瀏覽量

    756651
  • 機器人
    +關注

    關注

    211

    文章

    28646

    瀏覽量

    208432
  • 3D
    3D
    +關注

    關注

    9

    文章

    2912

    瀏覽量

    108011
收藏 人收藏

    評論

    相關推薦

    INDEMIND助力TCL打造世界首款分體式陪伴機器人 Ai Me

    作為CES 2025展位面積最大的中國品牌,TCL不僅帶來了諸多前沿顯示、全品類智能物聯生態技術AI應用上,首次亮相了世界上第一款分體式AI陪伴機器人Ai Me。同時,這也是首款搭載IND
    的頭像 發表于 01-10 10:44 ?205次閱讀
    <b class='flag-5'>INDEMIND</b>助力TCL打造世界首款分體式陪伴<b class='flag-5'>機器人</b> Ai Me

    禾賽科技推出面向機器人領域的迷你3D激光雷達

    近日,在拉斯維加斯舉行的 CES 2025 國際消費電子展,禾賽面向機器人領域的迷你 3D 激光雷達 JT 系列產品正式面向全球發布。全新產品迷你型 3D 激光雷達 JT 系列發布即
    的頭像 發表于 01-10 09:05 ?302次閱讀

    【「具身智能機器人系統」閱讀體驗】2.具身智能機器人的基礎模塊

    具身智能機器人的基礎模塊,這個是本書的第二部分內容,主要分為四個部分:機器人計算系統,自主機器人的感知系統,自主機器人的定位系統,自主機器人
    發表于 01-04 19:22

    開源項目!能夠精確地行走、跳舞和執行復雜動作的機器人—Tillu

    學習者和愛好者的理想伙伴。 創新設計 Tillu的設計靈感來自廣受歡迎的Otto DIY機器人,其設計過程包括Fusion 360中進行CAD建模和精確的3D打印,以實現從堅固的伺服驅動腿部到模塊化
    發表于 01-02 17:24

    解決方案 3D 視覺機器人賦能汽車制造新征程

    隨著智能化技術的不斷發展,汽車制造企業正積極尋求提升智能化水平的途徑。富唯智能的3D視覺引導機器人抓取技術為汽車制造企業提供了一種高效、智能的自動化解決方案。
    的頭像 發表于 12-25 15:00 ?183次閱讀
    解決方案 <b class='flag-5'>3D</b> 視覺<b class='flag-5'>機器人</b>賦能汽車制造新征程

    禾賽將推出機器人領域迷你3D激光雷達

    據傳感器專家網獲悉,2025年1月7日至10日,禾賽將參加在拉斯維加斯舉行的國際消費類電子產品展CES 2025。本屆CES,禾賽計劃于1月7日隆重推出其最新產品——全新迷你型高性能3D激光雷達
    的頭像 發表于 12-11 09:12 ?316次閱讀
    禾賽將推出<b class='flag-5'>機器人</b>領域迷你<b class='flag-5'>3D</b>激光雷達

    《人形機器人產業地圖(2024)》重磅發布!

    11月29日舉辦的2024高工人形機器人年會上,高工機器人產業研究所(GGII)重磅發布《人形機器人產業地圖(2024)》(以下簡稱“產業
    發表于 12-02 09:17 ?1003次閱讀
    《人形<b class='flag-5'>機器人</b>產業<b class='flag-5'>地圖</b>(2024)》重磅發布!

    如何設定機器人語義地圖的細粒度級別

    0. 這篇文章干了啥? 機器人學中的一個基本問題是創建機器人觀察到的場景的有用地圖表示,其中有用性由機器人利用地圖完成感興趣的任務的能力來衡
    的頭像 發表于 11-12 10:54 ?395次閱讀
    如何設定<b class='flag-5'>機器人語義</b><b class='flag-5'>地圖</b>的細粒度級別

    銳達儀表3D掃描機器人:工業測量的革命性創新

    在當今工業4.0的浪潮中,智能制造和精準數據分析已成為企業發展的關鍵。銳達儀表3D掃描機器人以其先進的技術,為工業測量領域帶來了革命性的創新。這款機器人基于太赫茲調頻連續波FMCW測距
    的頭像 發表于 09-05 16:18 ?410次閱讀
    銳達儀表<b class='flag-5'>3D</b>掃描<b class='flag-5'>機器人</b>:工業測量的革命性創新

    3D霍爾效應傳感器機器人設計中的機械優勢

    電子發燒友網站提供《3D霍爾效應傳感器機器人設計中的機械優勢.pdf》資料免費下載
    發表于 09-03 11:36 ?0次下載
    <b class='flag-5'>3D</b>霍爾效應傳感器<b class='flag-5'>在</b><b class='flag-5'>機器人</b>設計中的機械優勢

    開源項目!用ESP32做一個可愛的無用機器人

    /Kawaii-Useless-Robot 也可以“可愛的無用機器人”打包下載所有3D打印文件。 項目鏈接:https://www.instructables.com/Kawaii-Useless-Robot-2024-Edition/ 項目作者:tobychui *附件
    發表于 09-03 09:34

    開源項目!用ESP32做一個可愛的無用機器人

    巧妙設計的杠桿將開關推回“關”位置。這種玩具很常見,許多人已經制作并上傳到YouTube。 作者每年都會挑戰自己制作一個技術產品,今年他決定制作這個復雜的項目——可愛無用機器人。這個機器人
    發表于 08-30 14:50

    AGV導航精度怎么更準確?利用3D相機打造更智能的AGV輔助系統

    AGV工業4.0通過優化流程和引入機器人系統提高生產力和靈活性。物聯網增強了機器人的靈敏度和操作性。3D相機技術使AGV能精準識別環境、構建地圖
    的頭像 發表于 06-12 16:51 ?493次閱讀
    AGV導航精度怎么更準確?利用<b class='flag-5'>3D</b>相機打造更智能的AGV輔助系統

    重磅| 奧比中光全新雙目系列3D相機,搭載自研芯片,為智能機器人而生

    ? 4月29日,奧比中光正式發布全新Gemini 330系列雙目3D相機,首發產品包括Gemini 335、Gemini 335L兩款通用型高性能雙目3D相機。新品首次搭載奧比中光為機器人3D
    發表于 04-30 18:00 ?550次閱讀
    重磅| 奧比中光全新雙目系列<b class='flag-5'>3D</b>相機,搭載自研芯片,為智能<b class='flag-5'>機器人</b>而生
    最好的百家乐论坛| 百家乐客户端皇冠| 全讯网百家乐官网的玩法技巧和规则 | 大地百家乐的玩法技巧和规则| 澳门百家乐的玩法技巧和规则 | 百家乐过滤工具| 星期八娱乐城官网| 百家乐官网的各种打法| 百家乐游戏网址| 郑州市太阳城宾馆| 百家乐官网洗码全讯网| 24山六十日吉凶| 大发888娱乐开户| 百家乐官网路单破解软件| 百家乐现金网平台| 大发888线上官方网站| 苍溪县| 永利博百家乐官网的玩法技巧和规则 | 大发888娱乐城出纳| 波音赌场| 百家乐官网赢新全讯网| 百家乐历史路单| 大发888娱乐场下载iypu rd | 威尼斯人娱乐场送18| 百家乐官网知敌便能制胜| 百家乐娱乐城游戏| 德州扑克单机版下载| 真人百家乐官网蓝盾娱乐平台| 百家乐投注开户| 大发888注册送钱| 百家乐官网博彩策略| 百家乐的巧门| 游戏厅百家乐官网技巧| 最好的百家乐好评平台都有哪些| 东方太阳城三期琴湖湾| 澳门百家乐官网破解方法| 百家乐大轮转| 宾利百家乐官网现金网| 诚信百家乐在线平台| 水城县| 百家乐太阳城菲律宾|