摘 要
礦井環(huán)境因復雜的地理條件和光照變化給機器人定位與建圖帶來挑戰(zhàn)。傳統(tǒng)的單一傳感器SLAM(激光SLAM或視覺SLAM)在此環(huán)境下存在局限性。筆者提出了一種激光-視覺-慣性多源緊耦合SLAM方法,結合激光雷達、視覺相機和IMU的優(yōu)勢,解決了巷道結構激光退化問題和無光環(huán)境下視覺跟蹤失效的問題,通過外參標定實現(xiàn)多傳感器數(shù)據(jù)對齊,并設計了自適應視覺權重機制,動態(tài)判斷激光和視覺的可靠性。試驗表明:該方法在礦井環(huán)境中,定位誤差降低至1.2%(相比單一傳感器SLAM降低30%以上),建圖精度提升25%,尤其在無光場景下仍能保持穩(wěn)定的定位性能,提高了系統(tǒng)的適應性和魯棒性。
文章來源:《智能礦山》2025年第11期“礦山機器人技術創(chuàng)新與實踐特刊”
第一作者:張少剛,主要從事機器人、儀器儀表的相關研究工作。E-mail:tom.zhang@keep-think.com
作者單位:中國礦業(yè)大學;江蘇凱普信電氣技術有限公司;中煤科工機器人科技有限公司
引用格式:張少剛,王雷,陳步平,等. 面向礦井的激光 – 視覺 – 慣性多源緊耦合SLAM方法研究[J].智能礦山,2025,6(11):113-117.
點擊文末左下角閱讀原文,免費下載閱讀pdf全文
關注微信公眾號,了解更多礦山智能化建設進展
礦井環(huán)境結構復雜、光照條件多變,移動機器人定位與建圖存在諸多挑戰(zhàn),亟需解決煤礦機器人(如巡檢機器人、救援機器人、輸送機器人等)自主導航問題。SLAM技術是實現(xiàn)其精確定位與環(huán)境感知的核心關鍵。激光SLAM在幾何特征單一或重復的巷道中容易發(fā)生退化,視覺SLAM在弱光或無光環(huán)境中難以穩(wěn)定運行,IMU雖能提供連續(xù)運動信息,卻存在誤差積累問題,單一傳感器方法難以滿足礦井環(huán)境下的精確定位需求。近年來,多傳感器融合SLAM方法受到廣泛關注,嘗試結合激光、視覺與慣性信息提升系統(tǒng)性能,但多數(shù)方法仍基于松耦合結構,未能實現(xiàn)多源信息的高效協(xié)同,難以應對礦井環(huán)境的極端復雜性。
針對上述問題,筆者提出一種激光-視覺-慣性多源緊耦合SLAM方法,構建統(tǒng)一優(yōu)化框架,引入自適應視覺權重機制,充分發(fā)揮各傳感器優(yōu)勢,在光照劇烈變化、幾何退化及無光場景下有效提升系統(tǒng)的定位精度與建圖魯棒性。
多傳感器標定與數(shù)據(jù)關聯(lián)
多傳感器融合SLAM的關鍵在于實現(xiàn)激光雷達、視覺相機與IMU數(shù)據(jù)的精確對齊。通過外參標定統(tǒng)一各傳感器坐標系,并采用有效的策略進行數(shù)據(jù)關聯(lián),保證不同傳感器的數(shù)據(jù)能夠共同作用于SLAM系統(tǒng)。
(1)傳感器標定的目標是確定各傳感器之間的相對位姿(旋轉矩陣和平移量)。采用Autoware軟件進行激光雷達與相機的外參標定,通過標定板采集數(shù)據(jù),輸入相機內(nèi)參并識別角點,最終計算出旋轉矩陣與平移量。
(2)數(shù)據(jù)融合過程中,需要將激光雷達、相機和IMU的坐標系統(tǒng)一。通過標定得到的旋轉矩陣與平移量,將激光雷達和相機的數(shù)據(jù)投影到IMU坐標系中,確保數(shù)據(jù)能夠在統(tǒng)一的坐標系統(tǒng)下進行處理。坐標系轉換原理如圖1所示,具體說明了通過旋轉矩陣和平移量將數(shù)據(jù)對齊。
圖1 坐標系轉換原理
(3)融合策略將激光雷達點云投影到相機平面,為視覺系統(tǒng)提供深度信息,彌補視覺SLAM中缺乏尺度信息的問題。視覺系統(tǒng)的位姿信息被用作激光SLAM的先驗信息,以優(yōu)化點云匹配精度。通過此策略,視覺與激光SLAM的結合,提高了定位與建圖的精度。
(4)在礦井等復雜環(huán)境中,傳感器數(shù)據(jù)關聯(lián)存在噪聲和誤差,為解決此問題,引入了自適應視覺權重機制,根據(jù)信號光照強度動態(tài)調(diào)整視覺數(shù)據(jù)的權重。在光照較好時,視覺數(shù)據(jù)權重較大;在無光環(huán)境下,視覺數(shù)據(jù)權重減小,減少視覺SLAM的影響,該機制有效提高了系統(tǒng)的魯棒性。
多源融合SLAM算法設計
多源融合SLAM算法旨在結合激光雷達、視覺相機與IMU的數(shù)據(jù),利用各自優(yōu)勢,解決單一傳感器在復雜環(huán)境中的局限性。基于激光-視覺-慣性緊耦合的多源融合SLAM算法設計,主要包括系統(tǒng)架構、各子系統(tǒng)功能設計、數(shù)據(jù)融合流程。
2.1 多源融合SLAM系統(tǒng)架構
為提升定位精度與系統(tǒng)魯棒性,設計了雙子系統(tǒng)架構,包含激光-慣性子系統(tǒng)(LIO)和視覺-慣性子系統(tǒng)(VIO)。2個子系統(tǒng)并行工作,相互補充以增強整體系統(tǒng)的性能。LIO子系統(tǒng)在幾何特征豐富的環(huán)境中負責穩(wěn)定的定位與建圖,VIO子系統(tǒng)利用視覺信息補充系統(tǒng)在低光或無光環(huán)境下的能力。
通過兩者的緊耦合融合,更好地適應在礦井等復雜環(huán)境中的變化。LIO和VIO各自獨立處理傳感器數(shù)據(jù),并通過信息共享與優(yōu)化相互提升。LIO子系統(tǒng)提供激光雷達的位姿估計,VIO子系統(tǒng)提供視覺與IMU融合后的位姿信息,兩者通過緊耦合優(yōu)化進行融合,以獲得更為精確的位姿估計。
2.2 視覺-慣性子系統(tǒng)(VIO)
在VIO子系統(tǒng)中,相機首先通過圖像中的特征提取算法,如角點檢測或光流法,獲取特征點,并結合IMU數(shù)據(jù)進行位姿估計。由于相機無法直接提供深度信息,激光點云被投影到相機平面,提供尺度信息,彌補視覺SLAM中對深度信息的缺乏。
IMU數(shù)據(jù)通過加速度計和陀螺儀的測量為視覺系統(tǒng)提供補充,幫助估計位姿并減少視覺系統(tǒng)在低光或光照不均情況下產(chǎn)生的誤差。在光照良好的環(huán)境中,視覺系統(tǒng)的特征點提取較為精確,視覺權重較大;在光照不足環(huán)境下,圖像特征點質(zhì)量下降,視覺權重減小,系統(tǒng)依賴激光雷達和IMU,確保定位精度和系統(tǒng)魯棒性。動態(tài)調(diào)整機制使得視覺-慣性系統(tǒng)自適應不同環(huán)境,優(yōu)化定位精度。
2.3 激光-慣性子系統(tǒng)(LIO)
LIO子系統(tǒng)主要依賴激光雷達和IMU的數(shù)據(jù)進行高精度的定位與建圖。IMU通過預積分過程提供雷達的初始位姿估計,激光雷達通過對周圍環(huán)境的點云數(shù)據(jù)進行特征提取和匹配進行定位。IMU數(shù)據(jù)提供位姿先驗信息,用于去畸變處理,確保激光雷達點云數(shù)據(jù)的準確性。在激光雷達的位姿優(yōu)化過程中,視覺系統(tǒng)位姿信息被用作先驗約束,幫助優(yōu)化點云匹配精度,提高系統(tǒng)的定位準確性。
通過緊耦合的激光、視覺與IMU數(shù)據(jù)融合,LIO子系統(tǒng)在礦井等復雜環(huán)境中,有效解決激光雷達在幾何特征簡單或紋理不足場景下的退化問題,同時在無光或低光環(huán)境下,依賴視覺與IMU的輔助來維持系統(tǒng)的穩(wěn)定性和精度。融合后的LIO子系統(tǒng)能夠提供穩(wěn)定可靠的定位結果,尤其是在多變環(huán)境中,確保了系統(tǒng)的高魯棒性。
2.4 緊耦合優(yōu)化與融合
LIO和VIO子系統(tǒng)通過緊耦合優(yōu)化機制實現(xiàn)數(shù)據(jù)融合。在融合過程中,LIO和VIO分別提供位姿信息,并根據(jù)光照條件動態(tài)調(diào)整視覺數(shù)據(jù)的權重。激光雷達的位姿信息用于優(yōu)化視覺SLAM中的點云匹配,視覺位姿信息則作為激光SLAM的先驗約束。通過目標函數(shù)的聯(lián)合優(yōu)化,獲得最優(yōu)機器人位姿。多傳感器融合SLAM的優(yōu)化原理如圖2所示。激光雷達和視覺系統(tǒng)通過LIO和VIO子系統(tǒng)分別優(yōu)化位姿,緊耦合優(yōu)化后,兩者的位姿信息融合在一起,最終獲得準確的定位結果。
圖2 多傳感器融合SLAM的優(yōu)化原理
性能評估與方法驗證
為了驗證激光-視覺-慣性多源融合SLAM方法在復雜環(huán)境中的實際表現(xiàn),評估該方法在不同環(huán)境條件下的定位精度、建圖質(zhì)量和實時性。
(1)在光照充足環(huán)境中,單一激光-慣性SLAM(LIO)系統(tǒng)的定位誤差較小,最大誤差為3.49%,建圖精度較高。相比之下,視覺-慣性SLAM(VIO)在光照良好的環(huán)境中也能提供較為準確的定位。當環(huán)境光照條件變化或光照不足時,VIO定位精度明顯下降,軌跡漂移明顯;多源融合SLAM系統(tǒng)在光照變化和幾何特征簡單的環(huán)境下表現(xiàn)出了較強的穩(wěn)定性,定位誤差相比單一LIO和VIO系統(tǒng)降低了30%以上,表明融合方法可有效應對環(huán)境變化對定位精度的影響。在光照充足條件下,多傳感器融合SLAM模擬巷道建圖過程如圖3所示,(a)至(b)為機器人從模擬巷道口進入,相機圖像由暗轉亮,視覺權重慢慢增加;(c)至(e)光照強度慢慢變差視覺權重減小;(f)至(g)再變亮;(h)至(k)再變暗。
圖3 多傳感器融合SLAM模擬巷道建圖過程
(2)在幾何退化環(huán)境中,單一LIO系統(tǒng)定位精度下降,特別是在礦井環(huán)境中,幾何特征重復且紋理較少的情況下,激光雷達定位結果容易受到退化影響。通過引入視覺系統(tǒng)約束,融合SLAM有效彌補了激光雷達的退化,提高了定位精度。通過視覺點云約束,視覺與激光雷達的緊耦合優(yōu)化減少點云配準誤差,提升建圖精度。在幾何退化環(huán)境下,融合SLAM的建圖誤差顯著低于單一LIO系統(tǒng),驗證了視覺信息在解決激光雷達退化問題中的作用。多傳感器融合SLAM局部地圖和軌跡如圖4所示,(a)至(b)為機器人從模擬巷道口進入,相機圖像由暗轉亮,視覺權重慢慢增加;(c)至(e)光照強度慢慢變差視覺權重減??;(f)至(g)再變亮,(h)至(k)再變暗,表明在幾何退化環(huán)境中,融合SLAM與單一LIO的建圖誤差對比,顯示出融合方法的明顯優(yōu)勢。
圖4 多傳感器融合SLAM局部地圖和軌跡
(3)在無光環(huán)境下,視覺系統(tǒng)性能會受到極大影響,VIO系統(tǒng)無法提供穩(wěn)定的定位信息。激光-視覺-慣性多源融合SLAM系統(tǒng),在無光環(huán)境下可穩(wěn)定運行。IMU和激光雷達提供了足夠的運動信息,視覺系統(tǒng)的輔助角色主要是在關鍵時刻通過深度信息補充,提高系統(tǒng)魯棒性。激光雷達和IMU的緊耦合優(yōu)化保持了系統(tǒng)在定位精度和建圖質(zhì)量上的優(yōu)勢,確保了無光環(huán)境下的連續(xù)運行。多傳感器融合SLAM軌跡對比如圖5所示,表明在無光環(huán)境下,融合SLAM與單一VIO的軌跡對比,凸顯了融合方法在無光環(huán)境中的穩(wěn)定性。
圖5 多傳感器融合SLAM軌跡對比
綜上,實驗評估表明激光-視覺-慣性多源融合SLAM方法在復雜礦井環(huán)境中,尤其是在光照變化、幾何退化和無光場景下性能優(yōu)越。融合SLAM通過充分利用激光雷達、視覺相機和IMU的互補優(yōu)勢,在提升定位精度和建圖質(zhì)量的同時,確保了系統(tǒng)在各種極端環(huán)境中的魯棒性和穩(wěn)定性。
總 結
(1)在礦井環(huán)境中,傳統(tǒng)的單一傳感器SLAM方法受到光照變化、幾何退化等因素的限制,導致定位精度和建圖質(zhì)量不穩(wěn)定。為解決此問題,提出了一種激光-視覺-慣性多源緊耦合SLAM方法,結合激光雷達、視覺相機和IMU的數(shù)據(jù),充分利用各自的優(yōu)勢,提升系統(tǒng)的定位精度和建圖效果。
(2)多源融合 SLAM 在煤礦井下的環(huán)境條件下,特別是在光照變化劇烈、幾何退化以及無光環(huán)境下,具有較強的魯棒性和穩(wěn)定性。在光照變化較大的環(huán)境中,融合SLAM相較于單一傳感器SLAM,定位誤差降低了約30%,在幾何退化場景中,視覺系統(tǒng)有效地抑制了激光雷達的退化問題,提升了建圖精度。
(3)未來研究將著力解決動態(tài)環(huán)境下的實時感知與定位優(yōu)化、多機器人協(xié)同建圖與定位技術、長期運行中的地圖更新策略等關鍵問題。通過融合毫米波雷達等新型傳感器,開發(fā)輕量化算法架構,進一步提升系統(tǒng)在粉塵、水霧等惡劣環(huán)境中的適應性。
#機器人#定位與建圖#多源融合#SLAM#激光雷達#機器視覺#IMU
編輯丨李莎
審核丨趙瑞
煤炭科學研究總院期刊出版公司擁有科技期刊21種。其中,SCI收錄1種,Ei收錄5種、CSCD收錄6種、Scopus收錄8種、中文核心期刊9種、中國科技核心期刊11種、中國科技期刊卓越行動計劃入選期刊4種,是煤炭行業(yè)最重要的科技窗口與學術交流陣地,也是行業(yè)最大最權威的期刊集群。
期刊簡介
《智能礦山》(月刊,CN 10-1709/TN,ISSN 2096-9139)是由中國煤炭科工集團有限公司主管、煤炭科學研究總院有限公司主辦的聚焦礦山智能化領域產(chǎn)學研用新進展的綜合性技術刊物。
主編:王國法院士
刊載欄目:企業(yè)/團隊/人物專訪政策解讀視角·觀點智能示范礦井對話革新·改造學術園地、專題報道等。
投稿網(wǎng)址:www.chinamai.org.cn(期刊中心-作者投稿)
?? 征稿函詳見鏈接: 征稿┃《智能礦山》面向廣大讀者征稿,歡迎投稿
期刊成果:創(chuàng)刊5年來,策劃出版了“中國煤科煤礦智能化成果”“陜煤集團智能化建設成果”“聚焦煤炭工業(yè)‘十四五’高質(zhì)量發(fā)展”等特刊/專題30多期。主辦“煤礦智能化重大進展發(fā)布會”“煤炭清潔高效利用先進成果發(fā)布會”“《智能礦山》理事、特約編輯年會暨智能化建設論壇”“智能礦山零距離”“礦山智能化建設運維與技術創(chuàng)新高新研修班”等活動20余次。組建了理事會、特約編輯團隊、卓越人物等千余人產(chǎn)學研用高端協(xié)同辦刊團隊,打造了“刊-網(wǎng)-號-群-庫”全覆蓋的1+N全媒體傳播平臺,全方位發(fā)布礦山智能化領域新技術、新產(chǎn)品、新經(jīng)驗。
?? 具體詳見鏈接:《智能礦山》創(chuàng)刊5周年回顧
聯(lián)系人:李編輯 010-87986441
郵發(fā)代號:82-476
?? 期刊訂閱詳見鏈接:歡迎訂閱┃《智能礦山》雜志2026年訂閱開始了!
往期薦讀
往期特刊
中國煤科特刊
陜煤集團特刊
神東專欄
重大進展特刊
露天礦特刊
理事單位特刊
紅柳林煤礦特刊
創(chuàng)新技術特刊
創(chuàng)刊號
版權聲明
本刊對已出版文章持有電子版、網(wǎng)絡版及進行網(wǎng)絡技術交流和與各網(wǎng)絡數(shù)據(jù)庫合作的權利,稿酬一次性付清,版權歸本刊與作者共同所有,如不同意,請在投稿時聲明。
聲明:本文系轉載自互聯(lián)網(wǎng),請讀者僅作參考,并自行核實相關內(nèi)容。若對該稿件內(nèi)容有任何疑問或質(zhì)疑,請立即與鐵甲網(wǎng)聯(lián)系,本網(wǎng)將迅速給您回應并做處理,再次感謝您的閱讀與關注。
不想錯過新鮮資訊?
微信"掃一掃"