無人機在自主飛行過程中,無人機控制端APP可對無人機拍攝的實時視頻流進行實時AI識別,匹配可見光、熱紅外、多光譜多種傳感器??蓱?yīng)用于智慧城市、環(huán)保監(jiān)測、消防預(yù)警、安防監(jiān)控、工廠巡檢、交通監(jiān)測、風(fēng)葉巡檢、基站巡檢、光伏巡檢、國土調(diào)查、靶機管理、反無人機雷達校準等行業(yè)應(yīng)用場景。
例如,在城市違建應(yīng)用場景下,可以對紅色,藍色彩鋼瓦,在建違建建筑進行AI識別。如果無人機飛行過程中識別到違建建筑,則可以使用拍照和錄像功能,采集含有違建建筑的航拍數(shù)據(jù)。拍攝的照片和視頻則保存到手機APP端的文件管理器中,可以按需上傳至云服務(wù)端,供云端二次識別及統(tǒng)計分析使用。
在環(huán)保河長制應(yīng)用場景下,搭載可見光相機負載時,如果無人機飛行過程中識別到水位超過預(yù)警線及河道存在漂浮物,則自動預(yù)警上報給云服務(wù)端。相應(yīng)地,自動預(yù)警時觸發(fā)自動拍攝的預(yù)警前后5秒的照片和視頻則保存到手機APP端的文件管理器中,可以上傳至云服務(wù)端,供云端二次識別及統(tǒng)計分析使用。
另外,還可同時搭載多光譜相機,針對可見光相機無法準確表征水質(zhì)特征的缺點,基于遙感技術(shù)監(jiān)測河道水質(zhì)光譜信息,實現(xiàn)對污染區(qū)域的快速識別。
在智慧農(nóng)業(yè)應(yīng)用場景下,可根據(jù)農(nóng)業(yè)作業(yè)需求不同,掛載可見光相機+多光譜相機。利用無人機低空飛行的特點,獲取地面農(nóng)作物的高分辨率圖像及光譜數(shù)據(jù),將采集到的影像數(shù)據(jù)上傳到云端平臺上進行AI分析,輔助農(nóng)田信息數(shù)據(jù)庫及專家診斷系統(tǒng),提供以下三種農(nóng)業(yè)服務(wù):1、作物長勢預(yù)測和施肥計算;2、病蟲害狀況診斷與預(yù)測;3、 作物種類識別和數(shù)量計算,自動化科學(xué)診斷,實時獲取作物長勢、病蟲害、作物種類數(shù)量等多維度監(jiān)測信息,為精準、智能化的農(nóng)業(yè)管理提供決策依據(jù),大大提高了農(nóng)業(yè)植保作業(yè)的效率,降低了人工作業(yè)的工作量及人力成本。
在光伏巡檢應(yīng)用場景下,可掛載可見光+熱紅外相機, 根據(jù)事先規(guī)劃的航線,在指定區(qū)域內(nèi)自動飛行,通過熱紅外相機自動識別溫度異常區(qū)域,可見光相機拍照取證,巡檢光伏面板,進行全覆蓋無遺漏掃描拍攝,檢測并發(fā)現(xiàn)面板各類故障和污跡、遮擋,分析故障原因,提出消缺整改方案,出具檢測報告。支持多次巡檢數(shù)據(jù)對比分析;巡檢報告包含每個故障點的參考位置信息、故障類型、熱紅外/可見光原始拍攝照片,拍攝時間等,可作為外場檢修的依據(jù)。
具體功能模塊如下:
APP端采集的航拍數(shù)據(jù)上傳到云服務(wù)端后,云端對含有目標(如違建建筑等)的航拍數(shù)據(jù)進行自動分析,飛完即可出具飛行區(qū)域的違建巡檢報告。巡檢報告可統(tǒng)計每次無人機飛行的航線名稱、無人機飛控序列號、航線類型、飛行高度、航向重疊率、旁向重疊率、主航向角度、規(guī)劃時間以及無人機的起飛降落時間、起飛地點、飛行時長等,并通過航拍對比分析,將多次飛行在相同區(qū)域中AI識別的目標進行比對。
1)、對比上一次飛行,區(qū)域中目標數(shù)量減少多少(已處理多少目標)
2)、對比上一次飛行,區(qū)域中目標數(shù)量增加多少(新增多少目標)
3)、對比上一次飛行,區(qū)域中目標數(shù)量未增加(未處理目標)
AI目標識別模型是由前期無人機采集的100-200張目標照片,進行人工標注,由AI云系統(tǒng)進行訓(xùn)練得到。如果出現(xiàn)識別錯誤的情況,可以繼續(xù)增加無人機采集照片標注用于訓(xùn)練樣本,在多次訓(xùn)練后,識別精度會大大提高和完善,目前可達到90%以上識別精度。
相對于傳統(tǒng)的歷史照片比對方法,實現(xiàn)的識別精度更高,且不受時間限制。如針對違建建筑,傳統(tǒng)的是采用兩期影像比對的方法,即將現(xiàn)在無人機拍攝的照片和歷史照片(如一個月前拍攝的)進行圖像幀差比對,找出兩幅同一地點拍的照片之間的差別。這種方法存在如下缺點:1.需要歷史照片,若沒有,則該方法不可用,在時間上受限制。2.準確度較低,一般在50-60%。由于是找圖像差別的地方,通俗比喻,若某家在屋頂晾曬了一大片衣服,而對應(yīng)的歷史照片里并沒有,則該一大片衣服也會被識別為違建。
本系統(tǒng)采用AI目標識別的方法來替代傳統(tǒng)的影像比對方法,雖然前期需要采集100-200張違建照片進行訓(xùn)練,但是沒有需要歷史照片的限制,隨時可以使用,且識別準確度較高,可以達到90%甚至更高。且訓(xùn)練成的AI違建識別模型可以復(fù)用,不需要像傳統(tǒng)影像比對那樣,需要不停地去采集數(shù)據(jù),比對數(shù)據(jù),可以復(fù)用于具備相同違建特征的不同城市中,比如都有藍色或紅色彩鋼瓦搭建的違建工棚等,大大節(jié)約人力成本。
另外,目前傳統(tǒng)的影像比對方法大部分是基于單機軟件平臺,只能將無人機sd卡里航拍照片拷貝到電腦上使用,操作步驟繁瑣,且容易數(shù)據(jù)混亂丟失。單機軟件方式采用授權(quán)碼方式提供給客戶使用,注冊使用不便于多用戶管理。并且,云平臺相比單機軟件方式,具有可快速定制化開發(fā),易于對接政府、企業(yè)現(xiàn)有信息管理平臺數(shù)據(jù)等優(yōu)勢。
基于空中無人機AI三維巡檢系統(tǒng),輔助地面端AI監(jiān)控系統(tǒng),通過多傳感器(可見光、熱紅外、負載IOT傳感器等)融合,通過地物AI目標識別(違建屋頂、垃圾堆、河道漂浮物、排污口、車輛、行人等),熱紅外監(jiān)測(排污口、煙火,行人等),空中污染氣體監(jiān)測、空中水質(zhì)光譜監(jiān)測等第三方IOT負載技術(shù)賦能,無人機可以從自動機場起飛,實現(xiàn)無人值守全自主巡檢,飛完即自動生成巡檢報告,返航機庫。最終以三維無人機實景模型構(gòu)建“3D GIS一張圖”大屏可視化空地一體立體綜合管理平臺,可直觀高效地管理城市的人、地、事務(wù)、組織等情況,直觀地展示空地一體化數(shù)據(jù),從而賦能智慧城市智能化、無人化、精細化、立體化管理,,以“空中天眼”實時保障城市運行安全,以新質(zhì)生產(chǎn)力賦能低空經(jīng)濟。特色功能如下:
1. 云端無人機設(shè)備、地圖相冊、視頻管理。
2. 云端多路視頻直播。
3. 云端實時三維飛行軌跡監(jiān)控、高精度傾斜攝影模型建模、Web GIS定制分析。
4. 無人機控制端APP實現(xiàn)區(qū)域內(nèi)全自主飛行、實時視頻流AI識別、自動化采集數(shù)據(jù)、AI芯片加速。
5. 云端二次AI識別,自動管理分析數(shù)據(jù),自動出具巡檢報告。
6. 云端跨平臺多瀏覽器支持、電腦端、大屏幕端、手機端無縫兼容。
7. 云端IOT接入、匹配無人機PSDK/OSDK負載硬件。
8. 端云一體、兼容大疆全系列機型。
9. 多數(shù)據(jù)源接口:可見光、熱紅外、多光譜、雷達、自動機場。
10. 三維GIS“一圖式”大屏可視化系統(tǒng),可將整個云平臺的云端設(shè)備管理模塊、云端圖片AI識別分析模塊、云端視頻直播模塊、云端2D飛行軌跡模塊、云端3D飛行軌跡模塊、云端視頻管理模塊、云端信息管理模塊的數(shù)據(jù)在大屏幕上一體化顯示,并提供開放數(shù)據(jù)接口無縫對接其他WEB管理平臺,如智慧城管地面信息系統(tǒng)。
11. 平臺支持基于三維激光點云或?qū)嵕叭S模型對橋梁、電塔、通信塔、建筑、礦山、港口工地塔吊、廠房等立面目標進行三維航線規(guī)劃,生成三維航線和航拍點,由無人機從自動機場遠程自主起飛執(zhí)行巡檢作業(yè)。平臺可對多條三維航線進行管理及查詢,包括航線名稱,創(chuàng)建時間,修改時間,飛行速度等,還可對三維航線進行可視化模擬飛行預(yù)覽。
12. 平臺已實現(xiàn)從三維實景或點云模型外部導(dǎo)入或快速建模>工單任務(wù)>三維航線規(guī)劃>無人機接受任務(wù)工單自主巡檢拍照上傳自動>映射三維地圖拍照點>照片AI識別及人工輔助>自動化出具巡檢報告的整個巡檢數(shù)據(jù)流的閉環(huán)運轉(zhuǎn)。
13. 平臺可提供管理者“無人機低空巡查助手”微信小程序,配套無人機AI三維巡檢云平臺,對無人機低空飛行巡檢識別到的各類信息進行地圖相冊式數(shù)據(jù)統(tǒng)計和報告展示,方便管理者實時掌握整個動態(tài)巡查數(shù)據(jù),統(tǒng)籌頂層決策。
14. 平臺支持多類型應(yīng)用場景,包括針對廣域目標監(jiān)測的室外應(yīng)用場景(如城管、社區(qū)、園區(qū)、河湖、農(nóng)田等),針對立面精細目標檢測的室內(nèi)外應(yīng)用場景(風(fēng)機、電塔、通信塔、工業(yè)塔、客機、地下礦等)等。
具體功能模塊如下:
包括多臺無人機的產(chǎn)品序列號,飛控序列號,民航局民用無人機登記號,設(shè)備名稱,品牌,型號,無人機類型,注冊時間等的管理及查詢。
將采集的航拍圖片(AI識別結(jié)果圖)按照拍攝地點在地圖上分布式顯示。
將采集的航拍圖片集中管理,包括圖片預(yù)覽、查詢、復(fù)制鏈接、下載原圖(含批量下載)、下載AI識別結(jié)果圖(含批量下載)、刪除、圖片位置、清除AI識別緩存、AI識別、AI分析統(tǒng)計等功能。具備定制化的AI目標識別功能,可以自動標注目標,進行統(tǒng)計分析。點擊模塊下內(nèi)置的AI識別按鈕后,可以顯示AI識別結(jié)果圖,且可以顯示每一個識別結(jié)果的種類及置信度(AI識別判斷結(jié)果的參考概率),并可手動刪除識別錯誤的結(jié)果。
將采集的航拍視頻集中管理,包括滑動快速預(yù)覽,播放,下載等功能。
將無人機飛行過程中云臺相機的視頻流實時在云端同步播放。
可實時監(jiān)控多臺無人機的實時2D飛行軌跡,地圖包括衛(wèi)星圖層、路網(wǎng)圖層、交通圖層。且每一次起降飛行記錄可以在飛行歷史中保存,包括飛控序列號、起始時間、結(jié)束時間、飛行時長、2D飛行軌跡等記錄。
可實時監(jiān)控多臺無人機的實時3D飛行軌跡,功能包括衛(wèi)星底圖、多種三維飛行視角(跟蹤視角、上方視角、側(cè)方視角)等。且每一次起降飛行記錄可以在飛行歷史中保存,包括飛控序列號、起始時間、結(jié)束時間、飛行時長、3D飛行軌跡記錄、傾斜攝影模型加載等功能。
用于加載無人機傾斜攝影模型,格式可以為3d titles,osgb(需轉(zhuǎn)換)等。
測量功能包含長度量算,面積量算??梢园葱瓒ㄖ蒲蜎]分析,日照分析,視頻墻等功能。
除上述圖片管理模塊、地圖相冊模塊的功能外,增加定制化的AI目標識別功能,可以自動標注目標,進行統(tǒng)計分析。
主要用在無人機取水檢測裝置,空氣檢測采集裝置等第三方負載硬件方面,遠程控制裝置及收發(fā)裝置傳感器數(shù)據(jù)。用于匹配無人機負載硬件,可將硬件多項傳感器數(shù)據(jù)上傳云端,并做數(shù)據(jù)統(tǒng)計分析。
可統(tǒng)計每次無人機飛行的航線名稱、無人機飛控序列號、航線類型、飛行高度、航向重疊率、旁向重疊率、主航向角度、規(guī)劃時間以及無人機的起飛降落時間、起飛地點、飛行時長等,并通過航拍對比分析,將本次飛行和上一次飛行在相同非重疊區(qū)域中心點上拍攝照片(無人機攝像頭垂直向下,拍攝的正射影像)中AI識別的目標進行比對。對比每一個非重疊區(qū)域中心點位置上不同次重復(fù)飛行中目標AI識別結(jié)果,判斷方式如下: (1)、對比上一次飛行,每一個非重疊區(qū)域中目標數(shù)量減少多少(已處理多少目標)(2)、對比上一次飛行,每一個非重疊區(qū)域中目標數(shù)量增加多少(新增多少目標)(3)、對比上一次飛行,每一個非重疊區(qū)域中目標數(shù)量未增加(未處理目標)
以報表及圖表形式統(tǒng)計AI識別的目標數(shù)量、狀態(tài)、查處時間,支持按照時間、狀態(tài)篩選報表信息。
“一圖式”大屏可視化系統(tǒng),可將整個云平臺的云端設(shè)備管理模塊、云端圖片AI識別分析模塊(含圖片管理模塊、地圖相冊模塊)、云端視頻直播模塊、云端2D飛行軌跡模塊、云端3D飛行軌跡模塊、云端視頻管理模塊、云端信息管理模塊的數(shù)據(jù)在大屏幕上一體化顯示,并提供開放數(shù)據(jù)接口無縫對接其他WEB管理平臺。
反無人機相控陣雷達接入無人機云平臺,無人機實時飛行軌跡和雷達實時監(jiān)測軌跡可在2D/3D地圖中對比顯示,并保存為歷史記錄查看。同時,可在數(shù)據(jù)庫中分析對比兩者軌跡,優(yōu)化反無人機相控陣雷達的監(jiān)測精度。兩者有機結(jié)合,構(gòu)成一套大型安保綜合指揮控制系統(tǒng),監(jiān)測已方安保無人機的同時,可防范未知入侵無人機。
可實現(xiàn)WEB端遠程規(guī)劃AI航線,遠程控制無人機,完成無人機無人值守全自主AI巡檢。
適配自動機場,在后臺及大屏端同時展示自動機場第一視角視頻流、無人機云臺相機視頻流和自動機場工作狀態(tài)參數(shù)。
"自動機場+無人機"三維AI APP端可調(diào)用云端規(guī)劃航線,遠程控制無人機從自動機場起飛,執(zhí)行巡檢任務(wù),完成后自動返航??筛鶕?jù)客戶定制化需求,選擇內(nèi)嵌集成實時視頻流AI識別模塊,區(qū)域內(nèi)自主飛行航線模塊,PSDK第三方負載模塊(氣體傳感器、光譜相機、頻譜偵測設(shè)備、喊話器、探照燈等),三維模型模塊(電塔、基站塔、廣播塔、高層建筑等),精準三維巡檢航線模塊等,以滿足不同行業(yè)應(yīng)用的精準化需求。
"自動機場+無人機"三維AI巡檢系統(tǒng)APP端可調(diào)用可調(diào)用云端規(guī)劃航線,遠程控制無人機從自動機場起飛,執(zhí)行巡檢任務(wù),完成后自動返航??筛鶕?jù)客戶定制化需求,選擇內(nèi)嵌集成實時視頻流AI識別模塊,區(qū)域內(nèi)自主飛行航線模塊,PSDK第三方負載模塊(氣體傳感器、光譜相機、頻譜偵測設(shè)備、喊話器、探照燈等),三維模型模塊(電塔、基站塔、廣播塔、高層建筑等),精準三維巡檢航線模塊等,以滿足不同行業(yè)應(yīng)用的精準化需求。