基于RGB图像和三维点云的矿石提取与分析

IF 0.9 4区工程技术 Q4 MINERALOGY

Gospodarka Surowcami Mineralnymi-Mineral Resources Management Pub Date : 2023-07-20 DOI:10.24425/gsm.2022.140612

Feng Jin, Kai Zhan, S. Chen, Shuwei Huang, Yuansheng Zhang

{"title":"基于RGB图像和三维点云的矿石提取与分析","authors":"Feng Jin, Kai Zhan, S. Chen, Shuwei Huang, Yuansheng Zhang","doi":"10.24425/gsm.2022.140612","DOIUrl":null,"url":null,"abstract":"Based on the theory of computer vision, a new method for extracting ore from underground mines is proposed. This is based on a combination of RGB images collected by a color industrial camera and a point cloud generated by a 3D ToF camera. Firstly, the mean-shift algorithm combined with the embedded confidence edge detection algorithm is used to segment the RGB ore image into different regions. Secondly, the effective ore regions are classified into large pieces of ore and ore piles consisting of a number of small pieces of ore. The method applied in the classification process is to embed the confidence into the edge detection algorithm which calculates edge distribution around ore regions. Finally, the RGB camera and the 3D ToF camera are calibrated and the camera matrix transformation of the two cameras is obtained. Point cloud fragments are then extracted according to the cross-calibration result. The geometric properties of the ore point cloud are then analysed in the subsequent procedure. WyDOByCIE I AnAlIzA RuDy z OBRAzu RGB I ChmuRy PunkTóW 3D S ł o w a k l u c z o w e obraz rudy, chmura punktów 3D, wbudowane wykrywanie krawędzi ufności, zmiana średniej, kalibracja krzyżowa S t r e s z c z e n i e W oparciu o teorię widzenia komputerowego zaproponowano nową metodę wydobycia rudy z podziemnych kopalń. Jest to połączenie obrazów RGB zebranych przez kolorową kamerę przemysłową oraz chmury punktów wygenerowanej przez kamerę 3D ToF. Po pierwsze, algorytm zmiany średniej w połączeniu z wbudowanym algorytmem wykrywania krawędzi ufności służy do segmentacji obrazu rudy RGB na różne regiony. Po drugie, efektywne regiony rud są podzielone na złoża rudy o dużych rozmiarach i zwałowiska składające się z małej ilości rudy. Metodą stosowaną w procesie klasyfikacji jest określenie ufności w algorytmie wykrywania krawędzi, który oblicza rozkład krawędzi wokół regionów rudnych. Wreszcie, kamera RGB i kamera 3D ToF są skalibrowane i uzyskuje się transformację matrycy obu kamer. Następnie, fragmenty chmury punktów są wyodrębniane zgodnie z wynikiem kalibracji krzyżowej. W kolejnej procedurze przeanalizowano właściwości geometryczne chmury punktów rudy.","PeriodicalId":50416,"journal":{"name":"Gospodarka Surowcami Mineralnymi-Mineral Resources Management","volume":"18 1","pages":""},"PeriodicalIF":0.9000,"publicationDate":"2023-07-20","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":"{\"title\":\"Ore extraction and analysis from RGB image and 3D Point Cloud\",\"authors\":\"Feng Jin, Kai Zhan, S. Chen, Shuwei Huang, Yuansheng Zhang\",\"doi\":\"10.24425/gsm.2022.140612\",\"DOIUrl\":null,\"url\":null,\"abstract\":\"Based on the theory of computer vision, a new method for extracting ore from underground mines is proposed. This is based on a combination of RGB images collected by a color industrial camera and a point cloud generated by a 3D ToF camera. Firstly, the mean-shift algorithm combined with the embedded confidence edge detection algorithm is used to segment the RGB ore image into different regions. Secondly, the effective ore regions are classified into large pieces of ore and ore piles consisting of a number of small pieces of ore. The method applied in the classification process is to embed the confidence into the edge detection algorithm which calculates edge distribution around ore regions. Finally, the RGB camera and the 3D ToF camera are calibrated and the camera matrix transformation of the two cameras is obtained. Point cloud fragments are then extracted according to the cross-calibration result. The geometric properties of the ore point cloud are then analysed in the subsequent procedure. WyDOByCIE I AnAlIzA RuDy z OBRAzu RGB I ChmuRy PunkTóW 3D S ł o w a k l u c z o w e obraz rudy, chmura punktów 3D, wbudowane wykrywanie krawędzi ufności, zmiana średniej, kalibracja krzyżowa S t r e s z c z e n i e W oparciu o teorię widzenia komputerowego zaproponowano nową metodę wydobycia rudy z podziemnych kopalń. Jest to połączenie obrazów RGB zebranych przez kolorową kamerę przemysłową oraz chmury punktów wygenerowanej przez kamerę 3D ToF. Po pierwsze, algorytm zmiany średniej w połączeniu z wbudowanym algorytmem wykrywania krawędzi ufności służy do segmentacji obrazu rudy RGB na różne regiony. Po drugie, efektywne regiony rud są podzielone na złoża rudy o dużych rozmiarach i zwałowiska składające się z małej ilości rudy. Metodą stosowaną w procesie klasyfikacji jest określenie ufności w algorytmie wykrywania krawędzi, który oblicza rozkład krawędzi wokół regionów rudnych. Wreszcie, kamera RGB i kamera 3D ToF są skalibrowane i uzyskuje się transformację matrycy obu kamer. Następnie, fragmenty chmury punktów są wyodrębniane zgodnie z wynikiem kalibracji krzyżowej. W kolejnej procedurze przeanalizowano właściwości geometryczne chmury punktów rudy.\",\"PeriodicalId\":50416,\"journal\":{\"name\":\"Gospodarka Surowcami Mineralnymi-Mineral Resources Management\",\"volume\":\"18 1\",\"pages\":\"\"},\"PeriodicalIF\":0.9000,\"publicationDate\":\"2023-07-20\",\"publicationTypes\":\"Journal Article\",\"fieldsOfStudy\":null,\"isOpenAccess\":false,\"openAccessPdf\":\"\",\"citationCount\":\"0\",\"resultStr\":null,\"platform\":\"Semanticscholar\",\"paperid\":null,\"PeriodicalName\":\"Gospodarka Surowcami Mineralnymi-Mineral Resources Management\",\"FirstCategoryId\":\"5\",\"ListUrlMain\":\"https://doi.org/10.24425/gsm.2022.140612\",\"RegionNum\":4,\"RegionCategory\":\"工程技术\",\"ArticlePicture\":[],\"TitleCN\":null,\"AbstractTextCN\":null,\"PMCID\":null,\"EPubDate\":\"\",\"PubModel\":\"\",\"JCR\":\"Q4\",\"JCRName\":\"MINERALOGY\",\"Score\":null,\"Total\":0}","platform":"Semanticscholar","paperid":null,"PeriodicalName":"Gospodarka Surowcami Mineralnymi-Mineral Resources Management","FirstCategoryId":"5","ListUrlMain":"https://doi.org/10.24425/gsm.2022.140612","RegionNum":4,"RegionCategory":"工程技术","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"Q4","JCRName":"MINERALOGY","Score":null,"Total":0}

引用次数: 0

摘要

基于计算机视觉理论，提出了一种新的地下矿山矿石提取方法。这是基于彩色工业相机收集的RGB图像和3D ToF相机生成的点云的组合。首先，将mean-shift算法与嵌入置信度边缘检测算法相结合，对RGB矿石图像进行区域分割;其次，将有效矿区划分为大块矿和由许多小块矿组成的矿堆。在分类过程中采用的方法是将置信度嵌入到计算矿区周围边缘分布的边缘检测算法中。最后，对RGB相机和3D ToF相机进行了标定，得到了两个相机的相机矩阵变换。然后根据交叉标定结果提取点云碎片。然后在随后的程序中分析矿石点云的几何特性。WyDOByCIE I AnAlIzA RuDy z OBRAzu RGB I ChmuRy PunkTóW 3D wdobycie I AnAlIzA RuDy z OBRAzu RGB I ChmuRy PunkTóW 3D wdobycie I AnAlIzA RuDy, chmura punktów 3D, wdodowane wykrywanie krawędzi ufności, zmiana średniej, kalibracja krzyżowa wdobycie I analize wykrywanie krawędzi ufności, zmiana średniej, kalibracja krzyżowa笑话połączenie obrazów RGB斑马斑马przez kolorowoze kamerz przemysłową oraz chmury punktów wygenerowanej przez kamerz 3D ToF。Po pierwsze，算法zmiany średniej w połączeniu z wbudownanym算法wykrywania krawędzi ufności służy do segmentacji obrazu rudy RGB na różne区域。Po药品，efektyne地区rud szopodzielone na złoża rudy o dużych rozmiarach i zwałowiska składające sioz małej ilości rudy。metodoze stosowanze w process klasyfikacji jest określenie ufności w algorytmie wykrywania krawędzi, który oblicza rozkład krawędzi wokół regionów rudnych。Wreszcie，相机RGB是相机3D ToF是相机skalibrowane是相机skalibrowane是相机变换矩阵。Następnie，碎片化学punktów szowyodrębniane zgodnie z wynikim kalibracji krzyżowej。wkolejnej程序prezeanalizowano właściwości几何曲线化学punktów鲁迪。

本文章由计算机程序翻译，如有差异，请以英文原文为准。

查看原文本刊更多论文

Ore extraction and analysis from RGB image and 3D Point Cloud

Based on the theory of computer vision, a new method for extracting ore from underground mines is proposed. This is based on a combination of RGB images collected by a color industrial camera and a point cloud generated by a 3D ToF camera. Firstly, the mean-shift algorithm combined with the embedded confidence edge detection algorithm is used to segment the RGB ore image into different regions. Secondly, the effective ore regions are classified into large pieces of ore and ore piles consisting of a number of small pieces of ore. The method applied in the classification process is to embed the confidence into the edge detection algorithm which calculates edge distribution around ore regions. Finally, the RGB camera and the 3D ToF camera are calibrated and the camera matrix transformation of the two cameras is obtained. Point cloud fragments are then extracted according to the cross-calibration result. The geometric properties of the ore point cloud are then analysed in the subsequent procedure. WyDOByCIE I AnAlIzA RuDy z OBRAzu RGB I ChmuRy PunkTóW 3D S ł o w a k l u c z o w e obraz rudy, chmura punktów 3D, wbudowane wykrywanie krawędzi ufności, zmiana średniej, kalibracja krzyżowa S t r e s z c z e n i e W oparciu o teorię widzenia komputerowego zaproponowano nową metodę wydobycia rudy z podziemnych kopalń. Jest to połączenie obrazów RGB zebranych przez kolorową kamerę przemysłową oraz chmury punktów wygenerowanej przez kamerę 3D ToF. Po pierwsze, algorytm zmiany średniej w połączeniu z wbudowanym algorytmem wykrywania krawędzi ufności służy do segmentacji obrazu rudy RGB na różne regiony. Po drugie, efektywne regiony rud są podzielone na złoża rudy o dużych rozmiarach i zwałowiska składające się z małej ilości rudy. Metodą stosowaną w procesie klasyfikacji jest określenie ufności w algorytmie wykrywania krawędzi, który oblicza rozkład krawędzi wokół regionów rudnych. Wreszcie, kamera RGB i kamera 3D ToF są skalibrowane i uzyskuje się transformację matrycy obu kamer. Następnie, fragmenty chmury punktów są wyodrębniane zgodnie z wynikiem kalibracji krzyżowej. W kolejnej procedurze przeanalizowano właściwości geometryczne chmury punktów rudy.

求助全文

通过发布文献求助，成功后即可免费获取论文全文。去求助

来源期刊

Gospodarka Surowcami Mineralnymi-Mineral Resources Management 工程技术-矿物学

CiteScore

1.80

自引率

11.10%

发文量

审稿时长

>12 weeks

期刊介绍： Gospodarka Surowcami Mineralnymi – Mineral Resources Management is a journal of the MEERI PAS and the Committee for Sustainable Mineral Resources Management of the Polish Academy of Sciences. The journal has been published continuously since 1985. It is one of the leading journals in the Polish market, publishing original scientific papers by Polish and foreign authors in the field broadly understood as the management of mineral resources. Articles are published in English. All articles are reviewed by at least two independent reviewers (the Editorial Board selects articles according to the “double-blind review” principle).