<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="en"><front><journal-meta><journal-id journal-id-type="publisher-id">donstu</journal-id><journal-title-group><journal-title xml:lang="en">Advanced Engineering Research (Rostov-on-Don)</journal-title><trans-title-group xml:lang="ru"><trans-title>Advanced Engineering Research (Rostov-on-Don)</trans-title></trans-title-group></journal-title-group><issn pub-type="epub">2687-1653</issn><publisher><publisher-name>Don State Technical University</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.23947/2687-1653-2022-22-4-323-330</article-id><article-id custom-type="elpub" pub-id-type="custom">donstu-1941</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>MACHINE BUILDING AND MACHINE SCIENCE</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>МАШИНОСТРОЕНИЕ И МАШИНОВЕДЕНИЕ</subject></subj-group></article-categories><title-group><article-title>On the Control of the Technical Condition of Elevator Ropes Based on Artificial Intelligence and Computer Vision Technology</article-title><trans-title-group xml:lang="ru"><trans-title>О контроле технического состояния лифтовых канатов на основе технологий искусственного интеллекта и компьютерного зрения</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0001-7211-1824</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Панфилов</surname><given-names>А. В.</given-names></name><name name-style="western" xml:lang="en"><surname>Panfilov</surname><given-names>A. V.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Алексей Викторович Панфилов, доцент, кандидат технических наук</p><p>кафедра «Эксплуатация транспортных систем и логистика»</p><p>344003</p><p>пл. Гагарина, 1</p><p>Ростов-на-Дону</p></bio><bio xml:lang="en"><p>Alexey V. Panfilov</p><p>1, Gagarin Sq.</p><p>Rostov-on-Don</p></bio><email xlink:type="simple">panfilov@ikcmysl.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0003-2179-616X</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Юсупов</surname><given-names>А. Р.</given-names></name><name name-style="western" xml:lang="en"><surname>Yusupov</surname><given-names>A. R.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Александр Рашидович Юсупов, старший преподаватель</p><p>кафедра «Робототехника и мехатроника»</p><p>344003</p><p>пл. Гагарина, 1</p><p>Ростов-на-Дону</p></bio><bio xml:lang="en"><p>Alexander R. Yusupov</p><p>1, Gagarin Sq.</p><p>Rostov-on-Don</p></bio><email xlink:type="simple">temple_black@mail.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0001-9446-4911</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Короткий</surname><given-names>А. А.</given-names></name><name name-style="western" xml:lang="en"><surname>Korotkiy</surname><given-names>A. A.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Анатолий Аркадьевич Короткий, заведующий кафедрой, доктор технических наук, профессор</p><p>кафедра «Эксплуатация транспортных систем и логистика»</p><p>344003</p><p>пл. Гагарина, 1</p><p>Ростов-на-Дону</p></bio><bio xml:lang="en"><p>Anatoly A. Korotkiy</p><p>1, Gagarin Sq.</p><p>Rostov-on-Don</p></bio><email xlink:type="simple">korot@novoch.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0001-9080-5520</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Иванов</surname><given-names>Б. Ф.</given-names></name><name name-style="western" xml:lang="en"><surname>Ivanov</surname><given-names>B. F.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Борис Федорович Иванов, ведущий научный сотрудник, кандидат технических наук, доцент</p><p>Центр научных компетенций</p><p>344003</p><p>пл. Гагарина, 1</p><p>Ростов-на-Дону</p></bio><bio xml:lang="en"><p>Boris F. Ivanov</p><p>1, Gagarin Sq.</p><p>Rostov-on-Don</p></bio><email xlink:type="simple">ivanov@ikc-mysl.ru</email><xref ref-type="aff" rid="aff-1"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru"><institution>Донской государственный технический университет</institution><country>Россия</country></aff><aff xml:lang="en"><institution>Don State Technical University</institution><country>Russian Federation</country></aff></aff-alternatives><pub-date pub-type="collection"><year>2022</year></pub-date><pub-date pub-type="epub"><day>09</day><month>01</month><year>2004</year></pub-date><volume>22</volume><issue>4</issue><fpage>323</fpage><lpage>330</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Panfilov A.V., Yusupov A.R., Korotkiy A.A., Ivanov B.F., 2023</copyright-statement><copyright-year>2023</copyright-year><copyright-holder xml:lang="ru">Панфилов А.В., Юсупов А.Р., Короткий А.А., Иванов Б.Ф.</copyright-holder><copyright-holder xml:lang="en">Panfilov A.V., Yusupov A.R., Korotkiy A.A., Ivanov B.F.</copyright-holder><license xml:lang="ru" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>Данная работа распространяется под лицензией Creative Commons Attribution 4.0.</license-p></license><license xml:lang="en" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://www.vestnik-donstu.ru/jour/article/view/1941">https://www.vestnik-donstu.ru/jour/article/view/1941</self-uri><abstract><p>   Introduction. The safety problem and the situation with accidents during the operation of elevator installations are elucidated. The role of elevator rope defects as a factor of dangerous incidents is indicated from the point of view of statistics. The malfunctions of the elevator mechanical equipment related to the defective indices of the ropes are listed. There is a difference in the documentary fixation of defective indices and rejection rates of ropes of lifting structures.   Materials and Methods. The well-known approaches to the control of ropes of lifting structures were described. It was emphasized that visual inspection control (VIC) was required to identify such rejection rates of steel elevator ropes as geometry change, corrosion and wear, wire breaks, temperature exposure, etc. The rejection rate was presented in the form of a mathematical system. The technical condition of elevator ropes during the operation was integrally assessed by the totality of identified defects at a fixed length. The decision to create a software and hardware complex (PAC) for the practical implementation of visual and measuring control was validated.   Results. The developed PAC VIC laboratory sample consisted of a hardware part, a video stream processing module, communicator for the server connectivity, specially designed software, and a client mobile application. PAC VIC implemented the following functions: – automatic detection and classification of the major significant rope defects based on a deep convolutional artificial neural network; – demonstration of a three-dimensional image of a rope and an image scanning algorithm with distortion compensation, according to which the metric characteristics of defects were fixed; – integral assessment of the technical condition of the rope according to the totality of detected defects; – color interpretation of the actual technical condition of the rope with subsequent transmission to the user's mobile device. Preliminary tests have shown the suitability of the PAC VIC for identifying defects. The reliability of the results for the identification and qualification of defects exceeded 80%. Work on deep learning of the system continues.   Discussion and Conclusions. PAC VIC of elevator ropes provides eliminating the risks of visual control caused by the psychophysical state of a person. It works remotely and contactless. The solution proposed by the authors automatically evaluates the rejection rates according to five criteria: external wire breaks, surface wear, rope diameter change, undulation, traces of temperature exposure. An important result of the VIC of steel ropes using computer vision and artificial intelligence is an increase in reliability and safety during the operation of elevator equipment.</p></abstract><trans-abstract xml:lang="ru"><p>   Введение. Рассмотрены проблема безопасности и ситуация с аварийностью при эксплуатации лифтовых установок. С точки зрения статистики обозначена роль дефектов лифтовых канатов как фактора опасных инцидентов. Перечислены неисправности механического оборудования лифта, связанные с браковочными показателями канатов. Отмечено различие в документальной фиксации браковочных показателей и норм браковки канатов подъемных сооружений.   Материалы и методы. Описываются известные подходы к контролю канатов подъемных сооружений. Подчеркивается обязательность визуально-измерительного контроля (ВИК) для выявления таких норм браковки стальных лифтовых канатов, как: изменение геометрии, коррозия и износ, обрывы проволок, температурное воздействие и пр. Норма браковки представлена в виде математической системы. Техническое состояние при эксплуатации лифтовых канатов интегрально оценивается по совокупности выявленных дефектов на фиксированной длине. Обосновано решение создать программно-аппаратный комплекс (ПАК) для практической реализации визуально-измерительного контроля.   Результаты исследования. Разработанный лабораторный образец ПАК ВИК состоит из аппаратной части, модуля обработки видеопотока, средства коммуникации для связи с сервером, специально созданного софта и клиентского мобильного приложения. ПАК ВИК реализует следующие функции: – автоматическое обнаружение и классификация основных значимых дефектов канатов на основе глубокой сверточной искусственной нейронной сети; – демонстрация объемного изображения каната и алгоритма развертки изображения с компенсацией искажений, по которому фиксируются метрические характеристики дефектов; – интегральная оценка технического состояния каната по совокупности обнаруженных дефектов; – цветовая интерпретация фактического технического состояния каната с последующей передачей на мобильное устройство пользователя. Предварительные испытания показали пригодность ПАК ВИК для определения дефектов. Достоверность результатов по выявлению и квалификации дефектов превысила 80 %. Продолжаются работы по глубокому обучению системы.   Обсуждение и заключения. ПАК ВИК лифтовых канатов позволяет исключить риски визуального контроля, обусловленные психофизическим состоянием человека, работает дистанционно и бесконтактно. Предложенное авторами решение автоматически оценивает браковочные показатели по пяти критериям: обрывы наружных проволок, поверхностный износ, изменение диаметра каната, волнистость, следы температурного воздействия. Важный результат ВИК стальных канатов с использованием компьютерного зрения и искусственного интеллекта — повышение надежности и безопасности при эксплуатации лифтового оборудования.</p></trans-abstract><kwd-group xml:lang="ru"><kwd>дефекты</kwd><kwd>лифтовые канаты</kwd><kwd>нормы браковки</kwd><kwd>визуально-измерительный контроль</kwd><kwd>программно-аппаратный комплекс</kwd><kwd>искусственные нейронные сети</kwd><kwd>компьютерное зрение</kwd></kwd-group><kwd-group xml:lang="en"><kwd>defects</kwd><kwd>elevator ropes</kwd><kwd>rejection rates</kwd><kwd>visual inspection control</kwd><kwd>hardware-software package</kwd><kwd>artificial neural networks</kwd><kwd>computer vision</kwd></kwd-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Снижение риска возникновения и тяжести последствий несчастных случаев при авариях лифтов / А. В. Панфилов [и др.] // Научно-технический вестник Брянского государственного университета. — 2020. — № 3. — С. 451–460. doi: 10.22281/2413-9920-2020-06-03-451-460</mixed-citation><mixed-citation xml:lang="en">Снижение риска возникновения и тяжести последствий несчастных случаев при авариях лифтов / А. В. Панфилов [и др.] // Научно-технический вестник Брянского государственного университета. — 2020. — № 3. — С. 451–460. doi: 10.22281/2413-9920-2020-06-03-451-460</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">РД РОСЭК 012–97. Канаты стальные. Контроль и нормы браковки / А. А. Короткий [и др.]. — Новочеркасск : РОСЭК, 1997. — 50 с.</mixed-citation><mixed-citation xml:lang="en">РД РОСЭК 012–97. Канаты стальные. Контроль и нормы браковки / А. А. Короткий [и др.]. — Новочеркасск : РОСЭК, 1997. — 50 с.</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Mouradi, H. Steel Wire Ropes Failure Analysis: Experimental Study / H. Mouradi, A. E. Barkany, A. E. Biyaali // Engineering Failure Analysis. — 2018. — Vol. 91. — P. 234–242. doi: 10.1016/j.engfailanal.2018.04.019</mixed-citation><mixed-citation xml:lang="en">Mouradi, H. Steel Wire Ropes Failure Analysis: Experimental Study / H. Mouradi, A. E. Barkany, A. E. Biyaali // Engineering Failure Analysis. — 2018. — Vol. 91. — P. 234–242. doi: 10.1016/j.engfailanal.2018.04.019</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Deyst, J. P. Bounds on Least-Squares Four-Parameter Sine-Fit Errors due to Harmonic Distortion and Noise / J. P. Deyst, M. Sounders, O. M. Solomon // IEEE Transactions on Instrumentation and Measurement. — 1995. — Vol. 44. — P. 637–642. doi: 10.1109/19.387298</mixed-citation><mixed-citation xml:lang="en">Deyst, J. P. Bounds on Least-Squares Four-Parameter Sine-Fit Errors due to Harmonic Distortion and Noise / J. P. Deyst, M. Sounders, O. M. Solomon // IEEE Transactions on Instrumentation and Measurement. — 1995. — Vol. 44. — P. 637–642. doi: 10.1109/19.387298</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Soucup, D. Convolutional Neural Networks for Steel Surface Defect Detection from Photometric Stereo Images. In: Advances in Visual Computing. ISVC 2014. / D. Soukup, R. Huber-Mörk // Lecture Notes in Computer Science. — 2014. — Vol. 8887. — P. 668–677. doi: 10.1007/978-3-319-14249-4_64</mixed-citation><mixed-citation xml:lang="en">Soucup, D. Convolutional Neural Networks for Steel Surface Defect Detection from Photometric Stereo Images. In: Advances in Visual Computing. ISVC 2014. / D. Soukup, R. Huber-Mörk // Lecture Notes in Computer Science. — 2014. — Vol. 8887. — P. 668–677. doi: 10.1007/978-3-319-14249-4_64</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Vallan, A. A Vision-Based Technique for Lay Length Measurement of Metallic Wire Ropes / A. Vallan, F. Molinar // IEEE Transactions on Instrumentation and Measurement. — 2009. — Vol. 58. — P. 1756–1762. doi: 10.1109/TIM.2009.2012953</mixed-citation><mixed-citation xml:lang="en">Vallan, A. A Vision-Based Technique for Lay Length Measurement of Metallic Wire Ropes / A. Vallan, F. Molinar // IEEE Transactions on Instrumentation and Measurement. — 2009. — Vol. 58. — P. 1756–1762. doi: 10.1109/TIM.2009.2012953</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">On the Suitability of Different Features for Anomaly Detection in Wire Ropes. In: Computer Vision, Imaging and Computer Graphics: Theory and Applications. Ranchordas, A., et al. (eds.) / E.-S. Platzer, H. Süße, J. Nägele [et al.] // VISIGRAPP 2009 : Communications in Computer and Information Science. — 2009. — Vol. 68. — P. 296–308. doi: 10.1007/978-3-642-11840-1_22</mixed-citation><mixed-citation xml:lang="en">On the Suitability of Different Features for Anomaly Detection in Wire Ropes. In: Computer Vision, Imaging and Computer Graphics: Theory and Applications. Ranchordas, A., et al. (eds.) / E.-S. Platzer, H. Süße, J. Nägele [et al.] // VISIGRAPP 2009 : Communications in Computer and Information Science. — 2009. — Vol. 68. — P. 296–308. doi: 10.1007/978-3-642-11840-1_22</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">One-Class Classification for Anomaly Detection in Wire Ropes with Gaussian Process in a Few Lines of Code / E. Rodner, E.-S. Wacker, M. Kemmler, J. Denzler // In: Proc. 12th IAPR Conference on Machine Vision Applications. — URL: https://www.researchgate.net/publication/232805478_OneClass_Classification_for_Anomaly_Detection_in_Wire_Ropes_with_Gaussian_Processes_in_a_Few_Lines_of_Code (accessed: 29. 09. 2022).</mixed-citation><mixed-citation xml:lang="en">One-Class Classification for Anomaly Detection in Wire Ropes with Gaussian Process in a Few Lines of Code / E. Rodner, E.-S. Wacker, M. Kemmler, J. Denzler // In: Proc. 12th IAPR Conference on Machine Vision Applications. — URL: https://www.researchgate.net/publication/232805478_OneClass_Classification_for_Anomaly_Detection_in_Wire_Ropes_with_Gaussian_Processes_in_a_Few_Lines_of_Code (accessed: 29. 09. 2022).</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Surface Damage Detection for Steel Wire Ropes Using Deep Learning and Computer Vision Techniques / Xinyuan Huang, Zhiliang Liu, Xinyu Zhang [et al.] // Measurement. — 2020. — Vol. 161. — Art. 107843. doi: 10.1016/j.measurement.2020.107843</mixed-citation><mixed-citation xml:lang="en">Surface Damage Detection for Steel Wire Ropes Using Deep Learning and Computer Vision Techniques / Xinyuan Huang, Zhiliang Liu, Xinyu Zhang [et al.] // Measurement. — 2020. — Vol. 161. — Art. 107843. doi: 10.1016/j.measurement.2020.107843</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">Evolution Properties of Tribological Parameters for Steel Wire Rope under Sliding Contact Conditions / Xiangdong Chang, Yuxing Peng, Sheng-Yong Zou, Zhen-Cai Zhu // Metals. — 2018. — Vol. 8. — P. 743. doi: 10.3390/met8100743</mixed-citation><mixed-citation xml:lang="en">Evolution Properties of Tribological Parameters for Steel Wire Rope under Sliding Contact Conditions / Xiangdong Chang, Yuxing Peng, Sheng-Yong Zou, Zhen-Cai Zhu // Metals. — 2018. — Vol. 8. — P. 743. doi: 10.3390/met8100743</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
