<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="en"><front><journal-meta><journal-id journal-id-type="publisher-id">donstu</journal-id><journal-title-group><journal-title xml:lang="en">Advanced Engineering Research (Rostov-on-Don)</journal-title><trans-title-group xml:lang="ru"><trans-title>Advanced Engineering Research (Rostov-on-Don)</trans-title></trans-title-group></journal-title-group><issn pub-type="epub">2687-1653</issn><publisher><publisher-name>Don State Technical University</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.23947/1992-5980-2020-20-1-93-99</article-id><article-id custom-type="elpub" pub-id-type="custom">donstu-1640</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>INFORMATION TECHNOLOGY, COMPUTER SCIENCE AND MANAGEMENT</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ</subject></subj-group></article-categories><title-group><article-title>Automatic license-plate recognition</article-title><trans-title-group xml:lang="ru"><trans-title>Автоматическое распознавание автомобильных номерных знаков</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0003-3937-1143</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Полтавский</surname><given-names>А. В.</given-names></name><name name-style="western" xml:lang="en"><surname>Poltavskii</surname><given-names>A. V.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Полтавский Артем Владимирович - студент кафедры «Алгебра и дискретная математика», Институт математики механики и компьютерных наук им. И.И. Воровича.</p><p>344058, Ростов-на-Дону, ул. Мильчакова, 8а.</p></bio><bio xml:lang="en"><p>Rostov-on-Don.</p></bio><email xlink:type="simple">poltavsky@sfedu.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0001-8413-8506</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Юрушкина</surname><given-names>Т. Г.</given-names></name><name name-style="western" xml:lang="en"><surname>Yurushkina</surname><given-names>T. G.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Юрушкина Татьяна Геннадьевна - преподаватель кафедры «Естественные науки».</p><p>344002, Ростов-на-Дону, пл. Гагарина, 1.</p></bio><bio xml:lang="en"><p>Rostov-on-Don.</p></bio><email xlink:type="simple">t.yurushkina@gmail.com</email><xref ref-type="aff" rid="aff-2"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0003-2477-0459</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Юрушкин</surname><given-names>М. В.</given-names></name><name name-style="western" xml:lang="en"><surname>Yurushkin</surname><given-names>M. V.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Юрушкин Михаил Викторович - старший преподаватель кафедры «Алгебра и дискретная математика», Институт математики механики и компьютерных наук им. И.И. Воровича, кандидат физико-математических наук.</p><p>344058, Ростов-на-Дону, ул. Мильчакова, 8а.</p></bio><bio xml:lang="en"><p>Rostov-on-Don.</p></bio><email xlink:type="simple">m.yurushkin@gmail.com</email><xref ref-type="aff" rid="aff-1"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru"><institution>Южный федеральный университет</institution><country>Россия</country></aff><aff xml:lang="en"><institution>Southern Federal University</institution><country>Russian Federation</country></aff></aff-alternatives><aff-alternatives id="aff-2"><aff xml:lang="ru"><institution>Донской государственный технический университет</institution><country>Россия</country></aff><aff xml:lang="en"><institution>Don State Technical University</institution><country>Russian Federation</country></aff></aff-alternatives><pub-date pub-type="collection"><year>2020</year></pub-date><pub-date pub-type="epub"><day>15</day><month>04</month><year>2020</year></pub-date><volume>20</volume><issue>1</issue><fpage>93</fpage><lpage>99</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Poltavskii A.V., Yurushkina T.G., Yurushkin M.V., 2020</copyright-statement><copyright-year>2020</copyright-year><copyright-holder xml:lang="ru">Полтавский А.В., Юрушкина Т.Г., Юрушкин М.В.</copyright-holder><copyright-holder xml:lang="en">Poltavskii A.V., Yurushkina T.G., Yurushkin M.V.</copyright-holder><license xml:lang="ru" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>Данная работа распространяется под лицензией Creative Commons Attribution 4.0.</license-p></license><license xml:lang="en" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://www.vestnik-donstu.ru/jour/article/view/1640">https://www.vestnik-donstu.ru/jour/article/view/1640</self-uri><abstract><sec><title>Introduction</title><p>Introduction. The problem of automatic license plate recognition is considered. Its solution has many potential applications from safety to traffic control. The work objective was to develop an intelligent recognition system based on the application of deep learning algorithms, such as convolution neural networks that consider automotive standards for license plates in various countries and continents, and are tolerant to camera locations and quality of input images, as well as to changing lighting, weather conditions, and license plate deformations.</p></sec><sec><title>Materials and Methods</title><p>Materials and Methods. An integrated approach for the problem solution based on the application of convolution neural network composition is proposed. An experimental analysis of neural network models trained to meet the requirements of the universal license plate recognition task was conducted. Based on it, models that showed the best ratio of quality and speed were selected. Quality of the system is provided through the optimization of various models with different modifications. In particular, convolution neural networks were trained using images from several datasets. In addition, to obtain the best results, the models used were pre-trained on a specially generated synthetic dataset.</p></sec><sec><title>Results</title><p>Results. The paper presents numerical experiments, the results of which imply the superiority of the developed algorithm over the commercial OpenALPR package on public datasets. In particular, on the 2017-IWT4S-HDR_LP-dataset, license plate recognition accuracy was 94 percent, and on the Application-Oriented License Plate dataset, 86 percent.</p><p>Discussion and Conclusions. The resulting algorithm can be used to automatically detect and recognize license plates. The experiments show that the algorithm quality meets or exceeds quality of the commercial OpenALPR package. The developed algorithm quality can be improved through increasing the training dataset, which does not require the participation of the developer.</p></sec></abstract><trans-abstract xml:lang="ru"><sec><title>Введение</title><p>Введение. Статья посвящена задаче автоматического обнаружения и распознавания автомобильных номеров, решение которой имеет множество потенциальных применений, начиная от обеспечения безопасности и заканчивая управлением трафиком на дорогах. Целью данной работы являлась разработка интеллектуальной системы нахождения и распознавания автомобильных номеров, основанной на применении алгоритмов глубокого обучения и сверточных нейронных сетей, учитывающей различные региональные стандарты автомобильных номеров, и устойчивой к различным расположениям камеры, качеству видео, освещению, погодным условиям и деформациям номерных знаков.</p></sec><sec><title>Материалы и методы</title><p>Материалы и методы. Предложен комплексный подход к решению задачи, основанный на применении сверточных нейронных сетей. Проведен экспериментальный анализ нейросетевых моделей, обученных под требования задачи универсального распознавания номерного знака. На его основании были выбраны модели, показывающие лучшее соотношение качества и быстродействия. Качество системы обеспечивается оптимизацией различных моделей с различными модификациями. В частности, сверточные нейронные сети обучались с использованием изображений из нескольких наборов данных. Кроме того, для получения наилучших результатов используемые модели были предобучены на специально сгенерированном синтетическом датасете.</p></sec><sec><title>Результаты исследования</title><p>Результаты исследования. В статье приведены численные эксперименты, результаты которых свидетельствуют о превосходстве разработанного алгоритма над коммерческим пакетом OpenALPR на публичных наборах данных. В частности, на наборе данных 2017-IWT4S-HDR_LP-dataset точность распознавания номерных знаков составила 94 процента, а на наборе данных Application-Oriented License Plate 86 процентов.</p></sec><sec><title>Обсуждение и заключения</title><p>Обсуждение и заключения. Полученный алгоритм может быть использован для автоматического обнаружения и распознавания автомобильных номеров. Проведенные эксперименты показали, что качество алгоритма не уступает качеству коммерческого пакета OpenALPR. Качество разработанного алгоритма можно увеличивать за счет увеличения тренировочного датасета, что не требует участия разработчика.</p></sec></trans-abstract><kwd-group xml:lang="ru"><kwd>обнаружение и распознавание объектов</kwd><kwd>сверточные нейронные сети</kwd><kwd>генерация и аугментация данных</kwd><kwd>распознавание номерных знаков</kwd></kwd-group><kwd-group xml:lang="en"><kwd>object detection and recognition</kwd><kwd>convolution neural networks</kwd><kwd>data generation and augmentation</kwd><kwd>license plate recognition</kwd></kwd-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Bernstein, D. Automatic vehicle identification: technologies and functionalities / D. Bernstein, A. Y. Kanaan // Journal of Intelligent Transportation System. — 1993. — 1 (2). — P. 191–204.</mixed-citation><mixed-citation xml:lang="en">Bernstein, D. Automatic vehicle identification: technologies and functionalities / D. Bernstein, A. Y. Kanaan // Journal of Intelligent Transportation System. — 1993. — 1 (2). — P. 191–204.</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Development of vehicle-license number recognition system using real-time image processing and its application to travel-time measurement / K. Kanayama [et al.] // IEEE Vehicular Technology Conference. — May, 1991. — P. 798–804.</mixed-citation><mixed-citation xml:lang="en">Development of vehicle-license number recognition system using real-time image processing and its application to travel-time measurement / K. Kanayama [et al.] // IEEE Vehicular Technology Conference. — May, 1991. — P. 798–804.</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Kessentini, Y. A two-stage deep neural network for multi-norm license plate detection and recognition / Y. Kessentini, M.D. Besbes, S. Ammar, A. Chabbouh // ExpertSystems with Applications. — 2019. — Vol. 136. — P. 159– 170.</mixed-citation><mixed-citation xml:lang="en">Kessentini, Y. A two-stage deep neural network for multi-norm license plate detection and recognition / Y. Kessentini, M.D. Besbes, S. Ammar, A. Chabbouh // ExpertSystems with Applications. — 2019. — Vol. 136. — P. 159– 170.</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Tian, J. A two-stage character segmentation method for Chinese license plate / J. Tian, R. Wang, G. Wang, J. Liu, Y. Xia // Computers &amp; Electrical Engineering. — 2015. — Vol.46. — P. 539–553.</mixed-citation><mixed-citation xml:lang="en">Tian, J. A two-stage character segmentation method for Chinese license plate / J. Tian, R. Wang, G. Wang, J. Liu, Y. Xia // Computers &amp; Electrical Engineering. — 2015. — Vol.46. — P. 539–553.</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">A CNN-based approach for automatic license plate recognition in the wild / M. Dong [et al.] // British Machine Vision Conference (BMVC). — 2017. — P. 1–12.</mixed-citation><mixed-citation xml:lang="en">A CNN-based approach for automatic license plate recognition in the wild / M. Dong [et al.] // British Machine Vision Conference (BMVC). — 2017. — P. 1–12.</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">LeCun, Y. Deep learning / Y. LeCun, Y. Bengio, G. Hinton // Nature. — 2015. — Vol. 521, no. 7553. — P. 436–444.</mixed-citation><mixed-citation xml:lang="en">LeCun, Y. Deep learning / Y. LeCun, Y. Bengio, G. Hinton // Nature. — 2015. — Vol. 521, no. 7553. — P. 436–444.</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Holistic recognition of low quality license plates by CNN using track annotated data / J. Španhel [et al.] // 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). — 2017. — P. 1–6.</mixed-citation><mixed-citation xml:lang="en">Holistic recognition of low quality license plates by CNN using track annotated data / J. Španhel [et al.] // 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). — 2017. — P. 1–6.</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
