Прогнозирование реологических параметров полимеров методами машинного обучения

Введение. Полимеры применяются в различных областях промышленности, включая производство пластика, текстиля, упаковочных материалов и многих других. Точное прогнозирование реологических параметров полимеров является сложной задачей, имеющей важное значение для оптимизации производственных процессов и создания продуктов с желаемыми свойствами.

На сегодняшний день методы машинного обучения приобрели большую популярность в различных областях, включая химию и материаловедение, благодаря своей способности эффективно обрабатывать и анализировать большие объемы данных. Данные методы позволяют прогнозировать свойства материалов. В работе [1] описана платформа, основанная на машинном обучении, предложена интеграция метрологического обеспечения в условиях цифровой трансформации. В [2] прогнозируется локальное распределение деформации, развитие пластической анизотропии и разрушения в аддитивно изготовленных сплавах. Проблемы разработки регуляторов измерительного контроля на цифровых платформах сформулированы в работе [3]. Интеллектуальная модель управления параметрами сварки соединений внахлестку построена в [4]. Однако вопросы применения методов машинного обучения для прогнозирования реологических свойств полимеров остаются недостаточно исследованными. Это вызвано как техническими, так и методологическими сложностями, такими как неоднородность структуры полимеров, их чувствительность к внешним условиям и сложные взаимодействия между молекулами в процессе деформации.

Исследования в области реологических свойств полимеров и композитов методами машинного обучения несут большие перспективы в строительной индустрии [5]. Для многих полимеров экспериментальные данные хорошо описывает обобщенное нелинейное уравнение Максвелла-Гуревича [6], для одноосного напряженного состояния имеющее вид [7]:

 (1)

где ε^* — деформация ползучести; f^* — функция напряжений; σ — напряжение; E_∞ — модуль высокоэластичности;  — начальная релаксационная вязкость; m^* — модуль скорости.

Для определения реологических параметров полимеров, таких как начальная релаксационная вязкость (далее просто «вязкость») и модуль скорости, можно использовать различные интеллектуальные модели машинного обучения [8, 9]. Например, одной из таких моделей является нейронная сеть, которая может обучаться на сгенерированных наборах данных для определения оптимальных параметров полимеров [10].

Прогнозирование на синтезированных данных достаточно распространённая практика, в том числе для методов нелинейной оптимизации [11, 12]. Одним из способов генерации данных выступает применение функций Розенброка, Химмельблау, Бута [13], которые эффективно используются для тестирования методов оптимизации, таких как методы градиентного спуска, генетические алгоритмы и метод Ньютона. Такой подход применен в работе [14], где для проверки эффективности различных методов оптимизации сгенерирован набор данных на основе теоретических кривых релаксации напряжений с использованием нелинейного уравнения Максвелла-Гуревича.

В работе [15] для прогнозирования долговечности железобетонной балки приведено несколько подходов машинного обучения, такие как нейронная сеть обратного распространения, линейная и гребневая регрессия, дерево решений, случайный лес. Входными параметрами исследования явились как различные характеристики материала, так и их свойства, в зависимости от окружающей среды (температура, влажность). В итоге по результатам исследования модель обратного распространения определила более точный прогноз (85 %), средние значения (MAE) и MAPE составили 1,13 % и 14,5 % соответственно.

Другой подход к решению обратных задач теории ползучести методом нейронных сетей основан на обучении модели на больших объемах экспериментальных данных. В работе [16] была разработана нейросетевая модель, которая обучалась на данных, полученных в результате многолетних экспериментов над полимерными материалами, и успешно прогнозировала вязкоупругое поведение этих материалов. Для исследования были использованы данные, полученные в результате экспериментов над образцами различных материалов.

В отличие от вышеперечисленных работ, представленная работа призвана содействовать развитию более точных и надежных методов прогнозирования свойств полимеров, таких как метод k-ближайших соседей и метод опорных векторов, что имеет важное значение для различных отраслей промышленности и науки.

Цель исследования заключалась в разработке прогностической модели на основе методов искусственного интеллекта для анализа реологических свойств полимеров. Ранее авторы в своих работах уже применяли алгоритм машинного обучения на основе градиентного бустинга CatBoost для обработки кривых релаксации напряжений [17, 18]. CatBoost является одним из наиболее мощных алгоритмов машинного обучения, применимым для решения не только задач регрессии, но и задач классификации и ранжирования [19].

Метод CatBoost может быть полезным для решения некоторых задач, но он также имеет свои ограничения и недостатки. В связи с этим появился интерес к использованию и других, упомянутых ранее [20], алгоритмов для решения поставленной задачи.

Материалы и методы. Сгенерированный массив данных частично представлен в таблице 1. Данный массив был сформирован на основе теоретических кривых релаксации напряжений, описываемых уравнением Максвелла-Гуревича, по методике, представленной в работе [14]. Диапазоны изменения модуля скорости и начальной релаксационной вязкости в сгенерированном массиве соответствуют реальным диапазонам для поливинилхлорида в интервале температур от 20° до 60 °С. Общее количество численных экспериментов (n) составляло 30 000.

Набор данных составил пять входных переменных и две выходных переменных. Входные переменные (единица измерения): деформация — ε (%); напряжение в начале процесса — σ₀ (МПа); напряжение в конце процесса — σ_∞ (МПа); время релаксации — t_n (ч); условное время окончания процесса — t₉₅ (ч). Выходные переменные (единица измерения): модуль скорости — m^* (МПа); начальная релаксационная вязкость —  
(в таблице 1 и далее просто «вязкость») (10⁶ МПа∙с). Величины σ₀, σ_∞, t_n и t₉₅ схематически показаны на типовой кривой релаксации напряжений, представленной на рис. 1.

Алгоритм k-ближайших соседей (k-NN) основан на анализе сходства ближайших объектов. Метод k-NN пользуется большим спросом при решении различных типов задач машинного обучения.

Формула (2) представляет общий вид алгоритма, где w(i, x) — весовая функция, оценивающая степень важности i-го соседа.

 (2)

Максимально суммарный вес может достигаться для нескольких объектов одновременно. Энтропию этого процесса можно регулировать с помощью нелинейной последовательности w(i, x) = [i ≤ k]qⁱ (метод экспоненциально взвешенных k-ближайших соседей) при условии, что 0 ≤ q ≤ 0,5.

Представляя собой достаточно простой алгоритм машинного обучения, k-NN хорошо применим при решении задач классификации и регрессии. Преимущества данного метода: простота реализации, отсутствие необходимости в предварительном обучении модели. Он используется для любых типов данных, включая категориальные и числовые. Недостатки: склонность к переобучению (при условии, если k слишком мало), низкая производительность при больших объемах данных, нет возможности учитывать взаимосвязь между признаками.

Алгоритм опорных векторов (SVR) — регрессия опорных векторов, решает задачи минимизации суммы средней абсолютной ошибки. SVR является более устойчивым к выбросам, в отличии от метода наименьших квадратов, за счёт коэффициента регуляризации (С) и «эпсилон-нечувствительной трубки» (ε). При этом ε определяет ширину трубки, в которой ошибки игнорируются. Для нахождения минимума функции используется стохастический градиентный спуск.

Алгоритм обучения по методу опорных векторов представляет собой функцию F(x) аппроксимации и регуляризации эмпирического риска, преобразующую обучающую и тестовую выборки в выходные данные для каждого объекта соответствующей выборки. Формула (3) представляет общий вид алгоритма; (4) — линейно разделимая выборка; (5) — линейно неразделимая выборка, где C — коэффициент регуляризации;
M_i(w, w₀) — скалярное произведение векторов (признака и опорного вектора);  — весовые коэффициенты.

Функция  есть функция от пары объектов  представима в виде скалярного произведения в некотором пространстве H, для которого имеет место преобразование  Функция
 — ядро, если  при условии, что K симметричная:  и неотрицательно определённая:  Коэффициент регуляризации определяется методом скользящего контроля.

Преимущества метода SVM: высокая точность в задачах классификации в нелинейных пространствах; способность работать с большим количеством признаков (включая категориальные и числовые), обобщать данные (что позволяет применять модель для новых данных), работать с данными, которые не являются линейно разделимыми благодаря использованию ядерных функций.

Недостатки метода SVM: неэффективность работы с большими объемами данных; низкая интерпретируемость модели; требование настройки множества параметров, таких как тип ядра (его параметры, параметры регуляризации) и т.д.

В данном исследовании алгоритмы разрабатываются в интеллектуальной вычислительной среде
Jupyter Notebook методами машинного обучения.

Подбор такого параметра, как количество соседей, влияет на обобщающую способность разработанной модели и является важным для её корректной работы. Наиболее подходящий алгоритм расчёта расстояния на основе данных является Distance, при котором веса объектов обратно пропорциональны их расстоянию. Соответственно, в случае более близких соседей объекта запроса, они имеют большее влияние, нежели их соседи, находящиеся на большем расстоянии от объекта.

Набор данных разбит на обучающую и тестовую выборки в соотношении 75/25. В свою очередь, 20 % обучающей выборки становится валидационной. Размерность выборок составила: обучающая — x_train = 20 400; тестовая — x_test = 6 000; валидационная — x_eval = 3 600. Для переменных y_train, y_test, y_eval данные распределены аналогичным образом.

Для построения модели k-ближайших соседей были выбраны следующие параметры: количество соседей, размер листа, интервал, функция веса. Диапазон и функционал значений для настраиваемых параметров представлен в таблице 2.

Для построения модели SVR были выбраны следующие параметры: тип ядра, порядок ядра, коэффициент регуляризации (квадратичный регуляризатор), ε. Диапазон и функционал значений для настраиваемых параметров представлены в таблице 3.

Результаты исследования

На рис. 2 представлены корреляционные связи между переменными.

Можно отметить следующие виды линейных корреляционных связей между отдельными входными и выходными переменными модели:

• достаточно сильные — между переменными «Деформация» и «Напряжение в начале»  «Время релаксации» и «Время окончания процесса» 
• средние — между переменными «Деформация» и «Напряжение в конце»  «Напряжение в начале» и «Напряжение в конце» 
• слабые — между переменными «Время окончания процесса» и «Вязкость»  «Вязкость» и «Время релаксации» 

Наличие умеренной корреляционной связи между переменными или её отсутствие говорит лишь об отсутствии линейной связи, следовательно, возможно наличие нелинейной связи между переменными.

В таблице 4 предоставлены статистические характеристики исходного набора данных.

Наиболее лучшие параметры для модели k-ближайших соседей были определены в результате работы 5-ти блочной кросс-валидации (таблица 5).

Таблица 5

Наилучшие параметры модели k-NN

Параметр	Количество соседей (k)	Размер листа (n)	Интервал (p)	Функция веса (w)
	3	15	2	'distance'
m*	5	15	2	'distance'

Наилучшие параметры модели SVR для параметров вязкости  (в начале релаксационного процесса) и модуля скорости  были получены эмпирическим путём (таблица 6).

Таблица 6

Наилучшие параметры модели SVR

Параметр	Тип ядра	Порядок ядра	Квадратичный регуляризатор	ε
	'rbf'	2	5	0,3
m*	'rbf'	3	6	0,3

Соотношение между реальными и предсказанными значениями для модели k-NN по параметрам «Вязкость» и «Модуль скорости» показаны на рис. 3, 4.

Соотношение между реальными и предсказанными значениями для модели SVR по параметрам «Вязкость» и «Модуль скорости» показаны на рис. 5, 6.

Метрики разработанных моделей k-ближайших соседей и опорных векторов представлены в таблицах 7 и 8 соответственно.

Таблица 7

Метрики разработанных моделей k-NN

Параметр	MAE	MSE	RMSE	MAPE, %	R2 train	R2 test
	1,8	6,8	2,6	5,9	1,00	0,98
m*	0,7	0,8	0,9	6,9	0,99	0,98

Таблица 8

Метрики разработанных моделей SVR

Параметр	MAE	MSE	RMSE	MAPE, %	R2 train	R2 test
	1,67	5,75	1,67	8,92	0,98	0,97
m*	0,72	1,21	1,1	7,3	0,89	0,87

Помимо синтетических данных, разработанные модели также апробировалась на реальных экспериментальных данных, представленных в работе [13]. Использовались экспериментальные кривые релаксации поливинилхлорида для различных температур в интервале от 20° до 60 °С. На рис. 7 маркерами отмечены экспериментальные значения напряжений при различных температурах в различные моменты времени, а сплошными линиями показаны кривые релаксации напряжений, построенные на основе спрогнозированных моделями величин m^* и

Обсуждение и заключение. Из рис. 5 видно, что качество прогнозирования по экспериментальным данным достаточно высокое, особенно для температур 30 °С, 50 °С и 60 °С. Для других температур качество прогнозирования несколько ниже, что связано с качеством самих экспериментальных кривых. Следовало продлить время эксперимента и дождаться выхода кривых на горизонтальную асимптоту.

В данном исследовании наиболее предпочтительным выступает метод опорных векторов (SVM). Это связано с тем, что SVM может обрабатывать данные с большим количеством признаков, что является важным для анализа реологических параметров материалов. Кроме того, SVM работает с нелинейными зависимостями между признаками, применим для решения задачи регрессии, которая является необходимой для определения реологических параметров материалов.

Однако метод CatBoost также может быть эффективным в этой задаче, особенно если в данных есть категориальные признаки. Кроме того, CatBoost может обрабатывать пропущенные данные, что может быть важно для анализа реологических параметров материалов.

Метод k-ближайших соседей является менее предпочтительным в данной задаче по причине невысокой эффективности в обработке большого числа признаков, а также наличия проблем с высокой размерностью данных.

В ходе исследования было показано, что применение методов машинного обучения позволяет эффективно анализировать и обрабатывать большие объемы данных, включающие информацию о характеристиках полимеров и их реологических свойствах. Модель, разработанная на основе такого анализа, демонстрирует высокую точность прогнозирования реологических параметров поливинилхлорида, что подтверждается результатами кросс-валидации и сравнением с экспериментальными данными.

Одним из ключевых преимуществ данного подхода является возможность автоматизации процесса прогнозирования реологических параметров полимеров, что позволяет сократить время и затраты на исследование и разработку новых материалов. Кроме этого, модель может быть легко адаптирована для анализа других типов полимеров и предсказания их свойств.

В результате выполнения данной работы была разработана прогнозная модель для оценки реологических параметров поливинилхлорида методами искусственного интеллекта на основе данных о его характеристиках и реологических свойствах. Модель демонстрирует высокую точность прогнозирования и может быть использована для оптимизации процессов производства и разработки новых материалов на основе полимеров.