An algorithm for constructing test materials and the test results evaluation techniques that allow combining high estimate rate and test objectivity are developed. The test system in this case can be considered as an assessment tool for the knowledge level under investigating the appropriate modules. The decomposition of knowledge into lots of sections is conducted for the knowledge systematization. At that, each section is associated to a set of sub-sections which, in turn, consists of a subset of questions, the answers to which reveal the level of knowledge of each section. The test assignment is formulated in such a way that upon answer, a set of responses revealing the knowledge level of a certain subsection is to be given. Since the test development process is considered as a construction of multivariable dependence, it is proposed to approach the problem from the perspective of planning multifactor experiments. In this case, a set of answers is presented as a set of factors taking on certain values. With their varying on two levels, the problem is reduced to the construction of the experiment that implements all possible combinations of factors, i.e. to a complete factorial experiment. The technique of applying the technology of two-level multifactor experiment planning that allows formalizing the evaluation of partially incomplete knowledge, and implementing the formation of the multifactor tests of different kinds of complexity is offered. To illustrate this technique, the examples of the construction of tests for the discipline “Automatic control theory” assessing the degree of the knowledge level formation are considered. The statistical analysis of the test results has shown the knowledge level of the testees, as well as the credibility of this knowledge.
Разработаны актуальный алгоритм построения тестовых материалов и методика оценивания результатов тестирования, позволяющие сочетать высокую оценочную способность и объективность тестов. Тестовую систему в таком случае можно рассматривать как аппарат оценивания уровня знаний при изучении соответствующих модулей. Для систематизации знаний производится декомпозиция знаний на множество разделов. При этом каждому разделу сопоставляется множество подразделов, которое, в свою очередь, состоит из подмножества вопросов, ответы на которые раскрывают уровень знаний каждого раздела. Задание теста формулируется таким образом, что при ответе на него должен быть дан набор ответов, раскрывающих уровень знания определенного подраздела. Поскольку процесс разработки тестового вопроса рассматривается как построение многофакторной зависимости, то предлагается к его построению подойти с позиции планирования многофакторных экспериментов. В этом случае множество ответов представляется как набор факторов, принимающих определенные значения. При их варьировании на двух уровнях, задача сводится к построению эксперимента, реализующего все возможные сочетания факторов, т.е. к полному факторному эксперименту. Предложена методика применения технологии планирования двухуровневых многофакторных экспериментов, позволяющих формализовать оценку частично неполных знаний и реализацию формирования многофакторных тестов различной сложности. Для иллюстрации данной методики рассмотрены примеры построения тестов для дисциплины «Теория автоматического управления», оценивающих степень сформированности уровня знаний. Статистическая обработка результатов тестирования показала уровень знаний испытуемых, а также степень доверия к этим знаниям.
The authors declare that there are no conflicts of interest present.