Тест-Центр (1Cv8)

http://v8.1c.ru/expert/tc/tc_overview.htm

Тест-центр — инструмент автоматизации многопользовательских нагрузочных испытаний информационных систем на платформе 1С:Предприятие 8. С его помощью можно моделировать работу предприятия без участия реальных пользователей, что позволяет оценивать применимость, производительность и масштабируемость информационной системы в реальных условиях.

Назначение

Тест-центр предназначен для:

Оценки производительности информационной системы (конфигурации в целом и/или отдельных бизнес-процессов) при заданных параметрах модели предприятия с целью:

• оценки применимости информационной системы;
• выбора оборудования;
• формулирования эксплуатационных требований.

Оценки масштабируемости информационной системы при:

• увеличении объема информационной базы;
• увеличении количества пользователей;
• увеличении нагрузки на систему.

Оценки изменения показателей производительности при:

• изменении функциональности системы (доработка системы или отдельных алгоритмов);
• изменении конфигурации оборудования.

Возможности

• описание многопользовательских сценариев тестирования;
• автоматический запуск сценариев и контроль хода их выполнения;
• сбор, хранение и анализ результатов тестирования.

Архитектура

Тест-центр, представляет собой конфигурацию, реализующую механизм управления процессом тестирования. Для тестирования информационной базы, необходимо объединить конфигурацию Тест-центра с конфигурацией тестируемой базы при помощи операции сравнения и объединения конфигураций. В результате объединения к метаданным тестируемой базы будут добавлены объекты и общие модули, необходимые для работы Тест-центра.

В тестировании принимает участие Эксперт – человек, который программирует тестовые обработки, запускает тест, контролирует выполнение теста, просматривает и анализирует результаты тестирования.

Управляющее клиентское рабочее место, которое использует эксперт, называется Тест-центром.

Тест-центр управляет работой Виртуальных Пользователей, которые выполняют действия при помощи управляемых клиентских рабочих мест, называемых Виртуальными Рабочими Местами. Виртуальные рабочие места могут быть автоматически запущены Тест-центром или экспертом вручную на любых компьютерах в сети.

Связь между Тест-центром и виртуальными пользователями осуществляется через информационную базу с внедренным в нее Тест-центром. Тест-центр посылает команды виртуальным пользователям, виртуальные пользователи выполняют их на виртуальных рабочих местах и сообщают о результатах выполнения Тест-центру.

Виртуальные пользователи работают на основании сценария тестирования.

Структура сценария тестирования

Сценарий – это описание структуры тестовой деятельности. Сценарий содержит список ролей (например, «Бухгалтер», «Менеджер по продажам», «Кассир»), каждая из которых содержит свой список тестовых действий (например «создание документов РеализацияТоваровУслуг»).

При запуске сценария Тест-центр будет автоматически воспроизводить многопользовательскую деятельность, описанную в сценарии. Для этого Тест-центр создаст необходимое количество виртуальных пользователей (в соответствии со списком ролей) и запустит выполнение действий.

Выполнение каждого действия заключается в запуске соответствующей тестовой обработки.

Это означает, что каждое тестовое действие, выполняемое виртуальным пользователем, должно быть предварительно запрограммировано в виде тестовой обработки. Тестовая обработка может содержать произвольные настройки. Настройки тестовой обработки

Состав и назначение настроек определяются программистом тестовой обработки. Значения настроек задаются при описании сценария тестирования. Например:

В результате выполнения тестовых действий могут быть измерены и зафиксированы числовые значения, которые затем используются для оценки производительности системы (например «среднее время записи и проведения документа»). Такие значения называются показателями производительности. Состав и назначение показателей определяются программистом тестовой обработки. Значения показателей вычисляются и записываются в коде тестовой обработки.

Тест-центр может автоматически контролировать значения показателей производительности. Например, следить, чтобы среднее время записи и проведения документа не превышало 5 секунд.

Запуск и контроль выполнения теста

После того, как описан сценарий тестирования, можно приступать к запуску теста. Для запуска и контроля выполнения теста предназначен мастер запуска теста, входящий в состав Тест-центра. Последовательность действий эксперта, Тест-центра и виртуальных пользователей схематически изображена на следующей диаграмме.

1. Тестовый стенд – это список виртуальных пользователей с указанием имени компьютера, пользователя и пароля для доступа к тестируемой базе.
2. Эксперт может задать для каждого виртуального пользователя имя компьютера, имя пользователя и пароль для доступа к тестируемой базе.
3. Тест-центр автоматически запускает необходимое количество ВРМ на указанных компьютерах и выполняет вход от имени пользователя заданного в параметрах ВП.
4. Виртуальные пользователи считывают список действий в соответствии со своей ролью.
5. В начале выполнения теста выполняется действие, которое можно запрограммировать. Например, для создания данных, необходимых для выполнения теста.
6. Перед началом работы ВП, выполняются действия, которые можно запрограммировать. Например, для создания данных, необходимых для выполнения конкретного действия.
7. Виртуальные пользователи выполняют свои действия, которые необходимо запрограммировать. При выполнении действий могут измеряться значения показателей производительности.
8. Виртуальные пользователи записывают результаты в тестируемую базу.
9. После выполнения работы ВП выполняются действия, которые можно запрограммировать. Например, для удаления данных, созданных во время инициализации и выполнения конкретного действия.
10. В конце выполнения теста выполняется действие, которое можно запрограммировать. Например, для удаления данных, созданных в начале выполнения теста.

Структура результатов

Результаты тестирования сгруппированы по сценарию и тестовому стенду. Эта группировка в виде дерева представлена в верхней левой части формы. В нижней левой части формы отображены результаты всех запусков данного сценария на данном тестовом стенде.

Дерево результатов имеет следующую структуру:

• результат выполнения теста
  • результат работы виртуального пользователя
    • результат выполнения действия

Результат работы виртуального пользователя вычисляется на основании результатов выполнения всех его действий:

• если все действия виртуального пользователя выполнены успешно, то результат работы виртуального пользователя будет «выполнено успешно»;
• если имеется хотя бы одно действие выполненное с предупреждениями, то результат работы виртуального пользователя будет «выполнено с предупреждениями»;
• если имеется хотя бы одно действие выполненное с ошибками, то результат работы виртуального пользователя будет «выполнено с ошибками».

Аналогичным образом, общий результат выполнения теста вычисляется на основании результатов работы всех виртуальных пользователей.

Результат запуска каждого действия содержит значения показателей производительности, измеренные во время выполнения этого действия. На уровне запуска теста эти показатели агрегируются в виде максимального, минимального, суммарного и среднего значений.

Тест-центр автоматически ведет протокол запуска и выполнения теста, который можно просмотреть на любом уровне дерева результатов. показать полностью...

Типовые сценарии для Тест-центра

В состав "Корпоративного инструментального пакета" входят следующие типовые сценарии многопользовательского нагрузочного тестирования для Тест-центра:

• "Продажи в конфигурации "Управление производственным предприятием".
• "Эмуляция работы пользователей по вводу документов".

Основные задачи, решаемые при помощи сценариев, входящих в состав «Корпоративного инструментального пакета»:

• Оценка применимости системы при заданных условиях. Каковы будут показатели производительности системы:
  • при заданных параметрах нагрузки (выполняемые бизнес-процессы, количество пользователей, интенсивность ввода документов, размеры документов и т.д.);
  • на данном оборудовании;
  • при использовании данной СУБД и т.п.;
• Выбор оборудования. Будут ли достигнуты требуемые показатели производительности на данном оборудовании?
• Оценка эффекта от изменения условий функционирования системы. Как изменится производительность системы при изменении любых условий функционирования системы:
  • изменения исходного кода системы (доработки функционала и т.п.);
  • изменения версий программного обеспечения (платформы, СУБД и т.п.)
  • изменение аппаратного обеспечения (покупка нового сервера, аппаратный апгрейд и т.п.);
• Выявление проблем, которые могут проявиться только при многопользовательской работе (конфликты блокировок и т.д.). Сценарий тестирования, работающий под управлением Тест-центра, является, в данном случае «генератором», позволяющим воспроизвести эти проблемы без участия реальных пользователей. Анализ этих проблем с целью дальнейшей оптимизации осуществляется при помощи «Центра управления производительностью».

Сценарий "Продажи в конфигурации "Управление производственным предприятием"

Сценарий «Продажи в конфигурации «Управление производственным предприятием» позволяет эмулировать многопользовательскую нагрузку, создаваемую при выполнении бизнес-процесса продажи.

Бизнес-процесс «Продажи», как правило, является основным источником конкурентной многопользовательской нагрузки в работающих системах. Выполнение данного многопользовательского теста позволит оценить общую нагрузку на систему и ее производительность при заданных условиях.

Во время тестирования виртуальные пользователи выполняют следующую последовательность

• Заказ покупателя:
  • создать, заполнить и провести новый документ «Заказ покупателя»;
  • сформировать печатную форму «Заказ покупателя (с учетом корректировок)»;
• Реализация товаров и услуг:
  • создать и провести новый документ «Реализация товаров и услуг» на основании ранее созданного документа «Заказ покупателя»;
  • сформировать печатную форму «ТОРГ-12» (товарная накладная);
  • сформировать печатную форму «М-15» (накладная);
• Счет-фактура:
  • создать и провести новый документ «Счет-фактура» на основании ранее созданного документа «Реализация товаров и услуг;
  • сформировать печатную форму документа;
• Расходный ордер на товары:
  • создать и провести новый документ «Расходный ордер на товары»;
  • сформировать печатную форму «Расходный ордер».

Сценарий позволяет настроить следующие параметры:

• количество виртуальных пользователей, одновременно выполняющих тест;
• количество номенклатурных позиций в документах;
• конкурентность данных (насколько данные разных пользователей пересекаются по набору номенклатурных позиций);
• интерактивность работы пользователей. Сценарий позволяет эмулировать работу пользователей с формами – заполнение документов, подбор номенклатур, формирование выходных форм и т.д.

Сценарий позволяет оценить значения следующих показателей производительности:

• полное время выполнения всего бизнес-процесса «Продажи»
• время проведения каждого отдельного документа:
• время формирования каждой выходной формы

Универсальный сценарий "Эмуляция работы пользователей по вводу документов"

Данный сценарий тестирования позволяет воспроизвести работу реальных пользователей по вводу документов. Работа данного сценария не зависит от конфигурации, то есть он может быть использован для информационных баз любой конфигурации. Виртуальные пользователи работают под правами реальных пользователей системы. Документы вводятся в реальном времени, то есть с теми же задержками, которые были при работе реальных пользователей. Имеется возможность «сжатия» времени для уменьшения общего времени работы теста.

Сценарий не является синтетическим, то есть не генерирует искусственные документы. Все проводимые документы являются точными копиями документов, которые проводились пользователями в рабочей информационной базе. Это позволяет получить реалистичную оценку производительности системы в заданных условиях.

Во время тестирования осуществляется замер времени проведения каждого вводимого документа. Имеется возможность автоматического сравнения результатов двух тестов для оценки влияния изменений в системе на производительность при выполнении реальных действий пользователей.

Руководство пользователя

Тест-Центр. Руководство пользователя

Особенности

Тест-Центр является инструментом нагрузочного тестирования. В нём нет средств задания тестовых ситуаций и проверки эталонов. Все действия должны быть описаны программистом.