22.10.2021

Тестирование мобильных приложений на Android

 

Тестирование Android приложений

Взрывной рост использования мобильных смартфонов и разработки мобильных приложений делает автоматизацию тестирования ключевым требованием успешной и быстрой поставки качественных мобильных приложений. Автоматизированное функциональное тестирование помогает обеспечить необходимую функциональность мобильного приложения и надлежащую работу пользовательского интерфейса. Однако существует необходимость выйти за рамки функционального тестирования мобильных приложений. Существует множество аспектов производительности мобильных приложений, которые нужно измерять и улучшать. Есть прямая взаимосвязь между производительностью и удобством использования мобильных приложений.

Тестирование является важной частью процесса разработки мобильных приложений. Для Android оно имеет особенную важность, поскольку используемые устройства довольно сильно отличаются друг от друга по следующим параметрам:

  • размером и разрешением экрана;
  • версией Android;
  • форм-фактор устройства;
  • системы команд процессора;
  • фронтальная камеры, NFC, внешняя клавиатура и т.д.

Процесс тестирования приложений может включать тесты различных типов. Можно регулярно проводить автоматическое тестирование функциональности без дополнительных затрат. Например, можно на ночь запускать тестирование сборки на всех устройствах, а утром анализировать результаты и исправлять ошибки.

Автоматическое тестирование приложений для Android

Автоматическое тестирование приложений для Android

Рассмотрим несколько средств для автоматического тестирования функциональности, которые входят в состав Android SDK или распространяются с открытым исходным кодом.

Принцип автоматического тестирования приложений

Наша задача — с наибольшей точностью автоматизировать действия, выполняемые вручную. Рассмотрим эти действия. Будем использовать несколько приложений и несколько устройств с Android. Для каждого приложения и каждого устройства нужно выполнить следующие действия:

  • Установить приложение на устройство
  • Запустить приложение
  • Протестировать приложение, используя выбранный метод
  • Удалить приложение
  • Сбросить устройство в исходное состояние
  • На каждом этапе нужно собирать и анализировать данные (журналы и снимки экрана). Ниже описываются средства для автоматизации этих действий.
  • Управление устройствами Android

Прежде всего необходимо выбрать компьютер, который будет использоваться для запуска автоматических тестов, и установить на нем Android SDK. В данном примере мы используем настольный компьютер с операционной системой Linux*. На каждом устройстве необходимо отключить экран блокировки и увеличить «время перед переходом в спящий режим» до максимального значения. Для некоторых методик тестирования также нужно отключить изменение ориентации экрана. В составе Android SDK предусмотрено две программы для управления устройствами с Android: ADB и monkeyrunner* ADB (Android Debug Bridge) — это программа командной строки для управления устройствами с Android.

Методы автоматического тестирования Android

Методы автоматического тестирования Android

Тестирование с помощью Monkey*

Предположим, что тестируемое устройство попало в лапы крайне любопытной и деятельной обезьяны: программа Monkey имитирует именно такую ситуацию. Программа Monkey, входящая в состав Android SDK, отправляет поток случайных действий пользователя. В командной строке можно указать количество действий пользователя, долю действий каждого типа и имя пакета (чтобы программа Monkey не вышла за пределы тестируемого приложения и не начала, к примеру, рассылать SMS-сообщения всем контактам из адресной книги).

Основное преимущество Monkey в отсутствии затрат на обслуживание. К тому же нагрузочное тестирование может выявлять сложные и малозаметные ошибки.

Недостатки тестирования с помощью Monkey:

  • Monkey не может имитировать сложные нагрузки, такие как проверка подлинности. В таких случаях функциональность приложений остается непротестированной.
  • Игры со сложным управлением, требующие быстрой реакции пользователей и сложных жестов, будут выполнены с самого начала или же вовсе не запустятся.
  • Крайне сложно воспроизводить ошибки, обнаруженные с помощью Monkey.
  • Monkey не проверяет состояние приложения во время тестирования.

Автоматическое тестирование с помощью Monkey можно считать неплохой начальной проверкой для любого приложения. Этот метод может дать достаточно полезные результаты для определенного приложения. Но при низком качестве тестирования следует использовать другие методы.

Тестирование с помощью MonkeyRunner

MonkeyRunner позволяет не только создавать сценарии для управления устройствами с Android, но и создавать сценарии для тестирования приложения на определенном устройстве. Основное преимущество – гибкость, а недостаток в сложности написания скриптов, даже в простых случаях. Создание скриптов monkeyrunner занимает немало времени, поэтому обычно этот метод использовать нецелесообразно. Но в некоторых случаях его применение может оказаться весьма полезным.

Тестирование с помощью getevent и sendevent

Программы getevent и sendevent позволяют пользователю записывать последовательность действий и затем воспроизводить ее. Для запуска этих программ не требуются права доступа root.

  • Последовательности событий можно записать без дополнительных затрат в ходе ручного тестирования, если оно проводится;
  • Для записи последовательности событий не требуются навыки программирования.
  • Последовательности необходимо записывать отдельно для каждого приложения и для каждого устройства. При изменении интерфейса приложение потребуется переделать все записанные действия;
  • Этот метод не проверяет состояние приложения во время тестирования. Если отклик приложения задерживается (например, из-за длительной загрузки веб-страницы), то результаты тестирования будут неверными;
  • Воспроизведение быстрых и сложных последовательностей занимает больше времени, чем их запись. Поэтому такой метод не всегда подходит для тестирования динамических игр, где важно быстрое реагирование.

Тестирование с помощью Robotium

Robotium

Robotium не входит в состав Android SDK, эта программа распространяется с открытым исходным кодом. Сценарии Robotium определяют действия на уровне пользовательского интерфейса приложений, а не на уровне устройства ввода. Например, в сценарии требуется коснуться кнопки «ОК». В этом случае скрипт monkeyrunner будет построен следующим образом: «имитировать касание экрана в точке с координатами (x0, y0)». Скрипт Robotium будет построен иначе: «нажать кнопку с текстом «ОК».

Описание действий на уровне интерфейса позволяет сделать тестовый скрипт независимым от расположения и размеров элементов интерфейса, разрешения и ориентации экрана. Кроме того, в Robotium можно проверять реакцию приложения на действия. Например, предположим, что после нажатия кнопки «ОК» должен появиться список с элементом «Элемент 1». В Robotium можно проверять имена элементов списков. Проверка состояния приложения после каждого шага позволяет с легкостью находить шаг, на котором произошла ошибка.

  • Для каждого приложения требуется разрабатывать тестовый сценарий на языке Java*. Для этого требуется время и навыки программирования;
  • При смене интерфейса приложения потребуется переделать последовательность событий;
  • Создавать сценарии Robotium сложнее, чем записывать события с помощью getevent / sendevent;

В целом, Robotium позволяет создавать тестовые сценарии высшего качества с разумными затратами.

Сравнение методов тестирования мобильных приложений

Метод тестированияПреимуществаНедостатки
Monkey — поток случайных действий пользователейЗатраты на обслуживание отсутствуют.

Независимость от устройства.

Сложно воспроизводить последовательность действий, вызвавших ошибку, в отчетах об ошибках.

При смене интерфейса приложения необходимо переделывать последовательность событий.

Скрипт может не зависеть от разрешения и ориентации экрана.

Автоматическое тестирование не заменяет другие типы тестирования. Продуманный процесс тестирования, сочетающий различные методы, в том числе и автоматическое тестирование, является важнейшей частью процесса разработки высококачественных приложений.

Ручное тестирование Android приложений

Ручное тестирование Android приложений

Рассмотрим ручное функциональное тестирование. Тестировщик устанавливает на устройство приложение, вдумчиво проверяет всю функциональность, затем возвращает устройство в первоначальное состояние. И так для каждого приложения и каждого устройства. Очевидный недостаток такого способа – большие затраты времени для регулярного тестирования.

Тестирование мобильных приложений существенно отличается от тестирования приложений, предназначенных для использования на персональных компьютерах. Приведем ряд основных моментов, которые нужно протестировать:

  • Установка и запуск приложения, выход из приложения, повторный вход, удаление приложения с мобильного устройства;
  • Мультитач и размер экрана. Корректность удаления 2-х элементов или просмотр двух элементов, нажатием на них одновременно. Проверка многократного быстрого нажатия на кнопку – часто при этом может случиться падение приложения. В приложении должны отсутствовать пустые экраны, чтобы пользователь не оказался в ситуации, в которой не очевидно, что делать. Также все элементы должны быть такого размера, чтобы пользователь мог однозначно нажать на них.
  • Стабильность. Работа приложения при множестве запущенных приложений и долгое время, а также в случае недостатка места для установки или работы приложения. Поведение приложения при отсутствии в некоторых устройствах поддерживаемых приложением функций.
  • Адаптация приложения к портретной и альбомной ориентациям устройства.
  • Стресс. Реакция приложения на внешние прерывания:
    • входящие и исходящие SMS, MMS, звонки, оповещения других приложений;
    • переход устройства в режим ожидания;
    • выключение устройства, разрядка устройства;
    • зарядка устройства;
    • отключение интернета;
    • переход в другое приложение.
  • Интернационализация. Проверка корректности работы приложения на разных языках (если данное приложение мультиязычное).
  • Обратная связь с пользователем. Наличие информативных сообщений при попытке выполнить какое-либо действие (например, при удалении важной информации), а также присутствие визуальной индикации хода выполнения функций. У всех нажимаемых элементов должно быть «нажатое состояние» (отклик на действие), благодаря этому пользователь всегда будет видеть, действительно ли произошло нажатие.
  • Обновление. Корректность обновления приложения до новой версии.
  • Орфографические ошибки.

Как показывает практика тестирования мобильных приложений, наиболее корректной работы приложения можно добиться при ручном тестировании на реальных мобильных устройствах.

Особенности альфа/бета тестирования в консоли разработчика Google Play

В консоли разработчика Google Play можно выбирать группы пользователей для альфа- и бета-тестирования различных версий приложения, после чего поэтапно внедрять обновления.

Что нужно знать перед началом тестирования

В аккаунте разработчика доступны инструменты для альфа- и бета-тестирования различных версий вашего приложения. Тестирование приложения возможно без публикации рабочей версии APK-файла. Обратите внимание на следующую информацию:

  • Присоединиться к группе тестировщиков может только пользователь с аккаунтом Google (@gmail.com) или Google Apps;
  • При тестировании опубликованного ранее приложения обновление его альфа- и бета-версии получат только тестировщики. И только они смогут найти и скачать приложение, которое вы публикуете и проверяете впервые;
  • Если вы впервые публикуете файл APK альфа- или бета-версии, ссылка станет доступна пользователям в течение нескольких часов. Примерно такое же время требуется, чтобы тестировщики смогли увидеть изменения, внесенные вами в уже опубликованную версию;
  • Любые изменения на странице Цены и распространение (в том числе значения платное или бесплатное) применяются ко всем версиям приложения, включая тестовые, рабочие и будущие.

Мы рекомендуем начать с маленькой группы альфа-тестировщиков, а затем перейти к бета-тестированию с участием большего количества пользователей. Файлы дополнений можно тестировать с помощью альфа-канала распространения в консоли разработчика. Для тестирования нельзя использовать черновики, то есть файл APK должен быть опубликован как альфа-, бета- или рабочая версия. Файлы дополнений нельзя добавлять для первого загруженного файла APK нового приложения.

Компания GETBUG помогаеn обеспечить корректную и стабильную работу мобильного приложения на целевых устройствах, сделать его удобным для пользователя и оптимизировать производительность как самого мобильного приложения, так и мобильного решения в целом.

Лучшие приложения для смартфонов на базе Windows Phone — Смартфон — 2021

Table of Contents:

Мы хотим протестировать все больше и больше устройств Windows Phone здесь, в 7 уроках . Чтобы оценить их производительность измеримым и сопоставимым образом, мы спросили себя: какие приложения лучше всего подходят для сравнения устройств Windows Phone? Мы провели небольшое исследование и множество тестирований и составили этот список с лучшими тестовыми приложениями. Читайте дальше, чтобы узнать, какие тесты стоит установить на вашем смартфоне.

AnTuTu Benchmark — бесплатно

Несмотря на свое странное название, AnTuTu является хорошо известным тестом благодаря своему присутствию на Android. Его разработчики попытались внедрить те же тесты, что и на Android, принимая во внимание ограничения и особенности платформы Windows Phone. Этот тест доступен для Windows Phone 7.5, 7.8 и 8.

AnTuTu проверяет процессор (ЦП) вашего телефона, его графический чип (GPU), его ОЗУ, ввод-вывод базы данных (Database IO — не уверен, что именно здесь и как тестируется) и память для хранения. Вы можете легко включать и выключать тесты, которые хотите выполнить.

Я провел полную серию тестов. Я обнаружил, что время тестирования быстрое (на моем тестовом телефоне HTC 8X оно всегда занимало меньше минуты). В конце результаты отображаются в виде серии баллов для каждого типа теста и общего балла. К сожалению, эти пункты мало что значат для пользователя, и нет никакого объяснения их значения. Вы не будете знать, что является хорошим или плохим счетом. Вы также заметите, что есть небольшая опечатка: CPU Interger вместо CPU Integer .

Пользователи не могут сравнивать результаты с другими, по крайней мере, из самого теста. Поэтому вы не представляете, насколько хорошо работает ваш телефон по сравнению с другими.

Мы запустили AnTuTu и все остальные на каждом из трех разных телефонов, чтобы заметить, как полученные результаты различаются между тестами. Мы заметили, что полученные результаты сильно различаются от теста к тесту. Например, на том же телефоне (HTC 8X) разница в значениях между лучшим и худшим целочисленными результатами ЦП составила 13%. Этого достаточно, чтобы сравнивать производительность разных моделей телефонов. На более старых или младших моделях телефонов изменчивость результатов тестов снизилась до 10% — улучшение, но все же большая разница между тестовыми прогонами на одном телефоне.

 

Несмотря на то, что тест работает без сбоев и способен тестировать все телефоны с Windows, нам было трудно интерпретировать результаты тестирования и сравнивать производительность нашего телефона с другими.

Тест бесплатно — бесплатно

Benchmark Free доступен для всех версий Windows Phone и, как следует из названия, он бесплатный. Он проверяет процессор вашего смартфона, его оперативную память и память. Когда вы выполняете тест, он запускает каждый тест 21 раз и отображает среднюю оценку. Это замечательно, так как устраняет любую странную изменчивость, которая может появиться, и, по крайней мере, теоретически, должна отображать воспроизводимые результаты теста для вашего телефона.

Полученные результаты на самом деле не дают представления о том, насколько хорош или плох ваш телефон. Результаты теста очень абстрактны.

К счастью, тест позволяет просматривать результаты тестов, полученные на других устройствах Windows Phone, так что вы можете сравнить производительность вашего телефона с ними.

К сожалению, этот бенчмарк совсем не полезен, по крайней мере, для устройств с Windows Phone 8. Похоже, что он был разработан для Windows Phone 7.5 и с тех пор не обновлялся. Все три телефона, на которых я работал, получили одинаковый балл — 7, 9, хотя их аппаратная конфигурация сильно отличается.

Требуется обновить бесплатную версию Benchmark Free , чтобы ее можно было сравнить с современными устройствами на Windows Phone 8. В своем нынешнем виде он предоставляет значение только для тестирования старых устройств Windows Phone 7.5.

MultiBench 2 — бесплатно

MultiBench 2 — отличный бесплатный тест для Windows Phone. Он работает на всех версиях этой операционной системы, и вы можете протестировать буквально любое устройство Windows Phone с ним.

Как и любой хороший тест, он позволяет вам настроить тест для запуска. Я решил запустить все тесты.

Время тестирования больше, чем при использовании других тестов, но оно должно закончиться через 3-5 минут, в зависимости от вашего телефона. Результаты отображаются в виде отдельных оценок для каждого компонента, который был сравнен: процессор, хранилище, оперативная память и графический чип. Результаты являются абстрактными, поэтому вы не будете знать, что они значат, а также являются ли они хорошими или плохими.

Тем не менее, MultiBench 2 имеет несколько функций, которые помогут с этим. Во-первых, он хранит историю вашего тестирования. Таким образом, вы можете увидеть результаты, полученные в предыдущих тестовых прогонах, и посмотреть, не снизилась ли производительность вашего телефона.

Затем вы также можете сравнить результаты тестирования вашего телефона с онлайн-базой данных MultiBench 2 .

До сих пор в базе данных MultiBench 2 было много устройств с Windows Phone 7.5. Если у вас есть устройство Windows Phone 8, вы увидите, что оно превосходит все. Со временем это должно измениться, и диаграммы должны также включать устройства Windows Phone 8.

С точки зрения изменчивости результатов испытаний, мы нашли это здорово. Разница в баллах между тестовыми прогонами на одном телефоне была менее 1%. Это означает, что алгоритм измерения является надежным, и вы можете использовать MultiBench 2 для точного сравнения производительности различных моделей телефонов.

PhoneMark Pro — Коммерческий ($ 1, 49)

PhoneMark Pro стоит $ 1, 49 и работает на всех версиях Windows Phone. К сожалению, он работает только в ландшафтном режиме и имеет некоторые раздражающие рекламные объявления, хотя это коммерческий продукт. Разговор о попытке монетизировать приложение.

PhoneMark Pro сравнивает процессор вашего устройства, оперативную память, графический чип и память. Для каждого, он показывает абстрактный балл и и в целом PhoneScore, который является средним из отдельных баллов.

Приятно отметить, что вы можете сравнить результаты вашего телефона с другими телефонами и получить некоторую интересную информацию, такую ​​как популярность версии операционной системы среди пользователей этого приложения или некоторую интересную информацию о тенденциях.

Тесты выполняются очень быстро, что означает, что они невелики в своей оценке. Вы заметите, что чем больше вы тестируете свой телефон, тем лучше результаты. Во время некоторых тестовых прогонов он показывал результаты, которые были на 100% лучше предыдущих. Это только означает, что алгоритм оценки не был разработан должным образом, и его нельзя использовать для надежного измерения различий в производительности между различными моделями телефонов.

PhoneMark Pro — это слабое тестовое приложение, которое необходимо доработать, чтобы быть полезным.

WP Bench — Коммерческая ($ 0, 99)

WP Bench отлично работает на всех версиях Windows Phone и стоит всего $ 0, 99. Это самое полное приложение для тестирования производительности, которое я нашел на Windows Phone. Он проверяет скорость вашего телефона, его дисплей и батарею. Фактически, это единственный тест, который прошел тест на разрядку аккумулятора. Он выдвигает ваш телефон до предела и измеряет, сколько времени требуется, чтобы батарея разрядилась, когда телефон напряжен до максимума. Действительно, очень полезный тест, который выявил некоторые удивительные факты о некоторых из протестированных нами телефонов.

WP Bench также является единственным эталоном, который помогает вам оценить качество цветопередачи вашего дисплея. Он отображает некоторые шаблоны и делится тем, что вы должны ожидать, как идеальные результаты.

Он не поддается измерению в точных цифрах, но дает хорошее представление о качестве дисплея вашего телефона.

Тест скорости оценивает процессор телефона, оперативную память и память и его графический чип. Для запуска требуется короткое время и, в конце, сначала отображается общий результат. Вы можете опубликовать этот общий балл и сравнить его с другими пользователями. Затем вы получаете доступ к индивидуальным оценкам для каждого компонента оборудования.

WP Bench показывает некоторые очень значимые оценки для каждого независимого теста. Например, он говорит вам, что ОЗУ вашего телефона может передавать данные со скоростью 39, 39 МБ / с или что средняя частота кадров, получаемая вашим графическим процессором, составляет 33 кадра / с. Это полезная информация, значимая для пользователя, даже не сравнивая ее с результатами тестирования других пользователей.

Как и любой другой хороший тест, WP Bench позволяет вам увидеть результаты, полученные другими пользователями, а также некоторую интересную статистику с самыми популярными устройствами, протестированными с WP Bench , самыми популярными производителями телефонов Windows, которые были протестированы, и самыми популярными версиями операционной системы.,

С точки зрения изменчивости наиболее хорошо продуманным является тест GPU. Он всегда дает один и тот же результат, независимо от того, сколько вы тестируете телефон. Другие тесты имеют некоторую изменчивость — до 3% в наших тестах. Он достаточно мал, чтобы сделать результаты теста значимыми и полезными при сравнении производительности разных телефонов.

Лучший бесплатный тест — MultiBench 2

MultiBench 2 оказался лучшим из всех бесплатных приложений для Windows Phone. Он не только надежен в своих измерениях (самый надежный тест, который я тестировал на Windows Phone), но также позволяет легко сравнивать его с другими устройствами и запоминать историю ваших испытаний, так что у вас есть представление о том, как развиваются характеристики вашего телефона в время.

Лучший коммерческий тест — WP Bench

WP Bench — лучшее тестовое приложение для Windows Phone. Его цена доступна каждому, а его тесты очень актуальны для любого пользователя телефона. Кроме того, это единственный тест, который не просто показывает абстрактные результаты в качестве результатов теста. Он делится значимыми данными и измерениями, которые дают вам хорошее представление о том, как работает ваш телефон. Настоятельно рекомендуется!

WINDOWS PHONE В 2020 — МОЖНО ПОЛЬЗОВАТЬСЯ? | РЕТРОБЗОР (Май 2021).

  • http://getbug.ru/testirovaniya-android-prilozheniy/
    http://ru.computersm.com/best-benchmark-apps

     

  • Добавить комментарий

    Ваш адрес email не будет опубликован. Обязательные поля помечены *

    X

    Adblock
    detector