В чем фокус, брат?

Дмитрий Ножнин
Ведущий геймдизайнер по внешним проектам в фирме "1С". В прошлом работал над проектами "Аллоды" 1 и 2, "Проклятые Земли", "Демиурги" 1 и 2, "Вторая Мировая".

Я помню свой первый фокус-тест "Проклятых Земель" в далеком 2000 году. Таинственные луга и кишащие кабанчиками леса Гипата лежали пред моим тщедушным героем и Забиякой, мускулистым напарником, которому, наверное, было поручено меня защищать. Но суждено было ему поймать критикал от первого же плевка первой встречной жабы. Алексей Свиридов (светлая ему память), который был моим наблюдающим на этом тесте, прыснул со смеху и дальше пристально наблюдал, как я полтора часа мучался, пытаясь в одиночку пройти первый уровень. Там, где Забияка должен был покрошить всех на месте, мне приходилось проползать на брюхе, отлавливать одиноких патрульных и вообще всячески пытаться не сдохнуть. В разговоре после Алексей признался, что такого прохождения уровня не планировалось вообще.

Фокус-тестирование необходимо для изучения первой реакции игроков. Разработчики, месяцами и годами корпящие над проектом, знают его вдоль и поперек, примирились со всеми багами и кривостями интерфейса и совершенно не могут быть объективными в оценке сложности, юзабилити и кривой обучения своего детища.

Фокус-тестирование, исходя из названия, проводится на фокус-группе, например, на хардкорных фанатах жанра, и может показать соответствие принятым канонам управления и геймплея, реакцию фанатов на инновации (или наоборот слепое клонирование). Наконец, что немаловажно, фокус-тесты позволяют команде наглядно убедиться, как игроки воспринимают их проект, как они оценивают разные фичи, как собственно они играют - скорость, стратегии, эмоции, стили управления и так далее. Живая реакция живых игроков, здесь и сейчас критикующих в пух и прах игру вашей мечты.

Данная статья посвящена проведенному мною недавно фокус-тестированию проекта "Смерть Шпионам" (Haggard Games/1C) и содержит описание всех использовавшихся материалов и методик. Надеюсь, что они помогут коллегам в дальнейшем активнее использовать фокус-тесты при разработке игр.

Граничные условия

Обязательно должна быть сформулирована цель фокус-тестирования. Можно изучать реакцию на графические решения, на звук и музыку, на сложность геймплея, на соответствие устоям жанров, юзабилити интерфейсов, интересность сеттинга и многое другое.

Для фокус-теста "СМЕРШа" было поставлено две основных цели:

  • Определить сложность освоения и использования stealth-геймплея.
  • Изучить реакцию на два новых элемента интерфейса: мини-карту с секторами обзора и большую шкалу-индикатор опасности.

Сложность геймплея вызывала особое беспокойство, потому что я сам проходил простые миссии только через многократный save/load, а отдел продаж и продвижения играть в нее просто отказывался.

Фокус-групп, предполагаемых для тестирования, также было две:

  • Игроки, знакомые минимум с тремя играми с сильным стелсом и большим игровым опытом в целом.
  • Игроки с большим игровым опытом, слабо знакомые со стелсовыми играми, но имеющие опыт игры в обычные шутеры.

Игра не планировалась для широкой аудитории, поэтому вкупе с излишней текущей сложностью никакие казуальные и средние игроки к тестированию не годились. Дополнительно было интересно взять тестеров как знакомых с Commandos, так и пропустивших испанский шедевр, поскольку миникарта с секторами обзора и некоторые решения геймплея в "СМЕРШе" очень похожи на то, что там было реализовано.

Ищем добровольцев

Где искать хардкорных игроков? Конечно на форумах. Пример поста c приглашением. Важно - общий дружелюбный и неофициозный тон, чтобы не отпугивать потенциальных кандидатов.

Меня, как геймдизайнера, интересовали общий игровой опыт и опыт stealth-игр. Вопросы о частоте игры и покупке лицензии - чтобы отсечь категорию игроков, которые качают из сети вообще все подряд, смотрят и через полчаса сносят ("Commandos очень крутая игра, но я первую миссию не прошел" - это о них).

Как отбирать кандидатов? Я действовал просто: отсеиваются все не из целевых групп (например, играющие раз в неделю). Отсеиваются неадекватные, не умеющие прочитать и осознать вопросы к кандидатам, и невнимательные из других городов и весей. Все остальные - добро пожаловать.

Отсеянные получали такое письмо:

"Спасибо вам за интерес к проекту СМЕРШ.
К сожалению, заявок уже поступило более чем достаточно для первого этапа фокус-теста. Если мы будем проводить вторую волну тестов, примерно через месяц-два, я вам обязательно сообщу."

А прошедшие такое:

"Спасибо вам за интерес к игре и добро пожаловать в ряды фокус-тестеров :)

Что такое фокус-тест и с чем его едят?
Для меня, как геймдизайнера, задача фокус-тестирования - узнать впечатления об игре от человека, впервые в нее играющего. В вашем распоряжении будет компьютер в тихой комнате и свобода играть так, как вам хочется. Обратите внимание, это не бета-тестирование на поиск ошибок. Ваша задача - получать удовольствие от игры, ну или отказаться играть, если все настолько ужасно :)

В процессе тестирования и по окончании я попрошу вас заполнить несколько коротких анкет, а также внимательно выслушаю все ваши комментарии и пожелания.

Адрес: ...

ОБЯЗАТЕЛЬНО иметь при себе общегражданский паспорт, без него вы не сможете пройти в офис и не сможете подписать соглашение о неразглашении конфиденциальной информации.

Напишите, когда вы сможете приехать к нам в офис в рабочие дни, желательно до 18:00 и на следующей неделе (6-10 ноября). Тестирование займет 30-60 минут, не больше."

Всего в фокус-тесте участвовало 23 человека.

Никакой награды не обещал специально. Исходя из мысли, что люди должны идти из интереса, а не ради какого-то приза. Плюс психологически труднее говорить об игре плохо, если человек знает, что получит за тестирование награду.

Многообразие природы

Приходили письма вида "привет хочу бетатестить эту гаму вышли диск". Приходили письма с адреса типа "г.Томск@mail.ru". Приходили закракозябренные письма, которые даже двойные перекодировщики не брали. Писали люди из Саратова и из Владивостока (я конечно интересовался, приедут ли они к нам в офис). Видимо, к этому надо относиться философски.

Люди приходили безо всякой предварительной договоренности ("Ну вы написали на следующей неделе - я и приехал"). Люди приходили на пару часов позже назначенного времени. Люди приходили с друзьями ("А у меня есть друг, он тоже геймер"). Люди просто не приходили без объяснений причин. Видимо, к этому тоже надо относиться философски.

Процедура

Заранее для себя составил программу фокус-тестирования:

  1. Встретить тестера, по пути рассказать вкратце о проекте, посадить за демо-компьютер.
  2. Объяснить суть фокус-тестирования. Напомнить, что нас интересует непредвзятое субъективное мнение о продукте, каким бы оно ни было. Что мы ищем не баги, а проблемы с геймплеем. Если что-то в игре непонятно, неочевидно или неудобно, то это наша вина, а не тестера. Нам важно его личное мнение и его личный опыт общения с игрой, каким бы он ни был.
  3. Определить формат тестирования. Самый предпочтительный вариант - тестер постоянно вслух озвучивает все свои мысли и мнения. Если ему неудобен такой формат, то провести тестирование с перерывами на мини-интервью.
  4. Перед непосредственно игрой предложить заполнить первый лист анкеты - профиль игрока.
  5. Предложить кофе/чаю, заодно можно кратко задать вопросы по анкете игрока.
  6. Собственно тестирование игры ~60 минут.
  7. По окончании тестирования предложить заполнить второй лист анкеты с вопросами по игре.
  8. Поблагодарить тестера и сказать о полагающейся ему авторской копии по выходу проекта.
  9. Перенести свои заметки в третий лист анкеты и подшить к общему делу.

В самом начале тестирования я рассказывал добровольцу основы интерфейса, сразу рассказывал об известных багах в управлении, а для более поздних тестеров сразу рассказывал об известных неочевидностях (все без исключения тестеры, например, не понимали цветовых обозначений на карте). По ходу миссии рассказывал о тонкостях интерфейса и каких-то особых фишках.

Анкету, которая предлагалась игрокам, можно скачать здесь.

Примерно половина из более чем 20 добровольцев охотно играла в режиме "говорю все что думаю", и мне оставалось лишь делать себе пометки и иногда задавать вопросы о том, почему он выбрал тот или иной путь прохождения. С остальными приходилось вести тестирование с мини-интервью - периодически задавать серию вопросов, например о полезности миникарты. Буквально двое оказались неспособны сообщить что-либо, так что в их случае мне остались исключительно собственные наблюдения и записи.

What Went Wrong

Я недооценил сложность переписки с полусотней адресатов и отслеживания кто, когда и в какое время придет. Видимо, для открытого поиска с форумов надо использовать какой-то customer service софт, чтобы пользователи в нем регистрировались сами, и можно было разделять потоки переписки (да, я не забыл сказать, что для добровольцев писать с трех разных адресов и разных ников - это норма?)

Два десятка человек - это оказалось слишком много. Реально, по результатам первых десяти было видно 90% проблем юзабилити интерфейса и сложности игры в целом.

В анкете поначалу был тринадцатый пункт: "Опишите в 1-2 предложениях ваше мнение об игре". Этот пункт вгонял добровольцев в глубокий ступор, и после пятого был вычеркнут. Всем тестерам было легче словами рассказать финальное общее мнение, чем писать его.

Крайне плохо было отсутствие тренировочной миссии. Поскольку объяснение интерфейса голосом часто приводило к пониманию как использовать ту или иную фишку, но не зачем. И из-за этого тестеры часто путались в "канонических" ситуациях, которые один раз разбираются в туториале и дальше используются всю игру, например, такие базовые вещи как использование удавки (для довольно хардкорной игры, каковой "СМЕРШ" и будет, обязательное прохождение туториала - нормально).

Конечно, эффективнее проводить фокус-тесты самим разработчикам, чтобы получать информацию из первых рук. Думаю, в любом городе, где игры разрабатывают, есть хотя бы сотня-другая игроков, с радостью поучаствующих в творческом процессе.

Ну и наверное самое главное, что went wrong - это позднее время проведения фокус-теста. На полгодика бы пораньше, на самой первой миссии можно было бы отловить половину текущих трудностей.

What Went Right

В основном добровольцы горели энтузиазмом и были настроены конструктивно, понимали смысл фокус-тестирования и старались выдавать полезные замечания. Многие отмечали потом, что подобное тестирование на игроках - очень полезная вещь, и им бы хотелось, чтобы все наши разработчики устраивали такие тестирования. Всего же желающих поучаствовать было порядка сотни - c лихвой хватило бы на несколько этапов тестирования.

Главный принцип фокус-теста: "Наблюдай, не помогай". Мне удалось спокойно смотреть, как тестеры изворачиваются, проходя сложные места в миссиях, хотя внутри все кричало "Ну куда ты блин прешься, вон же слева дверь, с подсказкой даже!" Самое вредоносное, что можно сделать при тестировании - давать игроку подсказки или прямо говорить, что нужно делать. Это бесполезно с точки зрения задачи фокус-тестирования. Нужно записывать, что вызывает у игроков проблемы, что именно они не понимают, что для них неудобно или неочевидно, задавать вопросы, что мешает разобраться и пройти, но помогать только в самом крайнем случае. Лучше прекратить тестирование, чем вести тестера за ручку и объяснять где и как надо действовать.

Задачи фокус-тестирования были более чем выполнены, по результатам я составил четыре страницы необходимых изменений и пожеланий. Интерфейсные решения были рассмотрены досконально, и несколько ценных замечаний тестеров видимо попадут в финальный вариант игры. Выявлены все особенности AI, неочевидные и непонятные игрокам, и вызывающие сложность прохождения.

Как я отмечал, тестеров набрал многовато, но зато удалось протестировать больше половины миссий игры и собрать первые отзывы по конкретным миссионным решениям и задачкам.

В итоге

Результатами фокус-теста я остался полностью доволен. Польза для проекта очевидна, надеюсь, что все наиболее приоритетные замечания до релиза будут учтены и внесены в игру. Всем геймдизайнерам советую проводить фокус-тестирования, один из методов итеративного дизайна и разработки игр.

[22.11.2006]

Copyright © 2017 ООО "ДТФ.РУ". Все права защищены.

Воспроизведение материалов или их частей в любом виде и форме без письменного согласия запрещено.

Замечания и предложения отправляйте через форму обратной связи.

Пользовательское соглашение