收藏
触屏版解谜手游测试一年:前Halfbrick CCO谈教训
发表时间：2015-03-12
在上周举行的GDC大会上，前Halfbrick工作室(《水果忍者》开发商)CCO讲述了该公司此前一款解谜游戏测试一年多以来所犯过的错误。希望告诉研发团队如何克服测试期间因数据问题带来的‘分析停顿’现象。
很少会有一款手游能够测试一年，但Halfbrick公司的《Bears Vs Art》就用了这么久。此前，该工作室曾经成功的推出了《水果忍者》、以及《疯狂喷气机》，现在，该公司的新游戏已经与去年3月份在加拿大、英国和其他市场进行了测试，但到现在该游戏还没有全球发布的计划。在GDC大会上，该工作室前CCO(首席创意官，在GDC大会开始之前从该公司离职)Luke Muscat介绍了该游戏的悲剧，称Halfbrick的这款解谜游戏成为了‘分析停顿’现象的牺牲品，在先进的数据面前被束缚了手脚。
一开始犯的错：以数据为导向
在演讲的一开始，Muscat就强调，数据是不能代替创意的。实际上，数据可以让创意更有效率。然而问题是，由于目前开发者们能够接触到的数据太多，大量的数据本身已经成为了问题。在《Bears vs Art》成为Halfbrick工作室新游戏项目的时候，Muscat称开发者们竟然把它和一些数据分析联系到了一起，这些数据包括玩家们开始游戏到每一个游戏内的活动等等。
Luke Muscat
在测试发布的时候，该团队专注于玩家留存率，Muscat表示，这是他们的第一个(也可能是最大的)错误，一开始该团队的目标是达到7%的七日留存率。然而，在测试版发布之后，游戏一周后的实际留存数据还不到他们预期目标的一半。Muscat说，“当时我们都说，‘天啊，幸亏我们有数据分析’，数据可以拯救我们。”
不幸的是，数据并没有成为救命稻草。在尝试了多次的调整和修改之后，游戏的留存率依然参差不齐，Muscat透露，后来调整后的测试结果往往是低于预期的。
Muscat说，在对比事物和暴露一些问题方面，数据是非常有用的，但这只能暴露你预料之中的问题，因为如果你一点都没有想到的话，是不会去为此对比数据的。
他说，“数据分析可以让你非常的专注，但也有可能让你变得盲目。”所以该团队决定回到原点，并且怀疑所有的猜想，开始做‘让人厌恶的表格’，他们在解决问题之前就开始了修改，他们需要对游戏进行大量的改动以提高游戏的留存率。随后，团队每个周都会做出2个非常庞大的表格，专注于比较有风险的改动，而不是比较安全的提高。每个周一，他们都会对将要做出的改变做计划，然后在周五下午的时候把更新应用到游戏当中，这种方法完全是机械式的调整，所有的提高只是针对即将要做出的更改。
Muscat说，新的方法在某种程度上是一种释放，他解释说，“即便是坏的结果，也可以让我们学习经验，如果我们做出了修改并且取得了效果，那当然是极好的，因为这确定了我们此前的假设。”
数据分析的短板：只能暴露问题，无法解决问题
该团队第一次做的修改时，给玩家们每天提供一次‘跳过一个关卡’的选项，这样可以让玩家们每天都可以进入游戏加快进度，这对留存率产生了比较大的影响，曾达到过30%的七日留存率。Muscat说，“由于这个更新推出，玩家们不用再精疲力竭的通过每一关，他们可以每天跳过一个最难的关卡然后继续游戏。这是我们此前所想到的，但实际上，它的影响远远超过我我们的预期。”
他们所做的另一个变化就是抛弃关卡进度系统，更新后的游戏不再要求玩家们必须完成一个关卡才能体验下一个关卡，调整之后的游戏，可以让玩家们一次性的解锁下一章(含多个关卡)，在每一章通过一定数量的关卡之后，他们可以解锁下一章。
Muscat说，当时所有的团队成员都很确定这样的做法会取得很大成效，但后来却被证明，这个做法可能是给游戏带来最大问题的原因。尽管这次的改变在一开始的几天里的确小幅提高了留存率，但在7天和更久之后，数据开始出现了剧烈的下滑。Muscat说，每天跳过一个关卡的做法的确让玩家们避免了很多的难关，但最后他们却发现，已经没有内容可以玩了，只剩下被跳过的一些非常困难的关卡。
他们还曾经想过把游戏做的更为深度，其中一个改变的想法是来源于《暗黑》等游戏。随着玩家解锁更多的关卡，《Bears Vs Art》中的关卡变得越来越难，但和RPG游戏不同的是，游戏的主角并没有变强，所以团队为该游戏增加了RPG要素，让玩家们可以升级小熊的能力，这样可以获得更多的步骤、时间以及其他因素。Muscat说，当时玩家们非常欢迎这个功能，留存率也快速提高了。
Halfbrick还曾经尝试去掉游戏的能量系统，移除对玩家们每天游戏次数的限制。这是一个非常典型的免费游戏，但也可能给玩家带来非常累的体验。当Halfbrick去掉了能量系统之后，前几天的留存率快速增长，但随后快速下滑。
后来，该团队还尝试为游戏加入动作要素，去掉不可跳过的动画并允许玩家们一站式的浏览插画，这都大幅提高了留存率。Muscat说，这就是非常典型的例子，数据分析从来不能告诉你解决方案，他们所得到的每一个数据都没有告诉他们玩家们的游戏进度很慢，游戏研发依然需要创意和开发者的思维，他说，“如果我们在Halfbrick的其他成功游戏中加入一点点动作因素会怎么样?”
在经过6个周的测试之后，七日留存率提高到了20%，总体来讲，他们发现了两件事：“数字是生硬的，人们是愚蠢的。”Muscat认为，人们还不知道如何使用这些数据，为了帮助队员们更好的理解和解决这些问题，Muscat让所有人都读了一本叫做《魔鬼经济学(Freakonomics)》的书。
有一种设想是，玩家们对某个功能的参与度不高就是他们不喜欢，但Muscat表示，实际上可能并非如此，有可能是你的相关按钮做的太隐秘，玩家们找不到;还有可能是玩家们不理解这个功能具有什么样的作用。
开发者们也非常希望保留很多功能，或者对此进行改动以获得积极的玩家反馈，Muscat认为，游戏测试的目的就是为了试错。更重要的是，把成败与否的标准按照数据来定的话，会让开发者们厌恶他们的工作。
Muscat说，“没有一个数据可以作为结论，我们只是在处理不同程度的不确定性，我们在做的是有创意的东西。最后要说的是，创意也是有风险的。”
