耗资巨大的小故障[视频]


在10月份,也就是万圣节的前一晚,我们联合主办了一场特别的Test in Production会议,我们的合作伙伴是Honeycomb.io。我们要求演讲者带来他们关于运营中断和其他可怕事件的最好的恐怖故事。

BrandVerge的产品总监马克·德文斯分享了两个故事。首先,他谈到了Appeagle-一家为亚马逊、eBay、亚马逊和沃尔玛上的第三方卖家提供价格管理软件的公司-陷入重大定价错误时发生的事情。(通常价值数千美元的商品不知何故被标明为1美分。)Marc还分享了一个小故事,讲述了他目前在BrandVerge的团队在经历了数月的发货修复后,如何在与离岸合同团队一起推出5+个主要功能时,如何避免了潜在的灾难。

BrandVerge产品总监马克·德文斯(Marc Devens)表示:“当你真的想要模拟你拥有的这类事件的整个生命周期时,向他们发送一个提要,等待他们的回应。你只能用真实的客户数据才能做到这一点。”--马克·德文斯(Marc Devens),BrandVerge的产品总监

观看下面的视频,了解Marc如何确保此类灾难不会再次发生。了解更多关于他如何以及为什么在生产中进行测试的信息。如果你有兴趣参加我们未来的聚会,你可以sign up here


文字记录

马克·德文斯:我是马克·德文斯,BrandVerge的产品总监。与保罗的故事类似,我说的是我以前在一家公司的经历,比这多一点。这不仅是因为我不再代表这家公司,我也不再是这家公司的员工,事实上,当时我并不在这家公司。这是一个相当大的警告。公司的首席技术官已经澄清了这一点,以确保得到他的祝福,将这个故事作为对其他所有人的教训,这些真正可怕的故事之一正在发生。这真的是公司的一种基础,我们在那里做事情的方式,因为这是一件发生在公司内部如此早期的可怕的事情。这发生在2012年7月。我加入了那家公司的客户成功团队。这家公司被称为Informed.co。当时,它被称为阿帕格尔。我是在2014年加入这个团队的,所以不到两年后,我最终进入了产品领域。我们做了,我和他们一起做了,为亚马逊、eBay和沃尔玛上的第三方卖家提供了价格管理软件。

亚马逊确实是这项业务的绝大多数,所以这是我们在这次体验中真正要关注的,影响了亚马逊。自2012年首次发生这种情况以来,情况发生了很大变化,但我们这里有一些统计数据。你是亚马逊卖家,惊喜吧。我认为在某种程度上了解这些人是谁,谁是卖家,这一点真的很重要,因为了解你的用户,以及你为谁制作产品总是非常重要的。我们可以了解一些背景资料,了解一下这种景观是什么样子的。这些是来自的统计数据,这些是最近的统计数据。这在2012年是不同的。当时有,所以现在亚马逊上大约有100多万卖家,第三方卖家。当你去那里买东西的时候,很多时候你甚至没有意识到你不是从亚马逊买的,你是从这些第三方卖家那里买的。仅这些第三方卖家每年就有超过300亿美元的收入。还有两种实现方式可供选择。

还有亚马逊FBA,这是你作为卖家将你的库存发送到亚马逊,他们会在客户购买时将其发送给客户。或者你可以让卖家满意,你可以自己完成。我们将在稍后讨论这一点,因为这实际上对这一点起到了非常重要的作用。发生了什么?我们知道亚马逊是一家无所不在的商店,所以我们可以讨论你可以在那里买到什么,卖什么。很明显,有书,这是亚马逊的基础,也是他们开始的地方。第三方卖家也可以在那里卖书。你还能买什么?你可以买工具,你可以买洗漱用品,杂货,任何你想买的东西。票价往高一点走,在那里你可以买电视,你可以买相机。你可以在亚马逊上买到任何东西,也可以在亚马逊上卖出任何东西。价格管理软件是如何工作的?基本上,如果我们回到2012年,当时是相当基本的。

你可以为你的定价设定最低和最高门槛,你可以有一些基本的规则,比如,“如果上市的竞争对手提高了价格,或者他们降低了价格,我希望我的价格也能跟着他们走。”现在有了更先进的算法来做很多事情,你不需要想出你自己的策略,软件可以为你做到这一点。当时,事情就是这样运作的,“我的客户,我的竞争对手会把他们的价格从100美元降到99.99美元,我想赶上他们,成为他们的好胜,这样我就不会失去销售机会。”如果你不想让你的存货有一个软价格,那也没问题。你就是不能设定最低价格。那些没有最低价格的商品将被排除在重新定价之外。除非,除非,当您修改那一行代码时,以一分钱的方式使这些项目都是无价的。这是一种相当可怕的事件,是什么导致了这种情况的发生。

在这个系统中,我们有所有这些他们没有设定的最低价格,可以说是空的,或者是零的,在代码中有一些改变,允许它作为零发送到亚马逊。不幸的是,亚马逊没有拒绝这一点,而是做了一些我猜他们一定认为非常方便的事情,他们从零到一便士四舍五入。我不知道他们为什么要这么做,看起来拒绝它然后把它扔掉要容易得多,但是一便士,这就是它的作用。我们在这里拥有的所有东西,电视,相机,可以卖到几千美元的东西,一下子就卖到了那一分钱。正如你可以想象的那样,客户们利用了这一点。你可以开始买这些东西,我觉得如果你在那里买东西,你会看到一台3000美元的相机,有些相机,花一分钱,可能知道有什么不对劲,这不是什么疯狂的大甩卖,但人们抓住了它。我真的不能责怪任何人的努力。

你知道我刚才谈到了不同种类的实现,你可以做卖家完成的,也可以做亚马逊完成的FBA。这才是事情真正开始变得复杂的地方,因为有了亚马逊的履行,这些订单就已经开始飞离大门,有时甚至在卖家知道发生了什么之前。他们在一两个小时内就收到了这份订单。这些订单已经发货给客户了。对于这个行业的公司来说,这种情况基本上是最糟糕的情况。没有提到这在这家公司的历史上还很早。这是第四位员工的第一天。并不是一家真正有能力处理这种事情的公司。你是怎么开始清理这样的东西的?当时只有四个人围着马车转,试图弄清楚如何做到这一点。谢天谢地,他们能够识别出发生了什么,并予以纠正,很快就改变了这一点,但随后你必须立即采取行动,真正开始与人们合作,让这些修复措施生效。

第一步是通知亚马逊。需要让他们意识到,这数百或数千份订单是错误的。此外,我希望与他们合作,确保卖家有最好的机会清理这些东西,可能不会履行这些东西,或者如果他们不得不取消订单,卖家的指标和他们比较的东西不会受到损害,不会伤害卖家。该公司承认对这起事件负有全部责任,这不是,试图向亚马逊明确表示,这不是卖家的过错。这是公司的错,因为他们把错误放在了适当的位置。然后它与卖家合作,试图得到他们,所有那些以一分钱买下这100张或1000美元门票的人,试图说,“嘿,我希望你意识到这是一个错误。你,我们实际上不是把这个作为一分钱提供给你。你能不能继续取消那份订单。”当然,有些顽固的顾客会说,“我付了一分钱,我要买到我买的产品。”

然后,这在某种程度上取决于卖家的自由裁量权,也许他们只是继续履行这一点,如果这是一个低价商品,就不值得为此付出代价,他们的指标也不值得取消订单。或者他们自己取消了就接受了打击。现在在公司方面,你如何处理这几十,数百名客户,他们发生了一些非常痛苦的事情?因为这不只是我们的企业受到这样的影响,这些都是个别的企业受到这样的影响。作为一家小公司,发放了大量的服务积分,这是你可以与某人和睦相处的最好方式之一。有一些补偿是为了弥补那些在亏损的情况下继续履行订单的人的任何损失。作为对任何经营企业的人的提醒,永远不要忘记支付你的商业保险,因为当你不得不像这样支付某种形式的费用时,它会派上用场。

生存和繁荣,这真的是公司的早期阶段,这是2012年,公司仍然存在。它的员工人数是当时的10倍。可能是相似的,甚至更大的指数级客户。怎样才能度过这样的事件而不让它毁了公司呢?首当其冲的事情之一显然是确保这种情况永远不会再次发生。你需要检查和安全检查。我们后来在那里实施的一些措施是专门检查某些类型的变化,如果有任何事情发生在零或一分钱的情况下,真正拒绝这些变化,就会发出各种各样的警报,以确保这些变化不会冲击到我们合作的任何市场。尽管我们经历了这个问题,而且在这个领域内很明显,但很多人都知道这种情况发生了,但这并没有阻止其他公司重蹈他们的覆辙。

我当时在做客户成功方面的工作,上任大约六个月后,接到一位客户的电话说,“我所有的这些产品都卖到了一便士。”我坐在那里的电话里,(听不见)是,“哦,天哪。又发生了这种事。我们做了什么?”最终意识到,该客户过去曾使用过另一款与之竞争的软件,实际上我们不再使用它们,但他们从未撤销对其亚马逊账户的授权。这家公司仍然可以访问他们的亚马逊账户,即使他们甚至不再使用该账户。同样的事情,就像发生的那样,这些没有积极管理的东西,他们没有最低价格,他们被送到了零。这家公司,所有不是由公司管理的库存,都被送到了零。注意其他公司犯的错误,这样你自己就不会重蹈覆辙。照顾你的客户也是公司度过难关的最重要的方式之一。这在公司内部非常普遍。

很多人都知道这发生在公司身上,如果你在谷歌上搜索你有兴趣购买他们的服务的公司的名称,你会发现有关于这方面的文章。当我第一次担任面向客户的角色时,我会与有兴趣试用该产品的客户交谈,他们会说,“你做了什么来确保这种情况不会再发生?”我可以做上面的事情,所有的测试和安全检查,但归根结底,客户并不真正关心这些。他们会说,“嗯,以前也发生过这种事,你怎么保证它不会再次发生呢?”我想对他们说的是,“我们有一些客户受到了影响,确实首当其冲,他们仍然是我们的客户。”我知道,即使在事发六年多后的今天,仍有客户仍在该公司工作。这就是这家公司成功度过那次事件的方式。谈到这次Meetup测试和生产的主题,Amazon的一个特殊之处就是他们的API没有沙箱。

当您真的想要模拟您拥有的事件的整个生命周期时,向他们发送一个提要,等待响应。只有使用真实的客户数据才能做到这一点。你可以尝试建立一些自己的测试市场,但它的规模不会像真正的活产品那样大。有一些元素可以控制您的卷展栏,并确保您有办法将其关闭。每样东西都有一扇门。你有了一扇门,你就有了一扇门。这是我们在这之后真正学到的一件事,那就是你真的需要确保你可以快速回滚和调整。无论你有什么问题,你都不必花时间去尝试解决。轻轻一按开关,你就会回到原来的位置。这绝对是公司的主要教训之一,我们未来的做事方式,以及我的外卖,我现在的做事方式,尽管我在一家新公司。只是,那是一个有点恐怖的故事。

我只想多说一点我目前的经验,在这里,门禁再次拯救了世界。在“知情”和“外观”工作了四年之后,我于今年夏天早些时候离职。我加入了一家叫BrandVerge的公司。我们是一个发现和规划优质营销计划的平台。当我第一次来的时候,我们在印度的一个合同开发团队工作。该产品的首次发布是在今年4月。我是六月份来的。该产品的这款大型V2已计划在2018年9月部署。那种规格和要求,而且,在4月到9月期间,除了错误修复之外,没有任何部署。在此期间正在开发的所有功能都将于9月份推出。这是五、六个漂亮的横幅功能,它们都将发布,不仅将在同一时间发布,而且团队的总部设在印度,所以它将在纽约时间凌晨3点发布。

这些都是按照规范和要求构建的,这些规范和要求是在6到12个月前,在任何客户使用该平台之前,在我们真正很好地了解客户将使用该平台的方式之前制定的。我在那里做的第一件事是,不幸的是,因为团队是一个合同团队,他们的规格已经用完了,他们想要完全按照他们说的那样建造一切。你不能责怪他们,这就是我们之间的关系,但是我们能够做一些修改,改变一些东西,至少可以让盖茨绕过这些东西。因为这些功能中的一些还没有准备好进入黄金时间,所以对我们来说,能够保留这些功能来完成在真正将它们呈现在客户面前之前需要完成的额外工作,这对我们来说真的是很大的好处。我不知道。我认为反过来,我可以说,在第三方市场中,eBay出人意料地像是开发者的梦想。

他们的整个,开发文档,他们为开发人员提供的环境,这些沙箱的东西,都是完全充实的。只是没人想用eBay,所以你不能利用这些东西。我想发生的事情是,我们过去总是开玩笑说,在亚马逊内部,他们的这个部门叫做Marketplace Web Services,MWS,他们就像在西雅图某个潮湿的地下室里,有点像是与其他所有人隔绝了。因为就像他们刚刚,我认为其中一件事是,他们知道卖家会卖,这些市场会围绕卖家来支持他们,他们并不是真的很关心API。我认为不幸的是,当这样的事情发生时,你不得不承担后果,因为你没有那些沙盒,但他们似乎没有真正在组织内给予如此多的关注。谢天谢地,我可以说,在过去的一两年里,我可以说,我们注意到这种情况开始改变。

我们接到了MWS的产品经理的电话,联系到我们,作为他们API的最大用户之一,我们说,“我们希望从中得到什么?”我没有看到针对这些事情做了太多的事情,但至少他们正在伸出援手,所以希望这是朝着正确方向迈出的一步。这一点我不太确定。我想我们都太紧张了,不能试着把任何东西送过去看看会发生什么,所以我希望是这样的。至少,就在几年前,当我们看到某人有同样的事情发生在他们身上时,我提到这种情况发生在一个竞争对手身上,实际上至少有两个其他竞争对手也发生了这种情况,据我所知,在同一领域,可能还有更多的竞争对手。在这之后的至少几年里,它肯定是一个问题。我不知道后来有没有改正过。我不能说,特别是代码中的实际错误,但基本上在软件中,你会为你的商品定义一个最低价格。

你会说,“我永远不希望这件特定的存货售价低于50美元。”你可以选择不给某物指定最低价格,那么这些东西就可以免除工作流程中的价格。它不会为你没有设定门槛的任何东西发送价格。除了当有东西进来,它没有通过安全检查,以及所有基本上没有最低价格的东西,我忘了它是不是,我不清楚具体情况,在我们的系统上,它是零还是零,但最终发生的是,因为它没有设定值,它被发送到亚马逊作为零,然后被亚马逊解释为一便士。我想说,我真的,就我们可以做的不同而言,我希望有更好的方法,我们最终遇到的更多问题之一就是规模和负载测试。

因为我们每天发送的价格变化在数千万左右,而且围绕每一次价格变化都有大量的元数据存在。当我们围绕这一点做任何形式的工作时,同样是缓慢的推出,能够看到当你推出东西的时候,它是支撑着-

演讲者2:你事先能做负载测试吗?

马克·德文斯:当我离开公司的时候,他们真的在努力专注于能够做那些模拟的负载测试,这就是我要做的事情。这是没有沙箱环境的事情,实际上很难做到。

演讲者2:真的很难,没有真实查询流量和一切的快照。

马克·德文斯:是的。不幸的是,它仍然是一家小公司。你需要投入这样的资源,才能真正完成模拟测试的整个生命周期,那就是,这些都是多个团队负责这样的事情的。太棒了。谢谢大家。