MaxDiff系列（一）成对比较趣事

Dear 丶 2022-01-22 15:09 361阅读 0赞

文章转载自微信公众号：消费者研究

我们将用一个系列介绍MaxDiff这种新的测量和建模技术，主要聚焦在它可以解决什么样的问题，以及如何解决问题。我们先从两个故事开始。

**瑟斯顿的故事**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70][]

路易斯.列昂.瑟斯顿博士(Louis Leon Thurstone)早在上世纪20年代就已经是心理测量学领域的先驱人物。他通过大量测试和评估，建立了一套关于测度的理论方法，他将其称为“比较性判断准则（Law of Comparative Judgement）”。这套准则通过让人们每次比较多个对象中的两个，而最终可以计算出每个对象的测量分数（定距尺度）。后来的学者根据这种方法的特点将其命名为“成对比较法”。瑟斯顿博士在心理学测量领域，以及因子分析方法上都做出了极大的贡献。

瑟斯顿在上世纪20年代任教于芝加哥大学。彼时芝加哥犯罪频发，黑道大哥艾尔.卡彭呼风唤雨。因此，当时不少芝加哥大学的研究学者开始关注犯罪现象，他们想知道应该如何减少犯罪，犯不同罪行的人应该如何量刑惩处。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70 1][]

瑟斯顿当时最关注的一个问题是如何量化不同罪行的严重程度。事实上，他非常喜欢这个问题，并且一辈子（直到去世）都致力于这项研究。也许瑟斯顿这一生最著名的研究就是试图去量化不同罪行的严重程度，去从定距尺度上了解哪些罪行会比其他一些罪行更为严重。他挑选了19种当时最普遍的犯罪行为，并且希望通过调查来获取人们对这些罪行严重程度的看法。以下是他挑选的19种罪行。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70 2][]

如果是您，您会如何测评这些罪行的严重程度呢？

对于大多数人来说，也许首先会想到采用打分评测的方法。那么相应的问题会长成这个样子

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70 3][]

瑟斯顿没有采用评分的方法，因为打分的方法得到的结果往往在不同罪行上缺乏足够的差异度（不同罪行的严重程度平均分相差不大），而且很容易受到受试者个体评分尺度使用偏差的影响（有些人倾向于打高分，有些人倾向于打低分；有些人只打6/7分，有些人会愿意使用1-7分中的任何分数）。

或者，你会想到用排序的方法。这样一来应该可以克服打分评价的一些不足了。那么相应的测试问题会是这个样子。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70 4][]

但瑟斯顿也没有选择这种方法。这是因为需要测评的罪行比较多，受试者很难准确地完成排序。事实上，有研究表明，当需要排序的对象超过7个时，受试者就很难做出准确的判断了，何况这里有19种罪行需要排序。另外一个原因是即便受试者可以做出准确的排序，我们也很难量化不同罪行的严重程度。因为我们得到的是有序型数据，而这种数据并不能直接进行加减乘除，如果某个人把杀人罪排在第1严重，而另外一个人把杀人罪排在第5严重，我们如何汇总这两个人在杀人罪上的评价以得一个数量意义上的测量值?

瑟斯顿最终采用的方法是成对比较法。19种罪行如果进行两两比较的话，总过有171（19\*(19-1)/2=171）次成对比较。下图是他的成对比较问题的部分展示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70 5][]

瑟斯顿为此制作了几套不同的卡片集，每套卡片集里有171张卡片，每张卡片上出示两种罪行。每套卡片集里均有171张卡片，但是每套卡片集里卡片出现的顺序是不同的。为此，瑟斯顿还专门用圆环把每个卡片集的卡片串在一起以免搞错次序。当受访者需要完成比较时，他们一边翻动卡片集，一边将自己的比较答案记在答题纸上。这的确挺费时间的，据瑟斯顿记录，平均每个人需要花费近20分钟以完成这171张卡片的成对比较。

尽管需要更长的时间完成更多这样的问题，但受试者并不会觉得乏味和困难。因为直接比较两个对象相比打分（缺乏直接比较）或排序（需要比较的内容过多）更加简单，而且受访者会觉得这是一个有趣的过程，他们的主动参与度更高，而疲劳度更低，因此会容忍更长的访问时间。而且瑟斯顿相信对这种数据的分析会更加有效和准确，能获得更有意义的具有显著差异性的结果。

瑟斯顿把这些成对比较的调查问题交给了266名芝加哥大学的学生去完成。根据这266名受访者的答案，瑟斯顿计算出了每种罪行的严重程度（0-100，定距尺度）。看看当时瑟斯顿计算得到的最终结果。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70 6][]

现在我们不仅可以知道罪行严重程度的排序，还能知道某个罪行比其他的罪行严重多少。现在来看看1927年人们对罪行的看法还是挺有趣的，我们也可以想想当前我们对这些罪行的判断是否和80多年前有多大差别呢？

如果需要了解更多关于瑟斯顿关于这项研究的细节，可以参阅http://www.brocku.ca/MeadProject/Thurstone/Thurstone\_1927a.html

**Facemash的故事**

最近20年来，互联网最大的事件无疑是社交网络的盛行。而让社交网络真正盛行起来的人无疑是facebook的创始人马克·扎克伯格。他的传奇故事于2010年被搬上了银幕--《社交网络》。电影《社交网络》的前15分钟记录了这样的场景。2003年，在哈佛大学读二年级的马克·扎克伯格刚从一次失败的约会中回到宿舍，不爽的他从冰箱里拿出啤酒解闷，同时想着需要做点什么。他编写了一个好玩的网站Facemash，可以将任意两个女生的头像照片随机组合在一起（为此他黑进了不少宿舍楼或学院的服务器，下载了大量女生的头像照片），让网页浏览者选择哪一个“更性感”。下图是《社交网络》电影介绍这段往事的一些截屏。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70 7][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70 8][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70 9][]

扎克伯格当时还把自己开发这个小程序的想法和做法都实时记录在了自己的博客上。可以看到，他认为用直接评分的方式来评价女孩子的“热辣”程度并不好，而通过成对比较方式得到的排序则更好，显得更“聪明”。关键的是，对于评测者而言，这种成对比较足够简单，好玩。这款小程序在极短的时间内风靡整个校园，facemash的点击率非常之高，甚至一度导致哈佛校园服务器的过载。

多说一句，在获得了成对比较数据后，扎克伯格使用一种叫做Elo rating system的算法实时计算女孩的“热辣度”以进行排序。这种算法是当今对弈水平评估的公认权威规则，已被广泛应于国际象棋、围棋、足球和篮球等体育运动以及游戏中。当然，能帮助扎克伯格解决女孩子热辣度排序问题的算法不止这一种。问题的关键在于，扎克伯格意识到了采用成对比较法是进行评测和获取数据的最佳方式。

**对我们的启示**

不论是瑟斯顿的关于罪行严重程度的社会看法的研究，还是扎克伯格的facemash网站，都体现出一个共同点，即需要比较的对象非常多。瑟斯顿需要比较19项罪行，而扎克伯格的facemash更是需要比较成百上千的女孩头像。瑟斯顿和扎克伯格不约而同地选择了成对比较这种方式，他们都注意到了评测者的因素，更多的是考虑到如何让参与评测的人能够顺利地，轻松地给出准确的评价。他们都意识打分评测方式在面对多对象评测时的缺点，因此宁愿用更长的时间成对比较方式以换来有趣得多的评测体验以及更准确的结果。

在日常生活中，也往往会遇到多个对象评价的情形，这时我们是否也需要用更有趣的方式帮我们做出准确的决策呢？在市场研究领域，客户也往往需要了解消费者对多个对象（例如多个产品，多种产品属性，多个版本的广告，抑或多种不同的生活态度倾向等）的偏好。传统的打分或排序方式往往对受访者来说是种挑（zhe）战（mo），他们很难做出准确的回答，这导致最终的研究结果经常体现不出对象间明显的差异（尽管可能体现出某种有意义的模糊趋势），客户往往对把这种结果运用于营销和管理满怀疑虑。是否我们也可以借鉴上面瑟斯顿和扎克伯格的思路去解决实际的问题呢？

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70]: /images/20220122/62925a8287b0456d83df774da7dbdb98.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70 1]: /images/20220122/d3e9a54608c742a7bc837175a7825da3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70 2]: /images/20220122/241849bc7bbe4a2ea3a60e59c63e4d38.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70 3]: /images/20220122/eca546fd218547dcbddc96d6aaa197d0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70 4]: /images/20220122/76315d23daaf4a3e81d3322ef50c41be.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70 5]: /images/20220122/2cf776d244564176bdfe486bc61ca98b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70 6]: /images/20220122/4d2dcf10836b453e869306aa97ecb108.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70 7]: /images/20220122/a28ad9deb04c4d2bb76ef10cc317ba4f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70 8]: /images/20220122/9ad5e94d4a7c44838d8945d0a6b23228.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA1Njc0NQ_size_16_color_FFFFFF_t_70 9]: /images/20220122/71190889ef1a49aeb45858554f0e723d.png