Amazon Mechanical Turk 前景如何？
【周博磊的回答(162票)】:
因为我是AMT的重度用户，我来贡献一下自己关于AMT的见解。
我从2013年到2014年使用AMT标定了整个Places Database （）。这是一个关于场景分析和分类的图片数据库，包括了10 million的标定图片，每张标定图片都经过了至少3个AMT worker的标定。具体的标定过程大家可以参加刚release出来的论文（笑，的确是软广告）：
我觉得AMT是一个双赢的market maker，跟证劵交易所和大众商品交易所类似，让资本家和劳动者的需求都得到了满足。这里资本家是requester，在AMT上发布数据标定任务，劳动者是worker，标定数据挣钱。在我研究领域（计算机视觉和）离，很多数据库和benchmark都是通过AMT标定出来的，比如ImageNet，ActivityNet，Places。这些大规模数据库推动了整个领域的进展。对于我们研究者来说，AMT是不可缺少的一个数据标定的工具，上面不仅可以进行数据标定，还可以获取诸如眼动数据（），动作场景表演（）等有意思的试验。对于Amazon自己来说，AMT也是个金钵钵，一年多以前Amazon把AMT的收费从10%加到20% （也就是说，requester发布10美元的任务，得多交2美元给Amazon），盈利翻倍。
我这里其实更想给大家分享一下我对使用AMT标定数据的一些建议：
尽量美化和优化标定的GUI，或者让任务变得更有趣。一个好的GUI不仅可以使得AMT上的worker能更愉悦和迅速地标定数据，而且可以使得标定出的数据质量得到提升。其实也不用太fancy的前端设计，一个plain html加上一些简单的css就足够。把标定任务变成一个交互游戏也是个路子，可以参见UNC的Tamara老师的这两个设计 和 给出详尽和简化的instruction。这里‘详尽’和‘简化’并不矛盾。详尽的意思是在让worker进行数据标定前，给出具体的需求，到底需要得到怎样的标定效果，最好能给出一些正例子和负例子。简化的意思是让instruction尽量简洁，如果一个worker在做一个20美分的HIT之前还得花4-5分钟读懂instruction，那基本他会选择其他的requester的HIT。分解标定任务成尽量小的子任务，发布给不同的worker完成。一个HIT里面任务越复杂，完成的效果就越差。比如说要需要标定一个图片场景里面的所有人，可以先设计一个子任务让某个worker把图里面每个人数出来（每人头上点个点），然后让另外一批worker对每个头上有点的人进行boundary标定。如果有可能，在待标定数据中加入一些知道groundtruth的数据，这样你可以写一个简单的verification javascript效验worker在这些知道groundtruth数据点上的标定结果，如果太差可以禁止提交结果并自动提醒worker回去改进标定结果再尝试提交。进行pilot test测试到底如何收费是最合适的。AMT其实是个market，有买卖双方，那么作为requester是有权进行价格歧视。怎么以最少的花费收获最多的标定数据天经地义。AMT上全球的worker都有，一般烙印worker是最便宜的，但标定质量会差一些（这就使得前一点特别重要，要防止worker恶意提交垃圾结果），欧美国家的worker会贵很多，但质量会更好。AMT里面是可以限定某个人物的可能worker的地理区域的。对于一些简单的任务，比如说图片的标定，可以放开限制，压低报酬。对于另外一些特定任务，比如说收集英语语言描述，只能限制worker来自欧美国家，那么就地提高报酬。报酬高任务自然完成快。这点比较tricky，大家可以多试试不同的报酬参数。
最后，AMT上其实是‘人的江湖’，在上面工作的worker其实很多有自己的难处，毕竟天天对着电脑完成这些标定任务是非常单调和乏味的。把任务做得有趣和精美一点很有必要，另外如果大家的经费充裕，不妨多pay一点。我曾经就收到过一些worker的邮件让我触动：其中有一封是来自美国某州的单身母亲，说她非常感谢这些图片标定任务，她自己一人在家带孩子，只能靠AMT挣钱养家。另外一个看图说话的HIT，也收到一个哥们的感谢邮件，说通过做这些看图写话task，让他突破了自己的语言障碍重新建立起了生活信心。
【陈然的回答(157票)】:
Amazon Mechanical Turk (MTurk) 是一个并不被大众所了解，严重被低估的平台。它提供了一种标准化的向人类发布任务并收集数据的方式，而且完全由价格驱动，你可以把它想象成一个 Human As a Service。MTurk 继承了 Amazon 一贯不重视 UI 但是重视 API 的策略，对于入门用户来说非常不友好。但是一旦深入使用，一定会越用越依赖。
我们组在 Trulia 的日常工作非常依赖 MTurk。我们使用 MTurk 标注数据，验证数据，甚至生产数据。我认为 MTruk 未来的前景无限好，原因有以下三点：
- 真实世界算法的开发是动态的，需要人类不断参与的
- MTurk 可以完成的任务远远超过想象，是虚拟世界与真实世界互动的接口
- 短期来看，人类比机器人强的地方在于我们有更高效的大脑
甚至我可以说，如果我正在训练一个试图在真实世界中生存的 AI，我的第一件事情就是教会它如何生活在 MTurk 中。它可以通过完成图像识别等简单任务获得收入，并同时将不确定的任务发布在 MTurk 上交由人类来解决，并自己学习，这是一种无风险的套利以及进化的过程。
1. 工业界算法的开发是持续地，需要人类不断参与地
学术界做算法更多的关注是否优雅与科学，因此常做端到端的模型，同时使用相对固定的数据集。但在真实世界中我们更看重结果，需要不断地反馈，也因此更关注打造系统的闭环。同时，我们也认识到模型的能力有限，越来越多的系统不仅仅依赖模型，更是试图让人类也参与到整个系统中。因此，MTurk 的作用也越来越大。
2. MTurk 可以完成的任务远远超过想象，是虚拟世界与真实世界互动的接口
的答案中提到了用 MTurk 做标注。我们组也用做大量的标注数据，包括图片的标注，文本的标注等等。MTurk 也被使用做衡量数据，比如NLG系统里面。同时，我们也大量使用 MTurk 生产数据。比如做 Chatbot 的时候，NLG 系统的时候，做文本缩写的时候，你可以使用 MTurk 而生成文本。的答案中提到了可以让 MTurk 完成某些行为，也是很好的用法。为了方便我们 内部使用，我们搭建了一个更好用的平台：
从更高的角度来看， MTurk 提供的 API 系统本质上就是虚拟世界与真实世界的接口，而且是真实有效的接口。只要有钱，就可以大规模的使用人类的大脑和做简单的行为。换句话说，是一种拿钱换取信息或者行为的方式。人类知道通过付费来获得更高质量的答案，对于 AI 来讲也是如此。互联网上海量的信息可以帮助 AI 理解世界，但对于不确定的事情，在 MTurk 上花钱与人类沟通也能帮助他找到答案，变得更加智能。
3. 短期来看，人类比机器人强的地方在于我们有更高效的大脑
如果你也认为，人类获得收入是因为可以完成一些不能被机器替代的事情，现在 AI 还没有聪明到训练 AI。MTurk 提供个一个平台使得 AI 可以向人类寻求帮助并给予金钱，在没有别的生产要素的情况下，以此来帮助人类脱离贫困，可能是一个好方法。
总结一下，MTurk 是一个前景无限的平台，它通过 API 和金钱连接了虚拟世界和真实世界。越早使用，就收益越多。
【亦云的回答(11票)】:
正在同一领域创业，觉得Mturk代表着人力资源的未来，按需取用的未来。
类比下服务器资源的发展历程：
1）2011年创业，先要自己买服务器，然后托管在机房，再负责以后的维护升级种种。
2）2016年创业，只需在阿里云买个云服务器。
人力资源将来是不是也可以像服务器资源一样，可以按需取用？这是我们的目标！重点是取用的方式，服务器可以通过远程调用，如果人也能通过远程调用呢？这就是Mturk的方式，也是我们荟萃的方式：以API接口形式提供云人力服务
在程序员的眼中，世界上的事情只分两种：一种是程序能够处理的，一种是程序不能处理的，后者恰好是人类的强项，如果程序和人力能够通过API形式互相调用，那几乎能解决一切问题。
具体到人工智能的发展就是，在算法准确率跟产品化要求尚有不小差距的情况下，人工智能从科研进入实用的关键就是引入大规模人工的辅助，即Human-in-the-Loop，让人工处理算法拿不准的问题，配合算法一起解决问题，并利用人工反馈不断改进算法，示意图如下：
Human-in-the-Loop，就是让人成为程序中的一环，下面有个具体的例子：
HCrowd.prompt是让荟萃上的五个人来指出纽约最好玩的地方，HCrowd.vote函数就是让真人对五个结果排序，这样人和程序就融合在了一起！
Mturk只是个起点，如果程序能通过API调用真人，大家可以想下程序的世界将会发生哪些变化？
【LIHL的回答(7票)】:
不了解商用的情况，在我目前学习的研究领域，人机交互（Human Computer Interaction），AMT经常被用于做Crowdsourcing（多谢指出，国内翻译为“” ）类型的实验，是一种获取数据的方式，比如我们最近正在准备一个，需要在网上招募参与者完成一系列在线操作，就打算用这个平台。我的导师之前用这个平台招募志愿者帮助盲人实时回答一些需要视力解决的小任务，比如盲人拍一张手中的物品（例如一瓶牛奶），录下自己的问题（例如“这个是无脂的牛奶吗”），上传，就会得到AMT上返回来的答案。总之在人机交互的一些研究中，AMT得到的结果通常比较可信赖。也有人指出，AMT上的任务支付给“工人”的钱太少了（通常都是不高于10美分）。
【leo的回答(2票)】:
其实国内有另外一个比较成熟的平台-
其实就是众包的样本标注吧，真实应用中，会有很多问题;
1. 标注的标准统一： 不同标注者的背景知识不一样，判断也就不一样，对同一问题，不同人有不同的答案
2. 防作弊： 有可能答题者为了速度和收益会随便答题
3. 答案的校验和同一等
总的来说，不是所有的问题都适合用这套系统，特别是要求专业背景的
【晗子的回答(2票)】:
感觉很有发展前景！看了前面的答案还说可以做人工智能，，交互设计，连眼动数据都能采集，以前不知道，现在看还真是厉害了！
我做社会心理学实验用到 过AMT, 用的感觉超级棒。问卷收费算下来远比国内的问卷星的样本服务费用低（当时做了个跨文化研究，所以两个都用了，题量相当），回收数据非常快，很多用户作答也很认真（当然，在问卷设计时候就加入一些题目筛查不认真的被试），还给我们提了很多意见和建议。
但是，据说只有有美国社保账号的人才能作为发布者使用这个平台。在国内直接申请是不行的。这个就有点局限，我使用就是跟别人借的账号，不能自己用。
很早以前知道这个平台的时候，还跟淘宝写邮件建议他们开发这样类似的平台，在国内复制类似的商业模式。我个人认为前景不错，可惜没人搭理我。
【方杰瓦的回答(1票)】:
最近做的项目中有用到这个AMT做初始数据的采集，站在多一点的角度来看待AMT。
谈论一个平台的前景首先离不开需求，现实的需求是什么呢，就是以现在计算机的发展水平而言，在许多项目中，第一步的工作如果换做human来完成，会比程序更加灵活、也能得到更丰富的信息，是通过已有的经验去完成的任务。这一点我相信随着AI的发展，只会有越来越多的人意识到这种做法在某些情境下的合理性。而AMT正是这样的一个平台，很多的回答也分享了自己使用AMT所得到的数据，毫无疑问的是这部分数据是非常有价值的。那么既然有需求，凭借着amazon的支撑（我认为是很重要的一点），这个平台就存在着能发展起来的合理性。
它的使用在借助一些轮子的情况下也是非常便捷，例如我们组使用的，已经封装好了大部分api，用起来也非常简单。而且最重要的是，既然能以网页形式来展现，那么几乎你想做什么都可以做啊 (′д｀ )…彡…彡 比如我们这一次的项目，自己写了一部分RESTful服务，直接在网页中跨域去调用，可定制性非常高。有的答案中提到的quality control和控制人均完成数等的问题，完全是可以这些来自己完成，比如我们就是加入了groundtruth进行一些简单的验证，代价也处于可接受的范围。这一套流程下来，对于做过小工程的人来说还是蛮顺畅的。
在使用过程中，workder的质量也比较满意，只要不是太复杂的问题，quality基本上都能得到保证。而且会有一些worker去pm你，提出自己的一些想法来改进任务。和他们的交谈也让我对这个平台的好感有了一些提高。而且目前这个价格的确在可接受的范围内。
所以从这些角度来看，目前AMT对一些特定的需求还是有着不可替代性，看好其前景。有相关需求的可以去了解，也可以交流相关经验。窃以为在目前的某浪潮下，使用AMT的组应该会越来越多（
&&&&&本文固定链接:
【上一篇】
【下一篇】
您可能还会对这些文章感兴趣！
最新日志热评日志随机日志君，已阅读到文档的结尾了呢~~
Amazon Mechanical Turk应用现状及问题分析
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
Amazon Mechanical Turk应用现状及问题分析
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口