“全国各省市三百多行业数据信息采集”、
某二手交易平台上, 有不少商家提供所谓“大数据”采集信息定制业务, 声称能进行“专业爬虫”, 能做各大网站数据采集、数据处理以及数据分析, 这些商家号称自己是专业老手, 提供定制化服务等。另外, 不少商家在QQ群里售卖招聘网站简历采集器, 宣称可“无限量”导数据, 还会帮忙介绍“客户”。
南都记者开展调查, 从而发现, 在那所谓大数据采集定制业务呈现出“火爆”态势的背后, 实则暗藏着一条非法爬取用户数据信息的黑色产业链, 其中, “专业老手”着手编写爬虫软件, 同时提供软件定制服务, 黑产团伙购入该软件后批量生成“大数据”信息, 而后转手进行出售。业内专家指出, 爬取数据信息是存在法律风险这一情况的, 而未经平台授权的非法爬取行为, 有可能构成侵权行为, 甚至构成违法乃至犯罪行为。
网贷、培训信息、淘宝记录 ……各行业数据定制可查
以“大数据信息采集”、“数据爬取”、“数据爬虫”等作为关键词, 在某二手交易平台上展开搜索, 会发现存在许多提供所谓“大数据”采集信息服务的卖家, 这些卖家通常打着“数据爬虫”、“数据采集”、“数据分析”的招牌, 宣称能够进行“专业爬虫”, 爬取各大网站的数据信息, 还称“只有你想要的, 没有我们做不到的”。
在二手平台上, 有一名卖家声称, 能够进行的数据信息范围涵盖美容美发行业, 餐饮美食行业, 娱乐休闲行业, 教育培训行业, 亲子护理行业, 各类学校领域, 医疗保健行业, 物流快递类别，建材装修范畴, 汽车数码方面等多个行业的数据信息采集, 其表示该采集是针对全国各省市三百多行业的 , 且要价为“49 元/市/行业” , 还要求“拍下后留下邮箱 , 采集数据于当晚 11 点前发送”。
那么, 这些被爬取的“大数据”信息究竟涵盖哪些内容呢? 该二手平台上有一位卖家, 他向南都记者讲述, 爬取的信息包含各类网页数据, 包含公众号网站的信息, 包含赶集 58、链家、饿了么等网站平台的用户个人信息, 并且这位卖家还声称, 能够爬取淘宝买家、商家的信息, 以及个人网贷最新一手时间上最及时的申请数据等。
据南都记者所知, 按照收集数据的难易程度状况, 出售价格并非全都一样。上述商家讲数据收集的情况为, “基础版本是一百, 普通版本为二百, 高阶版本是三百, 要是需要制作客户端软件, 费用需另外添加”。交易平台的数据表明, 这个商品近期已经被查阅超过三千次, 有好些网友在这个商品下面留言, 问询有没有唯品会、拼多多的买家、58同城的应聘者联系方式、小区业主等方面的信息数据, 卖家则回应能够提供, 还特意提及“简历有四百二十万份, 主要是中高端用户”, 并且说具体的 business“私聊”。
南都的记者察觉到, 那些号称能提供“大数据”信息采集服务的卖家, 一部分是个人, 另一部分是团队化运作的工作室，有卖家声称这类数据采集在其所在的行业里业务需求量颇为巨大, 是“微商在线上微信社群进行营销必须具备的数据资料”, 能够用来进行精准推广, 还可以拓展客户以及用于商品营销。
招聘网站上万份简历 被打包出售， 每份仅1.5元
不久前, 智联招聘“内鬼”私自售卖十六万份简历信息这一案件引发了关注, 南都记者于近日展开调查, 发现被泄露的个人简历经历了多次转手才得以出售, 在“黑市”里大量简历被打包售卖, 每份仅仅售价一点五元。以“简历售卖”以及“简历下载”作为关键词在QQ群中进行搜索, 便能够找到多个出售58同城、智联招聘等知名招聘网站简历信息的QQ群, 其中最大的群人数多达上千人。而在贴吧和二手交易平台上, 存在不少公开出售智联招聘、58同城、BOSS直聘等招聘网站上个人简历的帖子。
在叫做“全国交流群”为“58简历全国交流群”里, 南都记者瞧见, 群里持续有人发售卖知名招聘网站简历即时一手、二手讯息的帖子, 有的卖家还于群里交流互换资源。群内消息表明, 该群群成员总共超2000人, 在高峰期时, 在线人数超700人, 并且, “全国58简历日产5000+, 能进行年龄筛选、重复筛选, 存在纯二手简历, 可实施视频验证, 二手0.3元/条”。
南都记者随机加了一名卖家用QQ做好友, 这人讲他具备全国各行业各地方的简历信息, 宣称“全部简历信息都是当日实时更新的”, 甚至能够指定求职者的年龄、性别以及地区, 每条售价2.2元, 而二手的更为低价, 每条仅售0.3元。某二手交易平台上有个卖家讲他手里有上万份简历, 表明“58同城、智联招聘、赶集网的都包含在内”, 每份简历售价1.5元, 号称“全国随机挑选, 不指定具体地区”, 要是购买数量多价格还能够给出优惠。
南都记者知悉, 那些公开售卖且明码标价的个人信息, 因地域、行业类别存在差异, 简历的价格标准各不相同。二手平台上, 一名售卖智联招聘简历的卖家告知南都记者, “北上广的相对较贵”, “北京地区每份简历售价为六七块”。并且, 除出售简历信息外, 企业账号也能够当作商品进行出售或转卖, 有卖家对记者讲, 购买企业账号能够直接下载招聘网站求职者投递的简历信息, “地区行业由你决定”。
记者向购买简历之人询问其拿那些个人信息是要去做些什么, 卖家于是提高了警惕, 回复声称“不管你拿去干什么”, 亦不耐烦地表示“不用跟我说这个”, 随后就把记者拉进了黑名单。
裁判文书网、 知网数据也被爬 最低0.1元/条
南都的记者察觉到 , 除了去爬取各个行业网站等那些用户消费以及浏览的数据之外 , 中国裁判文书网里的判决文书居然也被当作商品呈现在二手交易平台上 , 有卖家讲能够借助数据爬虫技术 , 导出几百万甚至是上千万条裁判文书网的判决文书。
“裁判文书的爬取, 能够长期性地去提供更新的全量数据, 要是有需要的话, 那就私聊”, “在裁判文书网上存在着六千五百万的数据, 倘若数据量低于一百万条, 会按照每条零点一元来计算价格, 要是低于一万条的数据, 每条则是零点二元, 而低于十条的数据, 查询成本过高了因而不提供, 要是有需求, 是可以详细聊聊的”……于某二手交易平台当中, 有不少卖家声称自己有海量的裁判文书网判决书可供出售。
有卖家向南都记者讲, 像这样此类判决书依据客户所需条件能检索爬取, 只要给出案件类型, 审判程序以及案由这类关键词, 就按照能类别从中进行海量数据向外导出, 最后交付形式以Word或者Excel格式呈现, 还会提供SQL文件也就是数据库脚本文件。
之前, 有好些用户反馈裁判文书网网站运行速度迟缓, 故障频发, 常常出现页面没法显示的状况, 今年2月, 最高人民法院在其官网回应称, 出现这种问题的缘由是有众多技术公司借助爬虫系统无节制并发访问非法获取裁判文书数据, 致使网站负荷过重。针对这个问题, 最高法表明自2018年7月起以验证码的形式上线系统软件防爬功能。
然而, 除了裁判文书网之外, 南都记者察觉到, 一些付费网站的数据同样能够被进行爬取, 在二手平台之上, 存在相当多的卖家, 他们出售知网、万方、知识库以及维普等文献期刊的数据, 可以实现“全库数据爬虫抓取” , 价格从2元起标。
背景
非法爬取“大数据” 已呈公司化运营
去年8月, 南都与阿里安全部联合发布了《2018网络黑灰产治理研究报告》, 该报告表明, 2017年我国网络安全产业规模有450多亿元, 可是, 黑灰产规模却已将近千亿元。在网络黑灰产的整个产业链里, 借助各种手段去爬取、窃取, 或者通过买卖的途径来获得个人信息, 变成了黑灰产获利的主要方式, 基于此滋生出电信诈骗、敲诈勒索等下游违法犯罪行为, 这些行为对公民个人信息安全、财产安全造成严重威胁, 进而变为侵蚀互联网经济正常运转的毒瘤。
今年4月, 北京警方破获了巧达科技非法获取计算机信息系统数据案, 此事引发了关注, 这个公司号称是中国最大的简历大数据公司, 它专业提供招聘工具软件, 还提供大数据分析服务, 它拥有一系列人力资源类大数据产品, 其中包括乔大招、妙招网以及爱伙伴等, 它还曾获得天使轮、A轮和B轮融资, 资方包含李开复的创新工场、中信产业基金等。
警方披露, 2018年10月 , 有某互联网公司报案 , 称该公司员工发现 , 有人在互联网上 , 兜售疑似为该公司用户信息的数据。警方通过对该公司服务器日志 , 进行调取 , 进行梳理 , 进而分析 , 初步还原了 , 数据被窃取的全过程。而巧达科技公司 , 在未经授权的状况下 , 通过利用大量代理 IP 地址 , 凭借伪造设备标识等技术手段 , 强行绕过该公司服务器防护策略 , 大量恶意窃取 , 存放在服务器上的用户数据。而且在窃取这个过程当中, 因为传输的数据量实在是太大了, 致使服务器出现了数十次中断服务的情况, 进而影响到了上千万用户正常开展访问, 还给该公司造成了相当严重的经济损失。
律师说法
未经平台授权爬取数据信息 或构成侵权、违法甚至犯罪
南都记者在对上述那种被称作“大数据”软件提供信息采集服务的现象展开调查期间, 留意到, 存在卖家于他们的业务介绍里自我证明没有问题地宣称“违法乱纪的事情不会去做”, 而其所供应的软件外包以及数据爬取等业务仅仅去爬取各类网页、App公开呈现的“能看见”的数据。
那么, 依据大数据采集商的看法, 要是爬取的是网页之类的公开数据, 此种行为果真合理合规吗?
在实际情况当中, 非法获取数据这件事存在着许多法律方面的风险, 尽管借助爬虫软件等各种各样的技术手段去爬取互联网数据的这种行为广泛地存在着, 然而为了保护自身的数据不被爬取, 好多企业也都设置了反爬虫爬虫的策略。当网络爬虫进行非法地抓取数据信息的时候, 可能构成的侵权、违法以至于犯罪行为主要涵盖危害计算机信息系统安全这一类、非法获取公民个人信息这一类以及侵犯知识产权这一类等等。
近年来, 企业之间因数据爬取引发了各种各样关于数据权益争夺的案件, 这些案件不断出现。比如说, 有新浪诉说脉脉抓取新浪微博用户信息的案子, 还有淘宝起诉美景不正当竞争的案子等。对于非法爬取企业数据的这种行为, 法律更加倾向于去保护企业经营者的权利。
《网络安全法》第27条作出规定, 任何的个人以及组织, 都不可以去从事“窃取网络数据”这类危害网络安全的活动, 也都不可以去提供, 那专门用于从事侵入网络、干扰网络正常功能以及防护措施、窃取网络数据等危害网络安全活动的程序、工具。
讲述绍兴警方侦破的这起大规模数据窃取案子，其中有上市黑产公司, 在运营商服务器之中放置恶意程序来清洗流量, 致使30亿条用户数据遭窃取。近日, 公司法定代表人周某某等7人, 因涉嫌非法获取计算机信息系统数据罪, 被检察机关提起公诉。
就裁判文书网数据出现被爬虫售卖这种情况, 北京市社会组织法律调解中心副理事长张新年, 身为律师, 他觉着, 裁判文书网站上面的内容, 是基于司法公开这个目的而存在的, 属于免费的公共资源。要是在没有经过最高人民法院授权的状况下, 商家去售卖裁判文书网的数据, 那就会构成侵权行为。
大数据爬虫背后 谁在提供技术支撑？
如此这般“火爆”的网售大数据采集定制业务, 这些号称“大数据”的信息源自何处? 又是怎样被泄露出去的呢? 南都记者经调查发觉, 其背后隐匿着一条非法爬取用户数据的黑色产业链, “专业老手”编写那爬虫软件, 提供软件订制服务, 黑产团伙购入软件批量生成“大数据”信息后再转手售卖。
“专业老手”代写爬虫软件
有一种常被称作网页蜘蛛、网络机器人, 按照一定规则自动从互联网提取网络信息的程序或脚本, 此谓之爬虫, 它是常见的数据捕获技术。利用爬虫软件等技术手段爬取互联网数据的行为广泛存在, 然而许多企业为保护自身数据不被爬取, 亦设置了反爬虫策略。
在二手平台上, 有一位卖家介绍说, 存在一种python爬虫程序数据采集代写软件, 是由专业老手提供的定制化服务, 其能提供各类大数据采集软件代写订制服务, 还可进行各种加密网站破解登录, 采集数据所涉及的范围包含携程春秋航空等旅游网, 美团天猫京东拼多多等电商平台, 以及微博知乎豆瓣等社交平台, 该卖家自称是由一批精通软件开发的编程高手组成的软件开发团队, 平台信息表明, 这位卖家近期已完成多笔交易, 且用户反馈好评如潮。
二手平台上, 有另一名卖家, 向南都记者介绍了一款, 名叫“智能云”的软件, 其售价为980元 , 该卖家称, 这款软件可采集的数据信息, 覆盖地图商家、搜索引擎、企业信息、车主信息等全网大数据 , 软件具备导入微信通讯录、QQ群成员提取、微信群发、微信营销、QQ营销、论坛营销等多个功能界面 , 卖家还介绍说, 该软件能够用来为各行业进行大数据引流、精准营销 , 此软件可实现网络数据订制、云端代采集, 涉及京东淘宝、车主、金融等所有行业信息采集, 拍下发软件。
简历采集器700元/套“无限”导
南都记者经调查发现, 除了提供那种信息定制服务之外, 网上居然还有商家在售卖所谓的简历信息采集器, 它能够自动去爬取知名招聘网站上的海量个人简历信息。在QQ群“58赶集简历采集”里头, QQ网友“无名”讲这个简历采集器可以“无限量”导出58同城求职者的个人简历信息, 号称“全网实时同步”, 而且“名字、电话、需要的工作、家庭地址都完整呈现, 兼职全职方面的信息也都涵盖”。
该卖家告知南都记者, 他借助这个软件, 从招聘网站导出个人简历信息, 而后在网上售卖, 其称“一手1.5元,二手0.3元”, 还向记者保证软件“能赚钱”、“好用”, 并且表示倘若买了这个软件, 他还能够帮忙引荐“客户”。
南都的记者留意到, 商家售卖的上面提到的那个简历信息采集器, 主要是针对58同城的, 对于赶集网和智联招聘而言相对较少。那么, 这样的简历信息采集器, 究竟是通过怎样的方式, 去批量爬取招聘网站的用户个人简历的呢? 有业内的专家, 针对此情况, 对58简历信息采集器的“盗取手法”进行过分析:
存在这样一帮黑产团伙, 借助58同城移动端的一个接口, 去批量获取用户的简历ID, 还有加密不严谨的用户ID信息 , 接着通过另一个接口, 致使用户包括姓名等真实信息出现泄漏 , 最后这一帮黑产团伙凭借58的微店程序, 能够依据用户ID最终获取用户的电话号码。
名为“大神 - 售58简历采集器”的一名QQ网友, 他是出售58简历信息采集器的, 向南都记者表明, 他所拥有的软件能够实时导出58同城以及赶集网的简历数据, 该软件采用的是什么技术手段? 是“双接口”和爬虫技术, 当这个软件安装在PC端之后, 要怎么做? 设置好条件就能够进行实时数据导出, 这款软件呈现出怎样的特点？“上手快好操作”, 那么它的售价是多少? 售价为700元/月。从卖家所发的视频截图来看, 这种简历采集器具备城市、兼职岗位、性别、年龄以及发布时间等筛选条件, 所采集的数据涵盖姓名、手机号码、学历信息、工作年限、期待月薪等个人信息。
“爬虫”
一种常被见到的数据来进行捕获的技术, 被称作网页蜘蛛, 也叫网络机器人, 它依照一定规则, 自动施行从互联网里头提取网络信息的程序, 或者也会是脚本。
