爬虫整顿风暴冲击波持续 杭州大数据服务商接连被查
资料1
21世纪经济报道记者了解到，这波针对爬虫业务的强监管是由于公安部门打击“套路贷”牵扯出了导流获客和暴力催收这两个帮凶，发现爬虫是主要工具，为这些“套路贷”平台爬取通讯录、地址定位等个人敏感信息，从而引发了命案及相关刑事调查。
爬虫，应用与边界
网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序与技术。如果通过爬虫抓取网络公开信息，并不违法；但如果抓取的是未公开、未授权的个人敏感信息，就属于违法行为，违反的是2017年6月1日实施的《网络安全法》以及“两高”相关司法解释。
51信用卡事件在杭州警方发声明之前，多方都认为是因为爬虫技术使用不当触及红线导致，由此，爬虫技术也被拉到了公众关注的焦点。21世纪经济报道记者了解到，其实，外界的这种猜想也是无风不起浪，爬虫整肃风暴缘何刮到杭州并卷起风暴？
今年以来，大数据风控行业颇不平静，9月份以来，杭州的魔蝎科技和公信宝运营公司、杭州存信数据科技有限公司（以下简称“杭州存信”）以及贷款超市头部机构“信用管家”先后被杭州警方调查。
此外，还有多家大数据风控公司人士“协助调查”，涉及同盾科技等多家机构。一时风声鹤唳，大数据行业的从业者人人自危。多家大数据公司表态暂停爬虫业务。
21世纪经济报道记者多方了解到，上述公司受调查均是与爬虫业务有关。
对此，同盾科技相关人士22日回复21世纪经济报道记者称，数聚魔盒产品是信川的产品之一，因为该服务对适用条件与场景有严格的授权要求与限制，为了更加严格的保护用户合法权益，避免个人信息被误用，同盾已经从去年开始逐步调整业务，目前已全部停止相关服务。除此之外，同盾的高管并没有接受警方调查，同时，同盾主营业务也没受到影响，没有相关调整。
爬虫“鼻祖”被查
10月21日上午，51信用卡位于杭州西湖区紫霞街80号西溪谷国际商务中心的办公地点遭遇杭州警方突击调查。引来业内一片哗然。
而51信用卡正是行业内最早开展爬虫的公司之一，这让不少业内人士猜测此次被警方调查即是利用爬虫技术非法获取用户个人信息，而这是近期公安部严厉打击的范畴。
51信用卡堪称业内爬虫行业的鼻祖，此次杭州被调查的数据公司魔蝎科技创始人周江翔是51信用卡的前高管。魔蝎科技是业内知名的大数据服务公司，合作机构范围较广，牵涉业内大量金融机构。
但杭州公安10月21日深夜发布的最新通报显示，51信用卡被调查的原因是其委托的外包催收机构涉嫌非法催收，涉嫌寻衅滋事等犯罪行为。
就在51在杭州被大批警察包围突击调查的同一天，10月21日，最高人民法院、最高人民检察院、公安部、司法部联合发布《关于办理非法放贷刑事案件若干问题的意见》。《意见》将打击目标锁定社会危害性最为突出的非法高利放贷，明确在定罪量刑时以单次实际年利率超过36%的非法放贷为基准。规定即日生效施行。
同日，《关于办理利用信息网络实施黑恶势力犯罪刑事案件若干问题的意见》也正式发布，公安部副部长、全国扫黑办副主任杜航伟在新闻发布会中表示，《意见》首先明确，通过线上方式实施黑恶势力犯罪的主要手段是“发布、删除负面或虚假信息，发送侮辱性信息、图片，以及利用信息、电话骚扰等方式，威胁、要挟、恐吓、滋扰他人”，同时对利用信息网络实施的强迫交易罪、敲诈勒索罪、寻衅滋事罪如何认定以及此类案件的特殊取证方式等问题，作了明确规定。
“刀怎么用才是问题”
所谓网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序与技术。如果通过爬虫抓取网络公开信息，并不违法；但如果抓取的是未公开、未授权的个人敏感信息，就属于违法行为，违反的是2017年6月1日实施的《网络安全法》以及“两高”相关司法解释。
爬虫技术的数据主要分为司法信息、电商信息、银行卡信息、运营商信息、社交信息、开放数据等几大类。在这些数据维度中，比较受欢迎的都是覆盖度高、标准化较强的通用类数据，比如身份验证、逾期黑名单信息等，一般是通过爬取淘宝、社交网络、网上银行等获取数据。
21世纪经济报道记者了解到，这波针对爬虫业务的强监管是由于公安部门打击“套路贷”牵扯出了导流获客和暴力催收这两个帮凶，发现爬虫是主要工具，为这些“套路贷”平台爬取通讯录、地址定位等个人敏感信息，从而引发了命案及相关刑事调查。
2017年6月1日，《网络安全法》正式施行，其中第四十一条规定，网络运营者收集、使用个人信息，应当遵循合法、正当、必要的原则，公开收集、使用规则，明示收集、使用信息的目的、方式和范围，并经被收集者同意；第四十四条规定，任何个人和组织不得窃取或者以其他非法方式获取个人信息，不得非法出售或者非法向他人提供个人信息。
一家杭州的大数据风控公司相关负责人对21世纪经济报道记者表示，“目前观测到的市场的一些动向和监管的尺度，更多是在于爬虫技术的非法使用。不注重个人隐私保护，泄露信息，甚至贩卖信息给涉黑暴力催收。所以卖刀没问题，刀怎么用才是问题。”
他认为，经过整肃之后存活的数据公司数量会大幅减少，同时对于数据使用的规范要求会更严格，这会让绝大部分的金融科技公司都或多或少受到冲击，因为大数据是整个金融科技行业的基础设施。
判断爬虫行为合法性， robot协议不可或缺
在最近的态势下，大数据行业如今面临强监管。
一位从业人员对此表示，公民个人信息是绝对不敢爬了，那么网上的公开非敏感个人信息能否收集，怎样的爬虫行为是合法的？
对此，中国银行法学研究会理事肖飒10月22日对21世纪经济报道记者表示，判断爬虫行为是否具有合法性，robot协议不可或缺。存在已有25年的robot协议是互联网搜索引擎与网页持有者之间达成的“行业规范”，该协议会告知网站的“访问权限”，如果设置了robot协议，大数据公司还要突破访问权限，那么就具有明显的主观恶性。
互联网行业里谷歌、百度、搜狗、ebay等，均设有该协议，这几乎是每一个互联网人都知道的常识，如果公司不想被爬取信息，只需要很轻松地安放robot协议表明不愿意被爬取和收录就可以了。
“也就是说，如果没有robot，应该就可以理解为可以合法爬取的公开信息。”肖飒称。
但是近期的案例有明显从严的趋势。以某直辖市某区判决一场刑事官司为例，被告人张某、宋某、侯某共谋用技术手段（爬虫）在某网站抓取视频，放入自己所在公司网站上，造成被害公司人民币2万元的经济损失。2017年9月提起公诉，后三人被判非法获取计算机信息系统数据罪，各自领刑。
同盾科技CEO蒋韬曾在对外发布的公开信《心存敬畏向善而行》中表示，人工智能及大数据的发展中的数据及隐私保护是一个世界级难题，需要监管、企业、法律界等共同研究和探讨。
资料2
最近，由于51信用卡被查出“套路贷”问题牵扯出搜集个人信息和暴力催收等一系列问题，公安部门开始对对第三方大数据行业进行强力监管和审查，大力开展爬虫整顿风暴行动，此前杭州就有多家业内知名大数据风控公司人士被“协助调查”!
根据磊哥了解，网络爬虫又叫采集，就是一种按照一定规则，自动抓取网上信息的程序与技术。主要在金融业务领域应用的比较广泛，一般讲如果通过爬虫抓取网络公开信息，并不违法;但如果抓取的是未公开、特别是未授权的个人隐私信息，就属于违法行为。
简单讲就是，“公开的数据，你去爬那就是捡，但是私密的数据，你去爬那就是偷。
并且，“爬数据”是个技术活，一般有能力自建爬虫队伍的公司都是有点规模和实力的正规公司，而在金融行业中还大量存在着草草搭建的各类互联网贷款平台，他们没爬虫技术但又想要数据信息，因此这些网贷公司很多都是购买，同盾科技、魔蝎科技第三方大数据风控公司的数据服务来获取个人信息。
这也是为什么在这轮公安机关的整治中，杭州的魔蝎科技和同盾科技、杭州存信数据科技有限公司和贷款超市头部机构“信用管家”先后被杭州警方调查的原因，这些公司牵涉贩卖信息给涉黑暴力催收金融机构等问题。
而且有互联网金融公司人士爆出了份内部数据服务商报价单，包含身份证号、手机号、姓名和近三个月联系人活跃度排名、通讯录名单、常用位置信息等隐私数据。单次有效查询的价格仅在0.38元~0.98元不等，如果包年还有额外折扣”可以讲想获取个人信息成本太低了，怪不得信息数据泛滥!
最后有相关人士表示：“在中国，爬虫技术显然被玩坏了”这帮人什么都敢爬，在大数据风控行业中，以网络爬虫获取信息数据的做法盛行，而违规使用、买卖爬虫得来的数据则是导致数据泄露、隐私泄露等一系列问题的根源，爬虫数据服务商为网贷平台和现金贷服务，早已不是行业秘密。
最主要的是还产生了数据贩卖的灰色生意，这项技术滥用会造成严重的社会危害，甚至扰乱金融行业秩序。被查是早晚的事，这次被查估计会死掉一大堆爬虫公司!
因此，磊哥个人觉得经过这次的对爬虫行业的整肃之后，那些还能存活的数据公司数量会骤减，同时对于爬数据这方面和使用数据方面估计也都不敢在乱来了，估计以后在网上再想低价获取第三方个人数据就没那么简单了 !
爬虫玩的好，监狱进的早
说明
热门推荐
关于我
