「出國的出國，被抓的被抓」，這已成為大數據領域目前的常態。
擅長清洗數據的大數據行業，現在輪到自己被「清洗」了。這三個月以來，大數據行業面臨了最嚴厲的整頓，多家數據公司被調查，數據行業動盪不斷；行業持續收緊，七成數據接口被切斷……
「你家老闆被抓了嗎？」幾乎成為大數據行業從業人員的日常問候語。被捕，裁員，查封……這些敏感的詞語在動盪的數據行業中已經不稀奇。行業面臨嚴厲整頓的同時，大量數據公司的爬蟲團隊被整體解散裁員，數萬員工流出，行業人員流失率在50%以上。
早兩年，大數據行業因其高深、精準、實用等特質，處處顯示着它是藍海，是未來。不過真的應用起來，卻一點都不是和平和愛。當它碰到野蠻生長的互金行業，甚至變得充滿陰暗、罪惡甚至殺戮。這一輪被整頓的主要是數據公司的爬蟲業務，而被整頓的導火索，正出在現金貸、P2P等互聯網金融行業身上。
數據行業跟互金行業深度捆綁，大數據中的爬蟲業務亂象，正是非法現金貸這條「毒蛇的七寸」。隨着互金行業這兩年的合規、出清和整頓，數據行業也面臨着大面積的「清洗、剿匪」。
–1–
數據行業面臨的最大「生死劫」
大數據行業在今年秋季遭遇了一次前所未有的嚴厲整頓。也許，這是數據行業面臨的最大「生死劫」：有人死，也有人生……
9月，摩羯科技、新顏科技、公信寶等公司相關人員相繼被調查；隨後，行業巨頭同盾科技被傳出解散整個爬虫部門；頭部貸款超市平台信用管家被警方突擊調查。
10月，51信用卡等多家涉及大數據業務的服務商被查；
11月，拉卡拉控股的考拉徵信等7家科技公司被查；
……
無論是行業巨頭還是小公司，都在這個秋天清晰地感受到了蕭瑟。瑟瑟發抖的瑟。
繼今年初315晚會爆出一些大數據公司窺探、交易用戶數據後，這個行業的整頓就沒停過。有媒體報道，不少金融機構合作的數據接口，70%都被切斷了；剩下的30%也不穩定，一周換三次。
多米諾骨牌仍在繼續推倒。整頓還在繼續，誰也不知道下一家又會是誰？因此，朋友圈裏有人開起大數據公司的玩笑，你家老闆被抓了嗎？
行業人人自危。一家大數據公司創始人於建瑞在接受媒體採訪時說道，最近各家大數據公司的CEO每天都在朋友圈打卡，比運動打卡還勤快，其潛台詞則是「我沒事，我們公司也還好着呢」。
行業面臨洗牌，其實也是一次資源重新配置的機會。有公司在這輪整頓里永遠消失，也有一些因此活得更加滋潤。
一些公司大量裁員關停爬蟲業務的同時，另一些合規的、有國資背景的大數據公司，卻門庭若市。有的公司在短短三個月內，「每個月業務翻一番」。
在這輪整頓中，首先停掉的，是各種爬蟲產品。
大數據公司獲取數據的方式主要依靠第三方機構授權、關聯方或場景的數據以及爬蟲業務。其中獲取成本最低、觸及領域最廣、所得信息最詳細的就是爬蟲業務。數據爬取，理論上是有「紅線」的，要求遵循一定協議和規則，大數據公司才能實現自動獲取網站站點的信息和數據。但現實中，規則往往被忽略或簡化。
2016年摩羯科技給玖富定製了一個爬蟲軟件，據說曾爬過100多家同業的數據，包括用戶名、密碼等。這家公司還設計了一款支付寶爬蟲產品，可以幫公司拿到支付寶用戶的真實姓名、手機號、收貨地址、近一年的購物信息，甚至詳細到每筆交易的金額。
爬蟲所得的信息只要能被多次出售，就穩賺不賠。媒體曾報道，在一個二手商品交易平台上，一份簡歷的收費標準0.25元，一份判決書低至1毛錢，一篇論文不到1塊錢。
這些信息會被買來用於精準營銷，或是精準詐騙。其實，爬蟲取得的數據，最廣泛的用途還是用在現金貸行業的催收環節。這也是數據公司爬蟲業務首當其衝的原因。
–2–
爬蟲團隊都被解散了
在年初被315曝光後，大數據行業就風聲鶴唳。
於建瑞發現第二家爬蟲公司被抓後，立即決定「壯士斷臂」，他要求「爬虫部門業務暫停，數據庫和伺服器上所有的爬蟲數據全部刪除，即便是脫了敏的」。
於建瑞刪除數據的第二天，爬虫部門馬上「裁員十幾人，轉崗十幾人」。
「第三天，整個爬虫部門從公司完全消失。」花了三天時間，一個數據公司的爬蟲業務就被「抹除」了。
目前很多涉及爬蟲業務的數據公司都已經暫停或調整服務。而在大量的數據公司裁員中，爬虫部門幾乎是全軍覆沒。大數據風控平台同盾科技是典型案例，9月份其爬蟲負責人被查，爬虫部門解散並集體待崗。這些員工被建議不要離開杭州，否則有被抓的風險。
此後，國內大部分數據公司都為自保而解散了爬虫部門。業內人士稱，全行業裁掉了近萬名爬蟲工作人員，行業人員流失率在50%以上。
不僅僅數據行業本身，金融機構也被要求自查是否與爬蟲公司有合作。11月6日，中國互聯網金融協會向會員機構發佈《關於增強個人信息保護意識依法開展業務的通知》，要求會員機構對數據合作方進行排查。公信寶、白騎士、天機數據、木立徵信等多家被調查的或者有風險業務的數據公司被直接點名。
10月24日，一張截圖在網上流傳。據一本財經報道，截圖顯示，人行要求各地銀行排查與第三方數據公司的合作情況，特別提到要求上報合作的第三方數據公司是否涉及爬蟲業務。
其實，並非所有的爬蟲業務都是非法和違規的，否則也不會有部分數據公司在這輪整頓中活得更滋潤。「事實上，在合理的數據應用範圍內，解決用戶私隱保護問題的技術手段有很多，比如說數據脫敏、權限管控、加密存儲等。」中騰信大數據相關負責人表示。
但是，數據爬蟲業務中，合規的成本非常高，合作機構要使用合規的爬蟲數據，要支付更高的價格。以金融領域為例，全行業合規數據來源基本可以覆蓋到75%左右的需求。但通過合規途徑獲取數據，其成本高了大約60%。
惡意爬蟲的公司通過非法途徑獲取數據並儲存，相當於在搬運其他平台的數據資產。通過這種不太光明的手段，數據公司能夠以更低的價格向合作方銷售數據信息，從而擠占合規企業的份額。從2012年以來，這個行業的價格戰一直都在無聲地演繹着，而相關部門也沒有針對爬蟲提出專門的法律限制或者規範。數據市場一直上演着劣幣驅逐良幣的戲碼。
–3–
爬蟲與互金行業共生共榮
數據行業被整頓，其實是「城門失火殃及池魚」。
今年初，跟數據爬蟲公司一起上了央視315晚會的還有「714高炮」。，
大數據行業的興起、爆發和衰落，是緊跟在P2P網貸和現金貸行業後面的。P2P和現金貸興起於2011-2012年，而大數據行業從2013、2014年開始興起。
當P2P和現金貸在2016年開始迎來合規調整，行業需要大數據行業的進一步介入風控環節，為催收提供方便，以控制逾期率。於是，大數據行業在2017-2018年左右迎來大爆發。
以行業頭部平台同盾科技為例，根據此前報道，同盾科技2016年-2018年的營業收入分別為6066萬元、2.61億元、5.42億元，呈幾何級數增長。截至2018年底，同盾科技累計客戶數量為2421家，完成了對互金行業90%以上的覆蓋。
當互金行業在2019年進入合規備案的後半程，大數據行業也迎來它的行業大整頓。
金融行業也離不開大數據行業，要想保持一定的利潤率和控制逾期率，就要通過大數據來實現。一家頭部助貸平台的高管表示，前端風控弱、主要依靠貸後催收是原本現金貸平台的一大特點，而數據公司擅長利用大數據搭建風控模型。
因為互金行業有驚人的吸金能力，對大數據公司也有較高的支付能力。也因為這個原因，一直以來，大數據公司的業務過分集中於金融信貸領域。
雖然有關部門並未明示大數據行業整頓與互金行業的關係，但大數據行業里的人都心知肚明：這一輪行業整頓大概率與數據公司為「714」高炮平台、「套路貸」提供數據徵信服務，非法獲取和倒賣個人數據有關。
「714」高炮是指期限在7天或14天的包含砍頭息的超利貸，在今年315晚會被曝光之後，被監管部門整治。而為「714」高炮、「套路貸」提供土壤的數據公司，也不可避免地受到了波及。
一位消費金融平台的市場部人士接受稜鏡採訪時表示，那些依賴數據公司提供服務的現金貸平台，一下失去了風控能力，這幾天陸陸續續在各個渠道下架自己的貸款產品。「（他們的）風控模型還在重新調試，估計短時間不會正常放款。」
而作為一家第三方數據公司的副總裁，李亮（化名）則更能感受到實實在在的影響。在他看來，這次數據行業的震盪，比此前對於現金貸行業的整頓來得更嚴重，效果也更明顯。
李亮提到，大數據對於現金貸、「714」高炮、套路貸而言是命門，沒有了數據做支撐，他們就無法放貸。
