網(wǎng)絡(luò)爬蟲的法律規(guī)制
發(fā)布時(shí)間：2019-06-18 14:32
分享到：
2019年5月28日，國(guó)家互聯(lián)網(wǎng)信息辦公室就《數(shù)據(jù)安全管理辦法（征求意見稿）》（以下簡(jiǎn)稱“征求意見稿”）公開征求意見，這是我國(guó)數(shù)據(jù)安全立法領(lǐng)域的里程碑事件。以法律的形式規(guī)范數(shù)據(jù)收集、存儲(chǔ)、處理、共享、利用以及銷毀等行為，強(qiáng)化對(duì)個(gè)人信息和重要數(shù)據(jù)的保護(hù)，可維護(hù)網(wǎng)絡(luò)空間主權(quán)和國(guó)家安全、社會(huì)公共利益，保護(hù)自然人、法人和其他組織在網(wǎng)絡(luò)空間的合法權(quán)益。以網(wǎng)絡(luò)爬蟲為主要代表的自動(dòng)化數(shù)據(jù)收集技術(shù)，在提升數(shù)據(jù)收集效率的同時(shí)，如果被不當(dāng)使用，可能影響網(wǎng)絡(luò)運(yùn)營(yíng)者正常開展業(yè)務(wù)，為回應(yīng)上述問題，征求意見稿第十六條確立了利用自動(dòng)化手段（網(wǎng)絡(luò)爬蟲）收集數(shù)據(jù)不得妨礙他人網(wǎng)站正常運(yùn)行的原則，并明確了嚴(yán)重影響網(wǎng)站運(yùn)行的具體判斷標(biāo)準(zhǔn)，這將對(duì)規(guī)范數(shù)據(jù)收集行為，保障網(wǎng)絡(luò)運(yùn)營(yíng)者的經(jīng)營(yíng)自由和網(wǎng)站安全起到積極的作用。
一、網(wǎng)絡(luò)爬蟲的功能和價(jià)值
（一）定位
網(wǎng)絡(luò)爬蟲，又稱為網(wǎng)絡(luò)蜘蛛或網(wǎng)絡(luò)機(jī)器人，是互聯(lián)網(wǎng)時(shí)代一項(xiàng)普遍運(yùn)用的網(wǎng)絡(luò)信息搜集技術(shù)。該項(xiàng)技術(shù)最早應(yīng)用于搜索引擎領(lǐng)域，是搜索引擎獲取數(shù)據(jù)來(lái)源的支撐性技術(shù)之一。隨著數(shù)據(jù)資源的爆炸式增長(zhǎng)，網(wǎng)絡(luò)爬蟲的應(yīng)用場(chǎng)景和商業(yè)模式變得更加廣泛和多樣，較為常見的有新聞平臺(tái)的內(nèi)容匯聚和生成、電子商務(wù)平臺(tái)的價(jià)格對(duì)比功能、基于氣象數(shù)據(jù)的天氣預(yù)報(bào)應(yīng)用等等。一個(gè)出色的網(wǎng)絡(luò)爬蟲工具能夠處理大量的數(shù)據(jù)，大大節(jié)省了人類在該類工作上所花費(fèi)的時(shí)間。網(wǎng)絡(luò)爬蟲作為數(shù)據(jù)抓取的實(shí)踐工具，構(gòu)成了互聯(lián)網(wǎng)開放和信息資源共享理念的基石，如同互聯(lián)網(wǎng)世界的一群工蜂，不斷地推動(dòng)網(wǎng)絡(luò)空間的建設(shè)和發(fā)展。
（二）功能與價(jià)值
網(wǎng)絡(luò)爬蟲技術(shù)是互聯(lián)網(wǎng)開放共享精神的重要實(shí)現(xiàn)工具。允許收集者通過爬蟲技術(shù)收集數(shù)據(jù)是數(shù)據(jù)開放共享的重要措施，網(wǎng)絡(luò)爬蟲能夠通過聚合信息、提供鏈接，為數(shù)據(jù)所有者的網(wǎng)站帶來(lái)更多的訪問量，這些善意、適量的數(shù)據(jù)抓取行為，符合數(shù)據(jù)所有者開放共享數(shù)據(jù)的預(yù)期。相較于數(shù)據(jù)所有者通過開發(fā)API來(lái)提供數(shù)據(jù)，網(wǎng)絡(luò)爬蟲技術(shù)為數(shù)據(jù)收集者提供了極大的便利，也給專業(yè)網(wǎng)絡(luò)爬蟲公司帶來(lái)巨大的收益：隨著網(wǎng)絡(luò)爬蟲技術(shù)在市場(chǎng)中的日益普遍，其成本急劇下降，截至2016年其服務(wù)成本已經(jīng)低至每小時(shí)20元，一般的網(wǎng)絡(luò)爬蟲公司平均每年可賺取40萬(wàn)元，而專門為大公司從事網(wǎng)絡(luò)爬蟲外包服務(wù)的公司每年收益可達(dá)百萬(wàn)。
二、網(wǎng)絡(luò)爬蟲規(guī)制的必要性
（一）惡意抓取侵害他人權(quán)益和經(jīng)營(yíng)自由
通過網(wǎng)絡(luò)爬蟲訪問和收集網(wǎng)站數(shù)據(jù)行為本身已經(jīng)產(chǎn)生了相當(dāng)規(guī)模的網(wǎng)絡(luò)流量，但是，有分析表明其中三分之二的數(shù)據(jù)抓取行為是惡意的，并且這一比例還在不斷上升：惡意機(jī)器人可以掠奪資源、削弱競(jìng)爭(zhēng)對(duì)手。惡意機(jī)器人往往被濫用于從一個(gè)站點(diǎn)抓取內(nèi)容，然后將該內(nèi)容發(fā)布至另一個(gè)站點(diǎn)，而不顯示數(shù)據(jù)源或鏈接，這一不當(dāng)手段將幫助非法組織建立虛假網(wǎng)站，產(chǎn)生欺詐風(fēng)險(xiǎn)，以及對(duì)知識(shí)產(chǎn)權(quán)、商業(yè)秘密的竊取行為。
（二）惡意爬蟲危及網(wǎng)絡(luò)安全
從行為本身來(lái)講，惡意爬蟲會(huì)對(duì)目標(biāo)網(wǎng)站產(chǎn)生DDOS攻擊的效果，當(dāng)有成百上千的爬蟲機(jī)器人與同一網(wǎng)站進(jìn)行交互，網(wǎng)站將會(huì)失去對(duì)真實(shí)目標(biāo)的判斷，其很難確定哪些流量來(lái)自真實(shí)用戶，哪些流量來(lái)自機(jī)器人。若平臺(tái)使用了摻雜虛假訪問行為的缺陷數(shù)據(jù)，做出相關(guān)的營(yíng)銷決策，可能會(huì)導(dǎo)致大量時(shí)間和金錢的損失。盡管robots協(xié)議作為國(guó)際通行的行業(yè)規(guī)范，能夠幫助網(wǎng)站在robot.txt文件中明確列出限制抓取的信息范圍，但并不能從根本上阻止機(jī)器人的惡意爬蟲行為，其協(xié)議本身無(wú)法為網(wǎng)站提供任何技術(shù)層面的保護(hù)。目前惡意的網(wǎng)絡(luò)爬蟲行為已經(jīng)給互聯(lián)網(wǎng)平臺(tái)帶來(lái)了一定的商業(yè)和技術(shù)風(fēng)險(xiǎn)，影響了其正常的平臺(tái)運(yùn)營(yíng)和業(yè)務(wù)開展。
（三）現(xiàn)行法律規(guī)制方式及其不足之處
網(wǎng)絡(luò)爬蟲的不當(dāng)訪問、收集、干擾行為應(yīng)當(dāng)受到法律規(guī)制。目前，我國(guó)已有法律對(duì)網(wǎng)絡(luò)爬蟲進(jìn)行規(guī)制主要集中在刑法有關(guān)計(jì)算機(jī)信息系統(tǒng)犯罪的相關(guān)條文上。從刑法所追求的法益來(lái)看，刑法規(guī)范的是對(duì)目標(biāo)網(wǎng)站造成嚴(yán)重影響并具有社會(huì)危害性的數(shù)據(jù)抓取行為。若行為人違反刑法的相關(guān)規(guī)定，通過網(wǎng)絡(luò)爬蟲訪問收集一般網(wǎng)站所存儲(chǔ)、處理或傳輸?shù)臄?shù)據(jù)，可能構(gòu)成刑法中的非法獲取計(jì)算機(jī)信息系統(tǒng)數(shù)據(jù)罪；如果在數(shù)據(jù)抓取過程中實(shí)施了非法控制行為，可能構(gòu)成非法控制計(jì)算機(jī)信息系統(tǒng)罪。此外，由于使用網(wǎng)絡(luò)爬蟲造成對(duì)目標(biāo)網(wǎng)站的功能干擾，導(dǎo)致其訪問流量增大、系統(tǒng)響應(yīng)變緩，影響正常運(yùn)營(yíng)的，也可能構(gòu)成破壞計(jì)算機(jī)信息系統(tǒng)罪。
由于刑法的謙抑性，其只能在網(wǎng)絡(luò)爬蟲行為產(chǎn)生嚴(yán)重社會(huì)危害而無(wú)刑罰以外手段進(jìn)行規(guī)制的情形下起到懲治效果，而對(duì)于網(wǎng)絡(luò)爬蟲妨礙其他網(wǎng)站正常運(yùn)行、過量訪問收集數(shù)據(jù)等一般性危害行為很難起到規(guī)制作用，因此我國(guó)需要建立在刑法以外的行政規(guī)制手段，構(gòu)建完善的刑事責(zé)任、行政責(zé)任乃至民事責(zé)任體系，以保護(hù)互聯(lián)網(wǎng)平臺(tái)的合法權(quán)益，維護(hù)網(wǎng)絡(luò)空間的正常秩序。
三、完善網(wǎng)絡(luò)爬蟲規(guī)制方式的建議
從網(wǎng)絡(luò)爬蟲的相關(guān)案例來(lái)看，其使用者往往有充分的理由做出可能涉嫌違法的數(shù)據(jù)抓取行為，其辯護(hù)理由通常包括：“我可以用公開訪問的數(shù)據(jù)做任何事”“這是合理使用行為”“這與搜索引擎行為類似”“只是使用了自動(dòng)腳本，而未使用在建立網(wǎng)站上”“我已經(jīng)遵守了它們的robots協(xié)議”“該網(wǎng)站沒有robots協(xié)議”“這些數(shù)據(jù)我只是個(gè)人研究使用，并沒有商業(yè)目的”。由此可見，依托行為是否具有惡意或者通過主觀層面來(lái)判斷爬蟲行為違法與否是具有難度的。網(wǎng)絡(luò)爬蟲規(guī)制的目標(biāo)是在數(shù)據(jù)資源開放共享與互聯(lián)網(wǎng)平臺(tái)經(jīng)營(yíng)自由、網(wǎng)站安全之間取得平衡，遵循技術(shù)中立性原則，對(duì)網(wǎng)絡(luò)爬蟲進(jìn)行規(guī)制應(yīng)當(dāng)基于客觀結(jié)果，即是否妨礙網(wǎng)站的正常運(yùn)行或者對(duì)他人合法權(quán)益造成嚴(yán)重危害。
數(shù)字時(shí)代，在數(shù)據(jù)利用成為網(wǎng)絡(luò)產(chǎn)業(yè)中心的背景下，亟待確立數(shù)據(jù)訪問、獲取的規(guī)則。在技術(shù)手段、市場(chǎng)手段之外，需要采用法律手段規(guī)制爬蟲技術(shù)的應(yīng)用，對(duì)特定的數(shù)據(jù)訪問場(chǎng)景進(jìn)行規(guī)范。通過數(shù)據(jù)安全立法設(shè)置爬蟲技術(shù)嚴(yán)重影響網(wǎng)站正常運(yùn)行的判斷標(biāo)準(zhǔn)，對(duì)具有危害性的網(wǎng)絡(luò)爬蟲行為進(jìn)行適當(dāng)規(guī)制，是我國(guó)安全與發(fā)展并重互聯(lián)網(wǎng)治理根本準(zhǔn)則在數(shù)據(jù)治理領(lǐng)域的體現(xiàn)，其目標(biāo)是在數(shù)據(jù)活動(dòng)各方主體中找到平衡點(diǎn)，兼顧數(shù)據(jù)開放共享與數(shù)據(jù)所有者經(jīng)營(yíng)自由和安全、社會(huì)公共利益，確保數(shù)據(jù)依法有序自由流動(dòng)。
（來(lái)源：中國(guó)網(wǎng)信網(wǎng)）