1. 爬虫相关违法违规案例
1.1 为违法违规组织提供爬虫相关服务
1.2 抓取个人隐私数据并贩卖
1.3 利用无版权的商业数据获利
Tips
2. 相关法律法规
2.1 《中华人民共和国刑法》对网络爬虫的定罪依据
- 第二百八十五条 非法侵入计算机信息系统罪
违反国家规定，侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统的，处三年以下有期徒刑或者拘役。 违反国家规定，侵入前款规定以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，或者对该计算机信息系统实施非法控制，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。 提供专门用于侵入、非法控制计算机信息系统的程序、工具，或者明知他人实施侵入、非法控制计算机信息系统的违法犯罪行为而为其提供程序、工具，情节严重的，依照前款的规定处罚。 单位犯前三款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照各该款的规定处罚。
注：《刑法》第285条是对爬虫爬取数据的主要定罪依据。
- 第二百八十六条 破坏计算机信息系统罪
违反国家规定，对计算机信息系统功能进行删除、修改、增加、干扰，造成计算机信息系统不能正常运行，后果严重的，处五年以下有期徒刑或者拘役；后果特别严重的，处五年以上有期徒刑。 违反国家规定，对计算机信息系统中存储、处理或者传输的数据和应用程序进行删除、修改、增加的操作，后果严重的，依照前款的规定处罚。 故意制作、传播计算机病毒等破坏性程序，影响计算机系统正常运行，后果严重的，依照第一款的规定处罚。 单位犯前三款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照第一款的规定处罚。
- 第二百五十三条之一 侵犯公民个人信息罪
违反国家有关规定，向他人出售或者提供公民个人信息，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。 违反国家有关规定，将在履行职责或者提供服务过程中获得的公民个人信息，出售或者提供给他人的，依照前款的规定从重处罚。 窃取或者以其他方法非法获取公民个人信息的，依照第一款的规定处罚。 单位犯前三款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照各该款的规定处罚。
2.2 其他相关法规
（1）《反不正当竞争法》 第二条 经营者在生产经营活动中，应当遵循自愿、平等、公平、诚信的原则，遵守法律和商业道德。 （2）《著作权法》 第十条主要内容：著作权人享有的著作权包括信息网络传播权，即以有线或者无线方式向公众提供作品，使公众可以在其个人选定的时间和地点获得作品的权利。 （3）《著作权法实施条例》 第二条著作权法所称作品，是指文学、艺术和科学领域内具有独创性并能以某种有形形式复制的智力成果。 （4）《信息网络传播权保护条例》 第二条主要内容：任何组织或者个人将他人的作品、表演、录音录像制品通过信息网络向公众提供，应当取得权利人许可，并支付报酬。 第二十三条 网络服务提供者为服务对象提供搜索或者链接服务，在接到权利人的通知书后，根据本条例规定断开与侵权的作品、表演、录音录像制品的链接的，不承担赔偿责任；但是，明知或者应知所链接的作品、表演、录音录像制品侵权的，应当承担共同侵权责任。（“避风港”原则） （5）《民法典人格权编》第816条 行为人收集、处理自然人自行公开的或者其他已经合法公开的信息不承担民事责任，但是该自然人明确拒绝或者处理该信息侵害其重大利益的除外。
3. 爬取过程中的禁忌
- 爬取的数据不要直接商用
- 考量抓取的数据信息的属性，避免抓取公民个人信息数据
- 考量对抓取数据的加工、使用方式，应尽量避免对收集的各种数据进行加工整合后形成公民个人信息数据
- 破解/反编译对方客户端、软件，破解加密算法属于破坏计算机信息系统罪。
注： 通过技术手段，修改UA、修改device id、绕开网站访问频率控制等，进行数据抓取，如果被定罪，这些技术手段都是违法行为的佐证。
总结
在爬取之前应先对目标数据信息进行识别，避免爬取已合法公开或未公开的公民个人信息。尊重他人的劳动成果，不要在未经授权的情况下将爬取到的视频、图片、文本等用于其他商业目的，非法获利。针对有反爬措施机制的网站，即使数据是合法公开的非公民信息类数据，也要先确认该网站的robots协议，在不对爬取目标网站服务器造成恶意压力的情况下，进行合法爬取。进行爬取测试的时候，要严格限制爬虫爬取速度、并发数量及下载延迟等。