用python模拟网页数据提交

一.思路

下面先来理清下思路。我的目的是通过自己构造post数据来实现数据提交。

当模拟在网页上提交数据时，首先要弄清楚整个数据处理流程，比如发送了什么样的数据，给谁发的等。那么如果我要在网页上提交数据的话，肯定是要传递参数的，所以我们要知道如何查找这些参数，这是最重要的一点。其次，模拟数据提交，必须要知道提交前的网页和提交后的网页，这样才能将提交后显示结果网页保存下来。最后就是数据处理了，使用正则表达式将需要的数据抽取出来。

二.实践

1.参数分析

关于参数，可以从数据包中分析出来，我是使用google自带的抓包工具分析的，使用ctrl+shift+I快捷键，点击进入Network列，如下图：

可以看到，当前什么都没有，下面我将参数填写完整

多了一个bindn.pl文件，我们来看看这个文件的内容，看看headers部分：

和图二进行比较，你会看到是相互对应。也就是说，这就是我们需要提交的参数：

1. postData = {"seq" : oneseq, #oneseq是一个字符串，后面作为一个参数传递进来
2. "qtype" : "rna",
3. "vtype" : "sp",
4. "val" : "80",
5. "submit" : "Submit Query"
6. }

而点击发送后的请求URL和HTML头内容，如下图：

所以现在我们可以得到以下这些数据（postData在上面已经分析出来了）：

1. hosturl = "http://bioinfo.ggc.org/bindn/"
2. posturl = "http://bioinfo.ggc.org/cgi-bin/bindn/bindn.pl" #可以从数据包中分析出，处理post请求的url
3. headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.80 Safari/537.36",
4. "Referer" : "http://bioinfo.ggc.org/bindn/"}

2.Python模拟

分析结束后，我们要构造自己的HTTP数据包，并发送给指定url。我们通过urllib2等几个模块提供的API来实现request请求的发送和相应的接收。最后需要编写一个函数，将自己需要的内容抽取出来。完整代码和讲解如下如下：

1. # -*- coding: utf-8 -*-
2. """
3. Created on Fri Jan 01 09:34:50 2016
5. @author: liudiwei
6. """
8. import os
9. import urllib
10. import urllib2
11. import cookielib
12. import re
14. #首先定义一个模拟数据提交的函数，传入刚刚分析出来的四个参数即可
15. def scratchData(hosturl, posturl, postData, headers):
16. #设置一个cookie处理器，它负责从服务器下载cookie到本地，并且在发送请求时带上本地的cookie
17. cj = cookielib.LWPCookieJar()
18. cookie_support = urllib2.HTTPCookieProcessor(cj)
19. opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)
20. urllib2.install_opener(opener)
21. #打开登录主页面（他的目的是从页面下载cookie，这样我们在再送post数据时就有cookie了，否则发送不成功）
22. urllib2.urlopen(hosturl)
23. #需要给Post数据编码
24. postDataEncode = urllib.urlencode(postData)
25. #通过urllib2提供的request方法来向指定Url发送我们构造的数据，并完成数据发送过程
26. request = urllib2.Request(posturl, postDataEncode, headers)
27. print request
28. response = urllib2.urlopen(request)
29. resultText = response.read()
30. return resultText
32. #将一次提交写到一个函数里面，每次只需传入一个序列即可，因为其它的参数不变
33. def BindN(oneseq, outdir):
34. #当前页面，即提交数据页面
35. hosturl = "http://bioinfo.ggc.org/bindn/"
36. #post数据接收和处理的页面（我们要向这个页面发送我们构造的Post数据）
37. posturl = "http://bioinfo.ggc.org/cgi-bin/bindn/bindn.pl" #可以从数据包中分析出，处理post请求的url
38. #构造header，一般header至少要包含一下两项。这两项是从抓到的包里分析得出的。
39. headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.80 Safari/537.36",
40. "Referer" : "http://bioinfo.ggc.org/bindn/"}
41. #构造Post数据，他也是从抓大的包里分析得出的。
42. postData = {"seq" : oneseq,
43. "qtype" : "rna",
44. "vtype" : "sp",
45. "val" : "80",
46. "submit" : "Submit Query"
47. }
48. result = scratchData(hosturl, posturl, postData, headers)
49. print "+++++", oneseq
50. chainname = oneseq[1:5] + oneseq[6:7]
51. outfilename = str(chainname) + ".html"
52. fw_result = open(outdir + "/" + outfilename, "w")
53. fw_result.write(result)
54. fw_result.close()
55. return result, str(chainname)
58. #使用正则表达式提取数据
59. def extractBindN(htmlfmt, outfile):
60. fw_result = open(outfile, "w")
61. inputdata = htmlfmt.split("
    ")
62. for i in range(len(inputdata)):
63. onedata = inputdata[i].strip()
64. if not onedata:
65. continue
66. if "<" in onedata or "*" in onedata:
67. continue
68. regText = onedata.split(" ")[0].strip()
69. if re.match(r"^d+$", regText) and True or False:
70. fw_result.write(onedata + "
    ")
71. fw_result.close()
73. #main方法
74. if __name__=="__main__":
75. oneseq = ">2XD0_A
    MKFYTISSKYIEYLKEFDDKVPNSEDPTYQNPKAFIGIVLEIQGHKYLAPLTSPK
76. KWHNNVKESSLSCFKLHENGVPENQLGLINLKFMIPIIEAEVSLLDLGNMPNTPYKRMLYKQLQFIRANSDKIA
77. SKSDTLRNLVLQGKMQGTCNFSLLEEKYRDFGK"
78. outdir = "/home/liudiwei/result" #输出路径
79. if not os.path.exists(outdir):
80. os.mkdir(outdir)
81. print outdir
82. result, chainname = BindN(oneseq, outdir)
83. outfile = outdir + "/" + chainname + ".data" #最终输出的文件名
84. extractBindN(result, outfile)

End.

作者：拾毅者

来源：『刘帝伟』维护的个人技术博客

本文均已和作者授权，如转载请与作者联系。