博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python网络爬虫(1)--url访问及参数设置
阅读量:5058 次
发布时间:2019-06-12

本文共 1555 字,大约阅读时间需要 5 分钟。

环境:Python2.7.9 / Sublime Text 2 / Chrome

1.url访问,直接调用urllib库函数即可

import urllib2url='http://www.baidu.com/'response = urllib2.urlopen(url)html=response.read()print html

2.带参数的访问,以baidu搜索功能为例

使用Chrome浏览器访问效果,Chrome搜索引擎设置为baidu,地址栏中输入test,效果如下:

可以看到baidu搜索的url为

修改代码,增加访问参数

# coding=utf-8import urllibimport urllib2#url地址url='https://www.baidu.com/s'#参数values={        'ie':'UTF-8',        'wd':'test'           }#进行参数封装data=urllib.urlencode(values)#组装完整urlreq=urllib2.Request(url,data)#访问完整urlresponse = urllib2.urlopen(req)html=response.read()print html

运行代码,(Sublime Text 如果出现Decode error,需要将Python.sublime-build设置为"encoding": "utf-8")得到结果为

提示访问页面不存在,这个时候需要考虑一下访问方式的问题。使用Chrome开发者工具,监测Network,确定访问方式为GET

 

urllib2.Request(url,data) 访问方式为POST方式,改用GET方式进行尝试,需要手动组装URL,更改代码为

# coding=utf-8import urllibimport urllib2#url地址url='https://www.baidu.com/s'#参数values={        'ie':'UTF-8',        'wd':'test'           }#进行参数封装data=urllib.urlencode(values)#组装完整url#req=urllib2.Request(url,data)url=url+'?'+data#访问完整url#response = urllib2.urlopen(req)response = urllib2.urlopen(url)html=response.read()print html

再次运行,获得结果为

https发生了重定向,需要改用http

# coding=utf-8import urllibimport urllib2#url地址#url='https://www.baidu.com/s'url='http://www.baidu.com/s'#参数values={        'ie':'UTF-8',        'wd':'test'           }#进行参数封装data=urllib.urlencode(values)#组装完整url#req=urllib2.Request(url,data)url=url+'?'+data#访问完整url#response = urllib2.urlopen(req)response = urllib2.urlopen(url)html=response.read()print html

再次运行,可实现正常访问

 

 

转载于:https://www.cnblogs.com/buaawp/p/4291409.html

你可能感兴趣的文章
PHP、Java、Python、C、C++ 这几种编程语言都各有什么特点或优点?
查看>>
感谢青春
查看>>
Jquery Uploadify4.2 falsh 实现上传
查看>>
雨林木风 GHOST_XP SP3 快速装机版YN12.08
查看>>
linux基础-命令
查看>>
java对象的深浅克隆
查看>>
Hadoop流程---从tpch到hive
查看>>
数据结构3——浅谈zkw线段树
查看>>
Introduction to my galaxy engine 2: Depth of field
查看>>
V2019 Super DSP3 Odometer Correction Vehicle List
查看>>
Python 3.X 练习集100题 05
查看>>
今时不同往日:VS2010十大绝技让VS6叹服
查看>>
设计器 和后台代码的转换 快捷键
查看>>
在线视频播放软件
查看>>
用代码生成器生成的DAL数据访问操作类 基本满足需求了
查看>>
28初识线程
查看>>
Monkey测试结果分析
查看>>
Sublime Text 3 设置
查看>>
浅谈C++底层机制
查看>>
STL——配接器、常用算法使用
查看>>