GreenHaTeam

学习了一段时间的requests库和urllib.request

想要查看源文件可以输入 :

#!/usr/bin/python3
#其他同理
import requsets
print(requests.__file__)

requests库和urllib.request主要是封装了http过程，也可以是ftp

那么从我一开始接触的urllib.request讲起吧。

urllib.request

• 官网文档

通过Request创建一个请求请求信息（这里讲不很透彻，过一段时间再来）

Class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

可以用字典填充请求头headers，method有’GET’,’POST’等

发送请求，返回一个response对象，可以对对象进行读取操作。response.read（），返回相应的代码，默认的编码格式应该是utf-8。

Classurllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

url为Request创建的请求对象，或者就是一个url字符串。

其他的一些参数暂时没用过，缺少了解，遇到再说。

对于req和response对象有一些操作

import urllib.request
DATA = b'some data'
req=urllib.request.Request(url=url,data=DATA,method='GET')
print(req.host)
print(req.type)
print(req.origin_req_host)
print(req.selector)
print(req.data)
print(req.unverifiable)
print(req.get_method())
print(req.get_full_url())
f = urllib.request.urlopen(req)
print(f.status)
print(f.reason)
print(f.info())
print(f.geturl())
print(f.getcode())

运行代码时会出现错误对应有HTTPError和URLError的封装

使用urllib.error库增加输出的可读性

from urllib.error import URLError,HTTPError
'''省略一些(堆)代码'''
try:
    response = urllib.request.urlopen(req)       
    except URLError as e:
        if hasattr(e,'reason'):
            print('ERROR! Reason :',e.reason)
    except HTTPError as e:
        if hasattr(e,'code'):
            print('ERROR! Reason :',e.code)
    else:
        print(response.read().decode('utf-8'))
        break

对于一些基础认证，urllib.request给出了一个封装

from urllib.request import HTTPBasicAuthHandler, build_opener,HTTPPasswordMgrWithDefaultRealm
from urllib import URLError

username = input("Type usr: ")
password = input("Type password: ")
url = input("Type url: ")
##创建一个对象，具体是啥我也不清楚
instance = HTTPPasswordMgrWithDefaultRealm() 
instance.add_password(None, url, username, password)
auth_handler = HTTPBasicAuthHandler(instance)
opener = build_opener(auth_handler)
try:
    response = opener.open(url)
except URLError as e:
    print("URLError "+e)
html = response.read().decode('utf-8')

基础认证在请求头中给出也可，不一定要用这个封装。可以在urllib.request.Request()中添加请求头添加参数，例如添加 headers = {‘Authorization’：’Basic xxxxx’}。

可能中间会用到base64编码解码。可以使用base64库

import base64

password = input("Type your password : ")
password = password.strip()
base64KeyByte = base64.b64encode(password)
base64Key = base64KeyByte.decode('ascii')

更多的应用方法一定要看官网文档和源码

あああああああurllib.request怎么这么麻烦！！！！！！！！

这里推荐食用requests库，包吃包甜。

先上代码（害怕）

import requests
import json

#最基本不带参数的get请求
urls = 'https://www.baidu.com/'
url_params = {}
data = {'some': 'data'}
url_params = {
'wd':'aa',
'rsv_spt':'1',
'rsv_iqid':'0xe5064e4f000f8d53',
'issp':'1',
'f':'8',
'rsv_bp':'1',
'rsv_idx':'2',
'ie':'utf-8',
'tn':'baiduhome_pg',
'rsv_enter':'1',
'rsv_dl':'tb',
'rsv_sug3':'5',
'rsv_sug1':'2',
'rsv_sug7':'100',
'rsv_sug2':'0',
'inputT':'1046',
'rsv_sug4':'1133'
}

headers = {'content-type': 'application/json',
           'User-Agent': 'Mozilla/5.0 '\
            u'(X11; Ubuntu; Linux x86_64;'\
            u'\' rv:22.0) Gecko/20100101 Firefox/22.0'}
r = requests.get(url = urls,
                params = url_params,
                data = data,headers = headers)

'''
request.post(url)
request.put(url)
request.delete(url)
request.head(url)
request.options(url)
'''
# print(r.url)
# your url?key=value

print(r.encoding)                         #获取当前的编码
r.encoding = 'utf-8'                      #设置编码                    
# print(r.text)                             #以encoding解析返回内容。字符串方式的响应体，会自动根据响应头部的字符编码进行解码。
# print(r.content)                        #以字节形式（二进制）返回。字节方式的响应体，会自动为你解码 gzip 和 deflate 压缩。
print('--------r.headers---------')
print(r.headers)                        #以字典对象存储服务器响应头，但是这个字典比较特殊，字典键不区分大小写，若键不存在则返回None
print('--------r.status_code---------')
print(r.status_code)                     #响应状态码
print('-------r.raw----------')
print(r.raw)                             #返回原始响应体，也就是 urllib 的 response 对象，使用 r.raw.read()   
print('--------r.ok---------')
print(r.ok)
print('--------r.cookies---------')
print(r.cookies)                              #返回cookie
print('--------r.history---------')
print(r.history)                              #返回重定向信息
print('--------r.url---------')
print(r.url)
print('###########################')
print(r.text)
print('###########################')
#当然可以在请求是加上allow_redirects = false 阻止重定向
'''
ERROR此处有点搞不来              # 查看r.ok的布尔值便可以知道是否登陆成功
 #*特殊方法*#
# print('-------r.json()----------')
# print(r.json())                         #Requests中内置的JSON解码器，以json形式返回,前提返回的内容确保是json格式的，不然解析出错会抛异常
# print('--------r.raise_for_status()---------')
# print(r.raise_for_status())             #失败请求(非200响应)抛出异常
''' 

'''
##ERROR此处我搞不来
# r = requests.post('https://www.cnblogs.com/lanyinhao/p/9634742.html',
# data=json.dumps({'some': 'data'}))
# print(r.json())
'''
# print('--------r.text---------')
# print(r.text)

## 会话对象,能够跨请求保持某些参数
# s = requests.Session()
# s.auth = ('auth','passwd')
# s.headers = {'key':'value'}
# r = s.get('https://www.cnblogs.com/lanyinhao/p/9634742.html')

## 代理
# proxies = {'http':'ip1','https':'ip2' }
# requests.get('url',proxies=proxies)

Loading.*.*.*.*………/..\………