这段时间在研究如何破解官网验证码，然后进行下一步的爬虫操作，然而一个多星期过去了，编写的代码去识别验证码的效率还是很低，尝试用了tesserorc库和百度的API接口，都无济于事，本以为追不上五月的小尾巴，突然想到我尝试了这么多方法何不为一篇破坑博客呢。
现在很多官网都会给出相应的反扒措施，就拿这个登入来说，如果你不登入账号那么你就只能获取微量的信息，甚至获取不了信息，这对我们爬虫来说是非常不友好的，但是我们总不可能每次都需要手动登入吧，一次二次你能接受，大工程呢？既然学了python，而不为用脚本代码帮你做这点事情呢？
图为简书登入模块：
不同方式优缺点对比：
突然想到一种可能更简单的方式，所以整理得三，不同情况参考不同用法！
如下：
| 方式 | 优点 | 缺点 |
|---|---|---|
| requests的auth参数 | 极简 | 出现的次数很少 |
| requests的session会话 | 维持cookies一致 | 需要构造一定参数 |
| selenium自动化 | 最强的模拟登入 | 安装复杂，库名太多 |
以上就是三大登入的优缺点，个人推荐使用session去尝试模拟登入！
方式一： requests的auth参数：
这个是我无意在书上看到的。关于requests的高级用法中，提到了这点，这里就记录一下，个人觉得这种方式只可能出现在某网站中，学了也挺好的，省的限制观看次数，后续我也会更新如何破解vip视频的思路，有需要的关注我。
使用类似场所：
用法很简单，代码如下：
# parasm: url : 网站
# parasm: username: 用户名
# parasm: password : 密码
import requests
url = '********'
r = requests.get(url, anth=('username', 'password'))
print(r.text)
还是一句话，这种方式极大可能出现在某网站中，其他情况基本不可能出现，那么就得使用下面二种方式了。
方式一： requests高级用法扩展：
相信很多人看书都不看全的，很多细节都在书中呢，下面扩展几种requests库的高级用法，很好用的东西。
超时处理： 某网站服务器搭建在国外，加载巨慢。代码可能抛出timeout : xxxx等情况，这个时候用它：
r = requests.get(url , timeout=30)
文件上传： 假如某网站需要上传文件，那么就使用它：
files = {'file': open('img.jpg', 'rb')}
r = requests.get(url, files=files)
print(r.text)
cookies设置： headers这个很多人都使用过吧，基本都是加一个代理头就完事了，其实也可以设置其他的参数，然后使用post请求，就可以简单的模拟登入一次了，用法如下：
这些字段一般都需要加上，常用的就是代理头user-agent,这个必须设置：
headers = {
'cookies': '浏览器复制',
'Host': '浏览器复制',
'Referer' '浏览器复制'
'User-Agent': '浏览器复制'
}
方式二： requests的session会话使用：
会话是什么： 就好比你和朋友对接电话，你这头是客户端，朋友那头是服务端，你们接通电话，这个通话记录就代表一个会话，电话中，你可以通过声音知道是你朋友，在服务器中，你请求成功一次，客户端和服务端就维持了一个会话，这个会话能代表你的身份，那么这段时间在一个浏览器中，你进入网站就不需要在输入账号密码了，直到你退出浏览器，那么会话截至，下次登入就需要再次输入密码了。
很好的是，Session能很好的帮助我们维持会话，从而达到cookies的一致性。区别于一半的请求requests，就可以达到get 和 post 共同的作用;
基本用法如下：
s = requests.Session() r = s.get(url)
那么我们使用会话从GitHub的模拟登入尝试下：
首先我们需要登入一次，看看需要构建什么参数:
登入网站
在这个界面就开启f12 , 不然看不了会话维持：
登入成功之后，如下图，查看构造参数：
打开这个From Data 会发现，authenticity_token 这个字段，我们可能构造不了，这个时候，就得回到 登入界面了， 打开源代码。F这个字段：
如图： 只需要爬取这个页面，获得这个参数 那么就可以构造登入的所有参数了, 爬虫代码如下：
def token(self):
# 获得 authenticity_token 字段 方便下次模拟登入
# login_url : 登入网址
r = self.session.get(self.login_url, headers=self.headers)
if r.status_code == 200:
r.encoding = r.apparent_encoding
html = etree.HTML(r.text)
html = etree.tostring(html)
html = etree.fromstring(html)
tk = html.xpath('//*[@id="login"]/form/input[1]/@value')
return tk
对于cookies的一致性，使用session 就已经搞定了这个问题，根据上图的Name字段中的session ，
我们可以找到会话网址： ‘https://github.com/session'
所以我们现在只需要构造一个函数去请求这个会话网址，就可以达到我们的要求了：
代码如下， 这里我构造了一个class类，账号密码用自己，或者前面传值过去，图中的函数是二个爬虫代码，可以根据需求设计：
def login(self):
# 模拟登入
post_date = {
'commit': 'Sign in',
'authenticity_token': self.token(),
'ga_id': '1453216517.1584352055',
'login': self.email,
'password': self.password
}
# 打印仓库信息
r = self.session.post(self.post_url, data=post_date, headers=self.headers)
if r.status_code == 200:
self.get_info_1(r.text)
# 打印个人信息和邮箱
r = self.session.get(self.logined_url, headers=self.headers)
if r.status_code == 200:
self.get_info_2(r.text)
会话登入到这里就结束了，主要是构造参数挺麻烦的，需要页面里寻找，看到这里给个关注和赞啦。
方式三： selenium模拟登入：
如何下载selenium相关的插件，我就不做介绍了，篇幅有限
使用selenium 就是需要考虑到表单的切换，和定位元素等，其他都很简单，这里用4399游戏网页做一个实例： 网址
点击登入：
弹出登入表单：
这里我们需要切换表单，不然输入不了，怎么找到这个表单的，很简单，整块的高亮就行：
代码如下：
from selenium import webdriver # 导入库
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
browser = webdriver.Chrome() # 声明浏览器
browser.implicitly_wait(30) # 隐性等待 在规定的时间内，最长等待S秒
browser.get('http://www.4399.com') # 打开设置的网址
# ID定位 或者其他的都行
browser.find_element_by_id('login_tologin').click() # 点击登入界面
browser.switch_to.frame("popup_login_frame") # 进入表单中
browser.find_element_by_css_selector('#username').clear()
browser.find_element_by_id('username').send_keys('账号')
browser.find_element_by_id('username').send_keys(Keys.TAB)
browser.find_element_by_id('j-password').send_keys('密码')
browser.find_element_by_id('j-password').send_keys(Keys.ENTER)
我给的例子没有涉及到验证码，如果涉及到验证码，要不人工输入，要么破解验证码，或者交给打码平台，最好的方式就是绕过验证码，这个我也在思考如何去实现。以上就是这周的知识总结，有帮助的话，就点个赞和关注吧！
