鲁达 普通Python学习让人倦
同学们，这次我们要学习用Python来做爬虫，爬取的是深度学习的训练资料。估计这么一说，大部分同学是这样的。
少部分同学可能觉得爬虫和深度学习比较时髦，还能硬着头皮来听讲，但心里肯定直打鼓，“这肯定是从入门到放弃吧？”
好吧，这次用不一样的方法，先让大家看时尚综艺节目吧，里面有很多PLMM，至于学习嘛，先放后面。怎么样？有精神了吧。让我们开始看看综艺，解解乏。
综艺是什么？
这次有很多PLMM的节目就是，《青春有你第二季》。109位选手，通过任务、训练、考核，让选手在明星导师训练下成长，最终选出9位选手，组成偶像团体出道。可以说，PLMM多的很，让我们先看几位。
Lisa
LISA（舞蹈导师）
泰国籍女歌手
代表作品：WHISTLE、BOOMBAYAH
哦，这不是选手，是出席嘉宾。呵呵，看花眼了。马上选手就来。
选手来了，就直接截图了啊。
还有很多啊，大家千万别忘了，学习Python才是目标。这次的目标是，
本次实践使用Python来爬取百度百科中《青春有你2》所有参赛选手的信息。
所有的PLMM图片都爬取下来，这次就干这个，至于拿来干嘛？别想歪了，留个悬念，后面会有更精彩的答案。
下面介绍爬取的思路和关键点。
爬取图片思路和关键
爬虫大家平常听的比较多，很多人也把爬虫想得比较神秘。下面就先科普下Python来爬资料的原理。
首先，从大家上网开始讲起。
作为一个普通上网用户，要浏览网站，首先打开浏览器 ，输入网址，浏览器往目标站点发送请求。 浏览器接收网站响应数据，然后浏览器将内容 渲染到页面上。用户看到访问内容就完成了一个普通浏览过程。
那么模拟我们日常访问的爬虫程序是怎么执行的呢？为什么要模拟？这个问题问的好。
只有模拟了人访问的爬虫才能最大程度得到理想的数据，而不用担心被封杀。好，下面是爬虫程序执行原理。
首先爬虫程序模拟浏览器，往目标站点发送请求。爬虫程序接收网站响应数据后，从中提取有用的数据 。最后保存下来。
大家明白原理后，作为一个爬虫应该有的程序逻辑就跃然于纸上。
爬虫的过程：
1.发送请求（requests模块） 2.获取响应数据（服务器返回） 3.解析并提取数据（BeautifulSoup查找或者re正则） 4.保存数据爬虫过程中两个库，requests和BeautifulSoup下面就重点讲解下。
request模块：
requests是python实现的简单易用的HTTP库，官网地址： reque(url)可以发送一个http get请求，返回服务器响应内容。 BeautifulSoup库：
BeautifulSoup 是一个可以从html或XML文件中提取数据的Python库。网址： BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,其中一个是 lxml。 BeautifulSoup(markup, ";)或者BeautifulSoup(markup, "lxml")，推荐使用lxml作为解析器,因为效率更高。参赛选手爬取具体代码
是不是想跃跃欲试呢？下面看好了，爬取百度百科中《青春有你2》中所有参赛选手信息，返回HTML的代码来了!
Python代码如下：
def parse_wiki_data(table_html): ''' 从百度百科返回的html中解析得到选手信息，以当前日期作为文件名，存JSON文件,保存到work目录下 ''' bs = BeautifulSoup(str(table_html),'lxml') all_trs = bs.find_all('tr') error_list = ['\'','\"'] stars = [] for tr in all_trs[1:]: all_tds = ('td') star = {} #姓名 star["name"]=all_tds[0].text #个人百度百科链接 star["link"]= '; + all_tds[0].find('a').get('href') #籍贯 star["zone"]=all_tds[1].text #星座 star["constellation"]=all_tds[2].text #身高 star["height"]=all_tds[3].text #体重 star["weight"]= all_tds[4].text #花语,去除掉花语中的单引号或双引号 flower_word = all_tds[5].text for c in flower_word: if c in error_list: flower_word=(c,'') star["flower_word"]=flower_word #公司 if not all_tds[6].find('a') is None: star["company"]= all_tds[6].find('a').text else: star["company"]= all_tds[6].text (star) json_data = j(str(stars).replace("\'","\"")) with open('work/' + today + '.json', 'w', encoding='UTF-8') as f: j(json_data, f, ensure_ascii=False) 上面代码爬了内容，并返回html，下面就要对爬取的页面数据进行解析，并保存为JSON文件。为什么要保存json文件呢？因为你肯定不想每次抓图都去爬全部的页面，而是先把全部页面保存下来，然后再慢慢分析每个保存的页面中的图片链接，然后再真正把图爬下来。要说明的是，PLMM的图，不要放弃哦。
def parse_wiki_data(table_html): ''' 从百度百科返回的html中解析得到选手信息，以当前日期作为文件名，存JSON文件,保存到work目录下 ''' bs = BeautifulSoup(str(table_html),'lxml') all_trs = bs.find_all('tr') error_list = ['\'','\"'] stars = [] for tr in all_trs[1:]: all_tds = ('td') star = {} #姓名 star["name"]=all_tds[0].text #个人百度百科链接 star["link"]= '; + all_tds[0].find('a').get('href') #籍贯 star["zone"]=all_tds[1].text #星座 star["constellation"]=all_tds[2].text #身高 star["height"]=all_tds[3].text #体重 star["weight"]= all_tds[4].text #花语,去除掉花语中的单引号或双引号 flower_word = all_tds[5].text for c in flower_word: if c in error_list: flower_word=(c,'') star["flower_word"]=flower_word #公司 if not all_tds[6].find('a') is None: star["company"]= all_tds[6].find('a').text else: star["company"]= all_tds[6].text (star) json_data = j(str(stars).replace("\'","\"")) with open('work/' + today + '.json', 'w', encoding='UTF-8') as f: j(json_data, f, ensure_ascii=False) 下面来干货了，真正爬取每个选手的百度百科图片，并进行保存。
def crawl_pic_urls(): ''' 爬取每个选手的百度百科图片，并保存 ''' with open('work/'+ today + '.json', 'r', encoding='UTF-8') as file: json_array = j()) headers = { 'User-Agent': 'Mozilla (Windows NT 10.0; WOW64) AppleWebKi (KHTML, like Gecko) Chrome Safari; } for star in json_array: name = star['name'] link = star['link'] (link) down_pic(name,pic_urls) 上面收集了每张图片链接，下面开始真正每张图下载了，伟大时刻开启。
def down_pic(name,pic_urls): ''' 根据图片链接列表pic_urls, 下载所有图片，保存在以name命名的文件夹中, ''' path = 'work/'+'pics/'+name+'/' if not os.(path): os.makedirs(path) for i, pic_url in enumerate(pic_urls): try: pic = reque(pic_url, timeout=15) string = str(i + 1) + '.jpg' with open(path+string, 'wb') as f: f.write) print('成功下载第%s张图片: %s' % (str(i + 1), str(pic_url))) except Exception as e: print('下载第%s张图片时失败: %s' % (str(i + 1), str(pic_url))) print(e) continue 打印爬取的所有图片的路径
def show_pic_path(path): ''' 遍历所爬取的每张图片，并打印所有图片的绝对路径 ''' pic_num = 0 for (dirpath,dirnames,filenames) in os.walk(path): for filename in filenames: pic_num += 1 print("第%d张照片：%s" % (pic_num,os.(dirpath,filename))) print("共爬取《青春有你2》选手的%d照片" % pic_num) 写好了每个功能模块，让他们都转起来。
if __name__ == '__main__': #爬取百度百科中《青春有你2》中参赛选手信息，返回html html = crawl_wiki_data() #解析html,得到选手信息，保存为json文件 parse_wiki_data(html) #从每个选手的百度百科页面上爬取图片,并保存 crawl_pic_urls() #打印所爬取的选手图片路径 show_pic_path('/home/aistudio/work/pics/') print("所有信息爬取完成！")开始转起来。真正的把100多位漂亮妹子的图从网上抓下来，是多么的壮观。让大家看看效果。
真正的把100多位漂亮妹子的图从网上抓下来，是多么的壮观
如果你的网络没问题，不多会，你就发现，选手的照片都躺到硬盘上了。开心吧，下面会讲到让你更意外的精彩。
选手的照片都躺到硬盘上了
真正的目的
有了这么多美女的照片，我们最后是要做什么呢？
最后的目的是让大家掌握人工智能领域现在最火热的深度学习。大家也知道从2015年开始，各大公司，包括阿里，头条等，用天价的薪酬来招聘深度学习工程师。对，就是接下来大家要掌握的深度学习。
大家要掌握的深度学习
下面的深度学习就会用爬下来的美女照片教会机器，不！应该说用美女照片做训练集，让机器在这个数据集上进行训练，然后就可以进行比如人像识别等很精彩的应用了。
深度学习一般过程如下：
深度学习
说了这么多，这个课程的来源可是大厂出品哦。本课来源于百度出品的《Python小白逆袭大神》，而且是免费的。
欢迎大家继续关注本公号，我将继续为大家带来更多有趣解读的深度学习课程内容。