(以下资料都已打包,如果有需要的朋友可以转发 私信我"1",即可免费领取)
①.、python系统的思维导图 ,一套全面的python学习路线,包含pythonweb+python爬虫+python自动化+python数据分析:
以上这些教程我已经为大家打包准备好了,希望对正在学习的你有所帮助!(需要的朋友可以转发 私信我"1",即可免费领取)
Web开发:最火的Python Web框架Django,支持异步高并发的Tornado框架,短小精悍的flask,bootle,Django官方的标语把Django定义为the framework for perfectionist with deadlines(大意是一个为完全主义者开发的高效率Web框架).
爬虫:在爬虫领域,Python几乎是霸主地位,Scrapy、Request、BeautifuSoap、urllib等,想爬什么爬什么.
云计算:目前最火的知名的云计算框架是OpenStack,Python现在的火爆,很大一部分就是因为云计算.
人工智能/数据分析:Python是目前公认的人工智能和数据分析领域的首选语言.
自动化运维:问问中国运维人员,运维人员必须会什么语言?十分之九的人会回答Python.
此外,现在很多公司都在使用Python,比如谷歌,Google APP Engine、Google earth、谷歌爬虫等,都在大量使用Python开发;NASA,大量使用Python进行数据分析和运算;YouTube,世界上最大的视频网站YouTube就是用Python开发的;Redhat,世界上最流行的Linux发行版本中的yum包管理工具就是用Python开发的.远不止这些,还有国内的豆瓣、知乎、春雨医生、腾讯、搜狐、百度、阿里等公司都在使用Python完成各种任务.
因为本人先前已经成功安装selenium,所以这里提示"已经安装成功",当然要使用pip命令,必须提前安装pip,自行百度,用户安装完上面的所有工具后我们就可以开始本期的装逼之旅了.
第一步、查看网页,确定抓取范围.我们打开阿里巴巴采购首页,我们发现阿里巴巴提供了厂商的搜索接口,如下所示:
第二步、我们试着搜索"化工",查看得到的结果,如下:
第四步、啰嗦了那么多,直接开始我们的代码:
首先使用python的selenium包打开一个Firefox浏览器窗口:
#! /usr/bin/env python
from selenium import webdriver
import sys
# 解决中文报错的问题
reload(sys)
driver = webdriver.Firefox()
以上程序就可以打开Firefox浏览器窗口,并且打开的浏览器窗口对象为driver,此时此刻呢我们模拟登录,找到阿里巴巴模拟登录的地址为,我们通这个地址模拟登录,并通过selenium的find_element_by_name方法获取网页中的DOM节点,有学过JavaScript的同学应该就会了解DOM节点,具体的代码如下:
url = '
loginUrl = 't=trueredirect_url=
driver.get(loginUrl)
driver.find_element_by_name("TPL_username").send_keys('这里是你的淘宝账号')
driver.find_element_by_name("TPL_password").send_keys('这里是你的淘宝密码')
driver.find_element_by_name("TPL_password").send_keys(Keys.ENTER)
driver.get(url)
①.00
①.01
①.10
①.11
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains
import time
import urllib
import os
import re
import csv
import numpy as np
csvfile = file('data.csv', 'wb')
writer = csv.writer(csvfile)
writer.writerow((u'企业名称'.encode('gbk'), u'主页'.encode('gbk'), u'产品'.encode('gbk')
, u'联系人'.encode('gbk'), u'电话'.encode('gbk'), u'地址'.encode('gbk')))
loginUrl = '
full_redirect=trueredirect_url=
driver.find_element_by_name("TPL_username").send_keys('这里输入你的淘宝账号')
driver.find_element_by_name("TPL_password").send_keys('这里输入你的淘宝密码')
user_agents = [
0.0.11',
]
for page in xrange(1, 100):
try:
title = driver.find_elements_by_css_selector("a[class=list-item-title-text]")
print len(title)
telPattern = re.compile('dd(.*?)/dd', re.S)
membernamePattern = re.compile('a.*?class="membername".*?(.*?)/a', re.S)
addressPattern = re.compile('"address"(.*?)/dd', re.S)
for i in xrange(len(title)):
titleValue = title[i].get_attribute('title')
hrefValue = title[i].get_attribute('href') + 'page/contactinfo.htm'
productValue = product[i].text
agent = np.random.choice(user_agents)
headers = {'User-Agent' : agent, 'Accept' : '*/*', 'Referer' : ''}
html = response.read()
info = re.findall(pattern, html)
info = info[0]
except Exception, e:
continue
tel = re.findall(telPattern, info)
tel = tel[0]
tel = tel.strip()
tel = tel.replace(' ', '-')
membername = re.findall(membernamePattern, html)
membername = membername[0]
membername = membername.strip()
address = re.findall(addressPattern, html)
address = address[0]
address = address.strip()
address = ''
print 'tel:' + tel
print 'membername:' + membername
data = (titleValue.encode('gbk', 'ignore'), title[i].get_attribute('href'), pr
oductValue.encode('gbk', 'ignore'), membername, tel, address)
writer.writerow(data)
for t in title:
print t.get_attribute('title')
print t.get_attribute('href') + 'page/contactinfo.htm'
print len(product)
for p in product:
a = repr(p.text)
a = a.encode('gbk', 'ignore')
print a
driver.execute_script(js)
page = driver.find_elements_by_css_selector("a[class=page-next]")
page = page[0]
page.click()
time.sleep(10)
print 'error'
csvfile.close()
driver.close()
python作为当下最热门的计算机编程语言之一,是许多互联网大厂(如阿里腾讯等)在招聘时会作出要求的能力之一.学好python对于将来大数据方向、云计算方向等物联网时代新兴岗位的学习很有帮助.
Python学习顺序:
①Python软件开发基础
掌握计算机的构成和工作原理
会使用Linux常用工具
熟练使用Docker的基本命令
建立Python开发环境,并使用print输出
使用Python完成字符串的各种操作
使用Python re模块进行程序设计
使用Python创建文件、访问、删除文件
掌握import 语句、From...import 语句、From...import* 语句、方法的引用、Python中的包
②Python软件开发进阶
能够使用Python面向对象方法开发软件
能够自己建立数据库,表,并进行基本数据库操作
掌握非关系数据库MongoDB的使用,掌握Redis开发
能开发多进程、多线程软件
③Python全栈式WEB工程师
能够独立完成后端软件开发,深入理解Python开发后端的精髓
能够独立完成前端软件开发,并和后端结合,熟练掌握使用Python进行全站Web开发的技巧
④Python多领域开发
能够使用Python熟练编写爬虫软件
能够熟练使用Python库进行数据分析
招聘网站Python招聘职位数据爬取分析
掌握使用Python开源人工智能框架进行人工智能软件开发、语音识别、人脸识别
掌握基本设计模式、常用算法
掌握软件工程、项目管理、项目文档、软件测试调优的基本方法
想要系统学习,你可以考察对比一下开设有IT专业的热门学校,好的学校拥有根据当下企业需求自主研发课程的能,南京北大青鸟、中博软件学院、南京课工场等都是不错的选择,建议实地考察对比一下.
祝你学有所成,望采纳.