python 爬虫之selenium可视化爬虫的实现

#安装selenium库
pip install selenium
#安装对应浏览器驱动
# 我们可以通过下面的方式先看看Selenium.Webdriver支持哪些浏览器
from selenium import webdriver
print(help(webdriver))

适用浏览器：
PACKAGE CONTENTS
  android (package)  blackberry (package)  chrome (package)
  common (package)   edge (package)     firefox (package)
  ie (package)     opera (package)     phantomjs (package)
  remote (package)   safari (package)    support (package)  webkitgtk (package)
#这里要说一下比较重要的PhantomJS,
#PhantomJS是一个而基于WebKit的服务端JavaScript API,
#支持Web而不需要浏览器支持，
#其快速、原生支持各种Web标准：Dom处理，CSS选择器，JSON等等。
#PhantomJS可以用用于页面自动化、网络监测、网页截屏，以及无界面测试

from selenium import webdriver
# #声明浏览器对象
browser1 = webdriver.Chrome()
browser2 = webdriver.Firefox()
# #访问页面
browser1.get("http://www.baidu.com")
print(browser1.page_source)
#关闭当前窗口
browser1.close()

# 找到用户名输入用户名
user = drive.find_element_by_name("LoginForm[username]")
user.send_keys(username)
# 找到密码输入密码
pwd=drive.find_element_by_id("LoginForm_password")
pwd.send_keys(password)
# 点击登录按钮实现登录
drive.find_element_by_class_name("login_btn").click()

#获取当前窗口所有句柄
handles = drive.window_handles
#通过句柄 切换到第2个标签页
drive.switch_to.window(handles[2])
"""操作完成"""
#关闭当前窗口
driver.close() 
#通过句柄 切换到第1个标签页
drive.switch_to.window(handles[0])
time.sleep(random.uniform(2,3))

#url加载
drive.get(url)
# 获取当前页面url并断言
currentPageUrl = driver.current_url

drive.get("http://www.baidu.com")
cookie = {'name':'foo','value':'bar'}
drive.add_cookie(cookie)
drive.get_cookies()

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
drive = webdriver.Chrome()
url = 'http://www.baidu.com/'
drive.get(url)

try:
	WebDriverWait(self.driver,10).until(EC.presence_of_element_located(By.ID,"LoginForm[username]")) #显示等待
except:
 print('%s页面未找到元素'% loc)

from selenium import webdriver
drive = webdriver.Chrome()
url = 'http://www.baidu.com/'
#设置最大等待时长 10秒
drive.implicitly_wait(10)
drive.get(url)
user = drive.find_element_by_name("LoginForm[username]")

# 设置好应用扩展
chrome_options.add_extension(extension_path)
#添加下载路径
#download.default_directory：设置下载路径  profile.default_content_settings.popups：设置为 0 禁止弹出窗口
prefs = {'profile.default_content_settings.popups': 0, 'download.default_directory':tmp_path}
chrome_options.add_experimental_option('prefs', prefs)