—https://xingwans.com/【星晚资源网-视频素材-抖音短视频下载-图片文案-帅哥帅哥-同人套图-朋友圈人设打造-免费下载-自媒体运营教程-电商教程】
自然环境如是说：
- python 3.8 正则表达式
- pycharm 2021XP >>> 代理服务器 GUI
- Google应用程序
- Google驱动力
- selenium >>> 驱动力 >>> 应用程序
组件采用：
收集两个视频
- requests >>> pip install requests
- re
收集数个视频
- selenium >>> pip install selenium==3.141.0 (3.141.0)选定组件版去加装 采用那个组件加装应用程序驱动力
- time
假如加装python服务器端组件:
- win + R 输出 cmd 点选确认, 输出加装命令 pip install 组件名 (pip install requests) 回车
- 在pycharm中点选Terminal(终端) 输出加装命令
怎样配置pycharm里面的python正则表达式?
- 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python正则表达式)
- 点选齿轮, 选择add
- 添加python加装路径
pycharm怎样加装插件?
- 选择file(文件) >>> setting(设置) >>> Plugins(插件)
- 点选 Marketplace 输出想要加装的插件名字 比如:翻译插件 输出 translation / 汉化插件 输出 Chinese
- 选择相应的插件点选 install(加装) 即可
- 加装成功之后 是会弹出 重启pycharm的选项 点选确认, 重启即可生效
案例基本流程思路:
解答、源代码、教程、资料点选免费领取
—-https://xingwans.com/【星晚资源网-视频素材-抖音短视频下载-图片文案-帅哥帅哥-同人套图-朋友圈人设打造-免费下载-自媒体运营教程-电商教程】
一. 分析数据来源
- 确认自己需求 , 我们收集内容是什么? 收集那个网站… 先收集两个视频, 然后再去收集数个视频
- 通过开发者工具进行抓包分析..
I. 开发者工具 网页应用程序自带, F12 或者鼠标右键点选检查选择network
II. 刷新网页….让网页数据内容重新完备加载一遍 <找视频数据内容>
III. 通过network下面的media里面找到视频url地址
IV. 不够.. >>> 分析那个视频url地址从哪里来的… 通过抓包分析, 得到url地址 通过一次编码
二. 代码实现的步骤 爬虫基本四大步骤….
- 发送请求, 对于刚刚分析得到url地址发送请求https://www.douyin.com/video/7086835442330504488
- 获取数据, 获取服务器返回响应数据
- 解析数据, 提取我们想要视频url地址以及视频标题
- 保存数据, 把视频内容保存本地文件夹
代码
导入组件
import requests 导入数据请求组件 服务器端组件 pip install requests
import re 导入正则表达式组件 内置组件
from selenium import webdriver
import time 时间组件selenium用selenium组件用驱动力<应用程序>操作应用程序人怎么去操作应用程序, 怎么去写代码
- 打开应用程序webdriver.Chrome(executable_path=”chromedriver”) 括号里面是需要加驱动力路径假如你驱动力放在和代码两个文件夹里面, 可以不用写路径或者你的驱动力放在python加装目录里面 也可以不用写路径其他位置, 都需要选定路径位置
- 输出网址
- 查看网页内容
requests请求数据,获取服务器返回数据内容 selenium你可以直接根据元素面板去定位数据内容
爬虫模拟应用程序对于url地址发送请求, 最后获取服务返回响应数据发送请求:
- 确认url
- 模拟伪装请求头headers 是可以直接在开发者工具里面复制粘贴 request headers 直接复制字典数据类型, 构建完备键值对形式user-agent 用户代理 表示应用程序基本身份标识
- 请求方式状态码 200 表示请求成功… 但是不一定得到你想要的数据…
没有得到你想要数据内容, 是什么原因导致的? <被反爬了> 为什么被反爬了 因为你被识别出来 你是爬虫程序比如说: 超市面试试吃 老是你来吃东西<一直你是Ip请求快速>, 不给你吃了
driver = webdriver.Chrome() 实例化两个应用程序对象
driver.get(https://www.douyin.com/user/MS4wLjABAAAAUXBNFnWLvl9T8ylgAbD1auR_o5FL3dF7ic0KMYN9_88)
driver.implicitly_wait(10)
def drop_down():
for x in range(1, 30, 4):
time.sleep(1)
j = x / 9
js = document.documentElement.scrollTop = document.documentElement.scrollHeight * %f % j
driver.execute_script(js)
解答、资料、教程可加Q裙：261823976免费领
list_1 = [1, 2, 3, 4, 5, 6, 7]
list_1[1:]
drop_down()
lis = driver.find_elements_by_css_selector(
div.mwbaK9mv > div:nth-child(2) > ul .ECMy_Zdt) 通过 css 选择器查找元素 获取数个li标签返回列表
url_list = [li.find_element_by_css_selector(a).get_attribute(href) for li in lis]
for li in lis:
try:
time.sleep(1)
url = li.find_element_by_css_selector(a).get_attribute(href)
url = https://www.douyin.com/video/7087141617865346304 网址
headers = {
cookie: douyin.com; ttcid=444dfe8e89ff4d99b0662076ad171c8775; ttwid=1%7CTnFKlrGi3lHjKf5bshFdP9Nwu_Vsiwo-TxvX9NISgj8%7C1642083887%7Cfbfa904ea2900763eb6ac090bdd09014d80840da1ca485bbfea193d5401b330e; MONITOR_WEB_ID=c27b9f4a-4917-4256-be93-e948308467e3; odin_tt=0510c3c4196f54b541a96ac64e8b585b3a755be85057da8a1f3fa068e3f7b75ca2de4345e2b856f1e7b3f9455d86079731fe7d07a9f10890f26855d3674858e1; passport_csrf_token=e0b90cb756903c370592bd558c2b0cf5; passport_csrf_token_default=e0b90cb756903c370592bd558c2b0cf5; s_v_web_id=verify_l268jj46_kc7yYkD6_YHWW_4x4v_9snI_EDE0zro77uRn; AVATAR_FULL_LOGIN_GUIDE_COUNT=1; AVATAR_FULL_LOGIN_GUIDE_TIMESTAMP=1650982839652; AVATAR_FULL_LOGIN_GUIDE_ITA_COUNT=1; AVATAR_FULL_LOGIN_GUIDE_ITA_TIMESTAMP=1650982839652; __ac_nonce=0627ba36600d465d72261; __ac_signature=_02B4Z6wo00f01zrB8EAAAIDCWcswKSh.eLM65fTAAKzW8srQpmSjmL6YX9IsdmMSL4a9EBuyJvIwNMROqFQktniG-Ur-UDPK6wHInC8QKqRYUmyGnflwUXLpKzPgVt2FtREyprGmCDAZLrIpcc; douyin.com; strategyABtestKey=1652269927.635; AB_LOGIN_GUIDE_TIMESTAMP=1652269927510; AVATAR_LOGIN_GUIDE_COUNT=1; _tea_utm_cache_2285=undefined; _tea_utm_cache_6383=undefined; _tea_utm_cache_1300=undefined; pwa_guide_count=3; IS_HIDE_THEME_CHANGE=1; THEME_STAY_TIME=299808; msToken=XGPVAVUHDi9iTEQRjdXuQ0YyetxhHq0c9EH1dLLpttanbCXsNSD0DRxwk9oUB0vZ7LB9vKd-ABi2kAkzj2lCn1x98lJ4iTFbf260RcLav-G4QkhNyq8qV9i3oEJRyc8t; home_can_add_dy_2_desktop=1; msToken=3ALqenaebbJHw7kQDiDG6aRAgVYm5WM1pVGqmyyidbGgYpWRWKn-wQ9tcjoxWrHvwcqoYAx3tQ4IGE1qixdq2ei_fPrirMeeI6HeooU3sGR2wyWQ2OAAh2RejVJOrmpA; tt_scid=Gp0q0JW0LDreTqplgpajIZNHCB0.p1NcVv0hhZBgaGDw4SFxkXGlXfKafiCVmWAWc537,
user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36
}
response = requests.get(url=url, headers=headers)
print(url)
响应对象 200 状态码 表示请求成功 response.text 获取响应对象文本数据
print(response.text)
"""
数据解析, 提取我们想要数据内容
re正则表达式 <在付费课程 2.5个小时的内容讲解完>
re.findall() 调用re组件里面findall方法 去查询匹配数据
找到所有 >>> 从什么地方去找什么样数据 (.*?) 表示你想要数据内容, 通配符, 可以匹配任意字符(除了换行符以外)
"""
title = re.findall((.*?) , response.text, re.S)[0]
title = re.sub(r[/\:*?"<>|\n], , title)
video_url = re.findall(src(.*?)%22%7D%2C%7B%22src, response.text)[0] 编码的内容获取
video_url_1 = requests.utils.unquote(video_url).replace(":", https:) 解码
编码 requests.utils.quote
就业工作 1 接单赚钱 2
print(title)
print(video_url)
print(video_url_1)
video_content = requests.get(url=video_url_1, headers=headers).content 发送请求获取二进制数据内容
解答、资料、教程可加Q裙：261823976免费领
with open(img\\ + title + .mp4, mode=wb) as f:
f.write(video_content) 写入内容
print(正在保存: , title)
except Exception as e:
print(e) 尾语
成功没有快车道，幸福没有高速路。
所有的成功，都来自不倦地努力和奔跑，所有的幸福都来自平凡的奋斗和坚持
——励志语录
本文章就写完啦~感兴趣的小伙伴可以复制代码去试试
你们的支持是我最大的动力！！记得三连哦~ 欢迎大家阅读往期的文章呀
—https://xingwans.com/【星晚资源网-视频素材-抖音短视频下载-图片文案-帅哥帅哥-同人套图-朋友圈人设打造-免费下载-自媒体运营教程-电商教程】
请先 ！