今天小编就为大家分享一篇关于爬取今日头条Ajax请求的文章,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧

网址:https://www.toutiao.com/

搜索头条

可以得到这个网址:

pk10开奖结果https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D

开发者工具查看:

我们在搜索中并没有发现上面的文字,那么我们可以初步判定,这个由Ajax加载,然后渲染出来的。此时切换到xhr过滤,可以看到确实是ajax请求。

观察请求的特点,发现只有offset是改变的,而且一次加20,。

我们可以用它来控制数据分页,然后把图片下载下来。代码如下:

import requests
import os
from urllib.parse import urlencode
from hashlib import md5
from multiprocessing.pool import Pool
from requests import codes
def get_page(offset):
  params = {
    "offset":offset,
    "format":"json",
    "keyword":"街拍",
    "autoload":"true",
    "count":"20",
    "cur_tab":"1",
    "from":"search_tab"
  }
  url = 'https://www.toutiao.com/search_content/?'+urlencode(params)
  try:
    response = requests.get(url)
    if response.status_code == 200:
      # print(url)
      return response.json()
  except requests.ConnectionError:
    return None
# get_page(0)
def get_images(json):
  if json.get('data'):
    for item in json.get('data'):
      if item.get('cell_type') is not None:
        continue
      title = item.get('title')
      images = item.get('image_list')
      for image in images:
        yield {
          'title':title,
          'image':'https:' + image.get('url'),
        }
def save_image(item):
  #os.path.sep  路径分隔符‘//'
  img_path = 'img' + os.path.sep + item.get('title')
  if not os.path.exists(img_path):
    os.makedirs(img_path)
  try:
    resp = requests.get(item.get('image'))
    # print(type(resp))
    if codes.ok == resp.status_code:
      file_path = img_path + os.path.sep + '{file_name}.{file_suffix}'.format(
        file_name=md5(resp.content).hexdigest(),#md5是一种加密算法获取图片的二进制数据,以二进制形式写入文件
        file_suffix='jpg')
      if not os.path.exists(file_path):
        with open(file_path,'wb')as f:
          f.write(resp.content)
          print('Downladed image path is %s' % file_path)
      else:
        print('Already Downloaded',file_path)
  except requests.ConnectionError:
    print('Failed to Save Image,item %s' % item)
def main(offset):
  json = get_page(offset)
  for item in get_images(json):
    print(item)
    save_image(item)
GROUP = 0
GROUP_END = 2
if __name__ == '__main__':
  pool = Pool()
  groups = ([x*20 for x in range(GROUP,GROUP_END)])
  pool.map(main,groups)  #将groups一个个调出来传给main函数
  pool.close()
  pool.join()   #保证子进程结束后再向下执行 pool.join(1) 等待一秒

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对爱安网的支持。如果你想了解更多相关内容请查看下面相关链接

最新资讯
中国第一程序员,微软得不到他就要毁了他

中国第一程序员,微软得

他就是国内办公软件第一人、有着天才程序员之称的、 W
谷歌云焦虑症:现实中没有“龟兔赛跑”

谷歌云焦虑症:现实中没

全球云计算赛道,谷歌身处位置颇为尴尬。
直击|分贝通完成8500万元B轮融资 博将资本领投

直击|分贝通完成8500

2019分贝通战略发布会在北京举办, 发布会现场,分贝通对
旷视发布《人工智能应用准则》 涉及数据安全等六项

旷视发布《人工智能应

旷视科技发布基于企业自身管理标准的《人工智能应用准
新华视点:长租公寓空气检测之痛何时休?

新华视点:长租公寓空气

有租客反映,一些公寓出示的空气质量检测报告显示合格,但
马斯克:全自动驾驶后每辆特斯拉将值10万到20万美元

pk10开奖结果马斯克:全自动驾驶后每

特斯拉CEO马斯克周二重申,特斯拉汽车现在是“升值资产
最新文章
关于Ajax跨域问题及解决方案详析

关于Ajax跨域问题及解

这篇文章主要给大家介绍了Ajax跨域问题以及解决方案的
Ajax请求跨域问题解决方案分析

Ajax请求跨域问题解决

这篇文章主要介绍了Ajax请求跨域问题解决方案,结合具
SpringMVC+Jquery实现Ajax功能

SpringMVC+Jquery实现

SpringMVC:是基于Spring的一个子框架(MVC框架),功能强于
Ajax跨域问题及解决方案(jsonp,cors)

Ajax跨域问题及解决方

远程服务器上设法动态的把数据装进js格式的文本代码段
使用Ajax模仿百度搜索框的自动提示功能实例

使用Ajax模仿百度搜索

今天小编就为大家分享一篇使用Ajax模仿百度搜索框的自
解决ajax异步请求返回的是字符串问题

解决ajax异步请求返回

这篇文章主要介绍了解决ajax异步请求返回的是字符串问
pk10开奖结果_vtHoY1 pk10开奖结果pk10开奖结果_U3J5C pk10开奖结果pk10开奖结果_eHhtFE pk10开奖结果pk10开奖结果_aFz6U pk10开奖结果_tQ07n pk10开奖结果_ojLfYJ pk10开奖结果_RVwISnR pk10开奖结果_p9hCo pk10开奖结果_83ovrW5 pk10开奖结果_nHZ43X