如何使用scrapy中的ItemLoader提取数据

# 文件items.py
# Item使用简单的class定义语法以及 Field 对象来声明。
import scrapy

class articleDetailItem(scrapy.Item):
 # 标题
 title = scrapy.Field()
 # 文章创建时间
 create_date = scrapy.Field()
 # 文章链接地址
 url = scrapy.Field()
 # url经过md5映射后的值
 url_object_id = scrapy.Field()
 # 文章中图片地址
 front_image_url = scrapy.Field()
 # 文件下载后本地保存的地址
 front_image_path = scrapy.Field()
 # 赞的个数
 praise_nums = scrapy.Field()
 # 评论数
 comment_nums = scrapy.Field()
 # 收藏数
 fav_nums = scrapy.Field()
 # 所有标签
 tags = scrapy.Field()
 # 文章内容
 content = scrapy.Field(serializer = str)

# 文件 boleSpider.py
from ArticleSpider.items import articleDetailItem

#...........此处省略..........
def parseArticelDetail(self, response):
 articleObject = articleDetailItem()
 # 提取出的内容是：6 收藏
 fav_nums = response.xpath("//span[contains(@class, 'bookmark-btn')]/text()").extract()[0]
 # 用正则表达式提取其中的数字6
 match_re = re.match(".*?(\d+).*", fav_nums)
 if match_re:
  fav_nums = match_re.group(1)
 else:
  fav_nums = 0

# 文件 boleSpider.py
from scrapy.loader import ItemLoader

# 文件 boleSpider.py 
import scrapy
from scrapy.loader import ItemLoader

# 如上面所示，我们首先在items.py中定义了一个articleDetailItem类（继承自scrapy.Item），用于保存我们抓取到的数据

 # 解析函数
 def parse_detail(self, response):
  # 需要实例化ItemLoader， 注意第一个参数必须是实例化的对象...
  atricleItemLoader = ItemLoader(item = articleDetailItem(), response=response)
  # 调用xpath选择器，提起title信息
  atricleItemLoader.add_xpath('title', '//div[@class="entry-header"]/h1/text()')

  # 将提取好的数据load出来
  articleInfo = atricleItemLoader.load_item()
  # 输出：articleInfo = {'title': ['在 Linux 中自动配置 IPv6 地址']}
  print(f"articleInfo = {articleInfo}")

# 文件 boleSpider.py 

 # 解析页面函数
 def parse_detail(self, response):
  # 需要实例化ItemLoader， 注意第一个参数必须是实例化的对象...
  atricleItemLoader = ItemLoader(item = articleDetailItem(), response=response)
  # 调用xpath选择器，提取title信息
  atricleItemLoader.add_xpath('title', '//div[@class="entry-header"]/h1/text()')
  # 调用css选择器，提取praise_nums信息
  atricleItemLoader.add_css('praise_nums', '.vote-post-up h10::text')
  # 直接给字段赋值，尤其需要注意，不管赋值的数据是什么，都会自动转换成list类型
  atricleItemLoader.add_value('url', response.url)

  # 将提取好的数据load出来
  articleInfo = atricleItemLoader.load_item()
  # 观察一下，发现三种方式填充的数据，均为List类型
  '''
   输出结果：
    articleInfo = {
     'praise_nums': ['2'],
     'title': ['100 倍价值的工程师'],
     'url': ['http://blog.jobbole.com/113710/']
    }
  '''
  print(f"articleInfo = {articleInfo}")

# items.py
import datetime
import scrapy

# 定义一个时间处理转换函数
# 将 '\r\n\r\n   2018/03/06 · ' 转换成 datetime.date(2018, 3, 14)
def date_convert(value):
 try:
  create_date = datetime.datetime.strptime(value, "%Y/%m/%d").date()
 except Exception as e:
  create_date = datetime.datetime.now().date()

 return create_date

# 用于存储解析文章的详细信息
class articleDetailItem(scrapy.Item):
 # 标题
 title = scrapy.Field()
 # 文章创建时间
 create_date = scrapy.Field(
  # 转换前是'create_date':'\r\n\r\n   2018/03/14 · '
  # 转换后是'create_date': datetime.date(2018, 3, 14),
  input_processor = MapCompose(date_convert),
  output_processor = TakeFirst()
 )
 # 文章链接地址
 url = scrapy.Field(
  # 转换前是'url': ['http://blog.jobbole.com/113771/']
  # 转换后是'url': 'http://blog.jobbole.com/113699/'
  output_processor = TakeFirst()
 )

 # url经过md5映射后的值
 url_object_id = scrapy.Field()
 # 文章中图片地址
 front_image_url = scrapy.Field()
 # 文件下载后本地保存的地址
 front_image_path = scrapy.Field()
 # 赞的个数
 praise_nums = scrapy.Field()
 # 评论数
 comment_nums = scrapy.Field()
 # 收藏数
 fav_nums = scrapy.Field()
 # 所有标签
 tags = scrapy.Field()
 # 文章内容
 content = scrapy.Field()

# 文件boleSpider.py
 # 解析页面函数
 def parse_detail(self, response):
  # 需要实例化ItemLoader， 注意第一个参数必须是实例化的对象...
  atricleItemLoader = ItemLoader(item = articleDetailItem(), response=response)
  # 调用xpath选择器，提取title信息
  atricleItemLoader.add_xpath('title', '//div[@class="entry-header"]/h1/text()')
  # 调用xpath选择器，提取create_date信息
  atricleItemLoader.add_xpath('create_date', "//p[@class='entry-meta-hide-on-mobile']/text()")
  # 调用css选择器，提取praise_nums信息
  atricleItemLoader.add_css('praise_nums', '.vote-post-up h10::text')
  # 直接给字段赋值，尤其需要注意，不管赋值的数据是什么，都会自动转换成list类型
  atricleItemLoader.add_value('url', response.url)

  # 将提取好的数据load出来
  articleInfo = atricleItemLoader.load_item()
  '''
   输出结果：
    articleInfo = {
     'create_date': datetime.date(2018, 3, 14),
     'praise_nums': ['1'],
     'title': ['在 Linux 中自动配置 IPv6 地址'],
     'url': 'http://blog.jobbole.com/113771/'}
  '''
  print(f"articleInfo = {articleInfo}")

# 文件items.py

import scrapy

# TakeFirst()是Scrapy提供的内置处理器，用于提取List中的第一个非空元素
class articleDetailItem(scrapy.Item):
 # 文章链接地址
 url = scrapy.Field(
  # 转换前是'url': ['http://blog.jobbole.com/113771/']
  # 转换后是'url': 'http://blog.jobbole.com/113699/'
  output_processor = TakeFirst()
 )

# 文件items.py
import datetime
import scrapy

# 定义一个时间处理转换函数
# 将 '\r\n\r\n   2018/03/06 · ' 转换成 datetime.date(2018, 3, 14)
def date_convert(value):
 try:
  create_date = datetime.datetime.strptime(value, "%Y/%m/%d").date()
 except Exception as e:
  create_date = datetime.datetime.now().date()

 return create_date

# 用于存储解析文章的详细信息
class articleDetailItem(scrapy.Item):
 # 文章创建时间
 create_date = scrapy.Field(
  # 转换前是'create_date':'\r\n\r\n   2018/03/14 · '
  # 转换后是'create_date': datetime.date(2018, 3, 14),
  input_processor = MapCompose(date_convert),
  output_processor = TakeFirst()
 )

# 源码
# class scrapy.loader.processors.TakeFirst
class TakeFirst(object):
 def __call__(self, values):
  for value in values:
   if value is not None and value != '':
    return value

# 单独直接使用
from scrapy.loader.processors import TakeFirst

proc = TakeFirst()

# 接收对象是一个可迭代的对象，如list
result = proc(['', 'one', 'two', 'three'])

# 结果：result = one
print(f"result = {result}")

# 源码
# class scrapy.loader.processors.Identity
class Identity(object):
 def __call__(self, values):
  return values

# 单独直接使用
from scrapy.loader.processors import Identity

proc = Identity()

# 接收对象是一个可迭代的对象，如list
result = proc(['', 'one', 'two', 'three'])

# 结果：result = ['', 'one', 'two', 'three']
print(f"result = {result}")

# 源码
# class scrapy.loader.processors.Join(separator=u' ‘)
class Join(object):
 def __init__(self, separator=u' '):
  self.separator = separator
 def __call__(self, values):
  return self.separator.join(values)

# 单独直接使用
from scrapy.loader.processors import Join

# 如果不指定连接符，默认是使用空格连接
proc = Join(";")

# 接收对象是一个可迭代的对象，如list
result = proc(['', 'one', 'two', 'three'])

# 结果：result = ;one;two;three
print(f"result = {result}")

class Compose(object):
 def __init__(self, *functions, **default_loader_context):
  self.functions = functions
  self.stop_on_none = default_loader_context.get('stop_on_none', True)
  self.default_loader_context = default_loader_context
 def __call__(self, value, loader_context=None):
  if loader_context:
   context = MergeDict(loader_context, self.default_loader_context)
  else:
   context = self.default_loader_context
  wrapped_funcs = [wrap_loader_context(f, context) for f in self.functions]
  for func in wrapped_funcs:
   if value is None and self.stop_on_none:
    break
   value = func(value)
  return value

# 单独直接使用
from scrapy.loader.processors import Compose

# stop_on_none=True, 指定在遇到None时，不用中断，还继续处理
# lambda v: v[0], 指定取第一个元素
# str.upper , 大写
proc = Compose(lambda v: v[0], str.upper, stop_on_none=True)

# 接收对象是一个可迭代的对象，如list
result = proc(['one', 'two', None, 'three'])

# 结果：result = ONE
print(f"result = {result}")

# 源码
# class scrapy.loader.processors.MapCompose(*functions, **default_loader_context)
class MapCompose(object):

 def __init__(self, *functions, **default_loader_context):
  self.functions = functions
  self.default_loader_context = default_loader_context

 def __call__(self, value, loader_context=None):
  values = arg_to_iter(value)
  if loader_context:
   context = MergeDict(loader_context, self.default_loader_context)
  else:
   context = self.default_loader_context
  wrapped_funcs = [wrap_loader_context(f, context) for f in self.functions]
  for func in wrapped_funcs:
   next_values = []
   for v in values:
    next_values += arg_to_iter(func(v))
   values = next_values
  return values

# 单独直接使用

from scrapy.loader.processors import MapCompose

def add_firstStr(value):
 return value + "_firstAdd"

def add_secondStr(value):
 return value + "_secondAdd"

# stop_on_none=True, 指定在遇到None时，不用中断，还继续处理
# 依次处理每个list元素
proc = MapCompose(add_firstStr, add_secondStr, str.upper, stop_on_none=True)

# 接收对象是一个可迭代的对象，如list
result = proc(['one', 'two', 'three'])

# 结果：result = ['ONE_FIRSTADD_SECONDADD', 'TWO_FIRSTADD_SECONDADD', 'THREE_FIRSTADD_SECONDADD']
print(f"result = {result}")

# E:\Miniconda\Lib\site-packages\scrapy\loader\__init__.py
class ItemLoader(object):

 default_item_class = Item
 # 可以看到是有默认的输入/输出处理器的，而且默认是什么都不做
 default_input_processor = Identity()
 default_output_processor = Identity()
 default_selector_class = Selector

# 文件items.py
from scrapy.loader import ItemLoader

# 需要继承内置的ItemLoader类
class ArticleItemLoader(ItemLoader):
 # 自定义itemloader，默认的输出处理器为取第一个非空元素
 default_output_processor = TakeFirst()

# 文件boleSpider.py
from ArticleSpider.items import articleDetailItem, ArticleItemLoader

# 使用自定义的ArticleItemLoader实例化一个item_loader 对象
# 然后发现，结果都是从list中取出了一个值：说明我们的设置已经生效了。
item_loader = ArticleItemLoader(item = articleDetailItem(), response=response)
item_loader.add_xpath('title', '//div[@class="entry-header"]/h1/text()')

def removeCommentTags(value):
 # 去掉Tags中提取的评论字符
 if "评论" in value:
  return ""
 else:
  return value

# Tags是一个list，我们需要用","将他们连接起来, 变成了字符串。
# 但是“评论”我们不需要。去掉。 如何去掉“评论”，在input_processor中，判断value是否==“评论”，如果是，就去掉
class articleDetailItem(scrapy.Item):
 tags = scrapy.Field(
  # 去掉评论
  input_processor = MapCompose(removeCommentTags),
  # 将list中的元素，通过“,”连接起来
  output_processor = Join(",")
 ) 

def returnValue(value):
 return value

class articleDetailItem(scrapy.Item):
 content = scrapy.Field(
  # 会覆盖掉默认的default_out
  output_processor = MapCompose(returnValue)
  # 或者使用Identity
  # output_processor = Identity()
 )