Python用selenium爬取淘宝美食信息

江一帆 2020-03-09 AM 1687℃ 0条 38742字 Site load time is:159 ms 百度:已收录

先奉上代码:

# 如果使用PhantomJS则selenium版本只能2.48.0及以下
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
import re
from pyquery import PyQuery as py
import pymongo

MONGO_URL='localhost'
MONGO_DB='taobao'
MONGO_TABLE='product'

SERVICE_ARGS=['--load-images=false','--disk-cache=true'] # 不加载图片,开启缓存

client = pymongo.MongoClient(MONGO_URL, connect=False)
db=client[MONGO_DB]

# browser = webdriver.Chrome()
browser = webdriver.PhantomJS(service_args=SERVICE_ARGS)
browser.set_window_size(1400,900) #设置窗口大小,防止元素位置改变

wait = WebDriverWait(browser, 15)

def search():
     # 执行搜索后跳转到登录界面--选择微博登录-(淘宝要绑定微博,微博登录要取消双重登录验证)
    try:
        browser.get("https://www.taobao.com/")
        print('正在搜索')
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, "#q"))
        )  # 输入框
        submit = wait.until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, "#J_TSearchForm > div.search-button > button"))
        )  # 搜索按钮
        input.send_keys('美食')
        time.sleep(1)
        submit.click()
        # 登录
        print('正在登录')
        wait.until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, "#J_Quick2Static"))
        ).click()  # 点击密码登录
        time.sleep(2)
        wait.until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, "#J_OtherLogin > a.weibo-login"))
        ).click()  # 选择微博登录
        wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, "#pl_login_logged > div > div:nth-child(2) > div > input"))
        ).send_keys(' ')  # 输入账号
        time.sleep(2)
        wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, "#pl_login_logged > div > div:nth-child(3) > div > input"))
        ).send_keys(' ')  # 输入密码
        time.sleep(2)
        wait.until(
            EC.element_to_be_clickable(
                (By.CSS_SELECTOR, "#pl_login_logged > div > div:nth-child(7) > div:nth-child(1) > a > span"))
        ).click()  # 点击登录按钮
        time.sleep(5)
        total = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.total"))
        )
        print('登录成功')
        get_prodects()
        return total.text
    except TimeoutError:
        search()

# 翻页
def next_page(page_number):
    print('正在翻到第'+str(page_number)+'页')
    try:
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.form > input"))
        )  # 输入页数
        submit = wait.until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit"))
        )  # 确定按钮
        input.clear()
        input.send_keys(page_number)
        time.sleep(2)
        submit.click()
        wait.until(  # 判断元素中是否存在指定的文本 判断当前高亮页码的序号是否是page_number  li.item.active
            EC.text_to_be_present_in_element((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > ul > li.item.active > span'),str(page_number))
        )
        get_prodects()
    except TimeoutError:
        next_page(page_number)

# 提取数据
def get_prodects():
    print('正在提取数据')
    wait.until(
        EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-itemlist .items .item'))
    )
    html=browser.page_source # 获取网页源代码
    doc=py(html)
    items=doc('#mainsrp-itemlist .items .item').items()
    for item in items:
        product={
            'image':item.find('.pic .img').attr('src'),
            'price':item.find('.price').text(),
            'deal':item.find('.deal-cnt').text()[:-3],
            'title':item.find('.title').text(),
            'shop':item.find('.shop').text(),
            'location':item.find('.location').text()
        }
        # print(product)
        save_to_mongo(product)

def save_to_mongo(result):
    try:
        if db[MONGO_TABLE].insert(result):
            print("存储到MongoDB成功", result)
    except Exception:
        print("存储到MongoDB失败", result)

def main():
    total=search()
    total=int(re.compile('(\d+)').search(total).group(1)) # 把str强转为int
    # print(total)
    for i in range(2,total+1):
        next_page(i)
    browser.close()


if __name__ == '__main__':
    main()

结果如下:

淘宝美食mongo数据.png

"C:\Program Files\Python\Python38\python.exe" E:/PycharmProjects/test/爬虫/淘宝美食/TaoBaoSpider.py
正在搜索
正在登录
登录成功
正在提取数据
E:/PycharmProjects/test/爬虫/淘宝美食/TaoBaoSpider.py:117: DeprecationWarning: insert is deprecated. Use insert_one or insert_many instead.
  if db[MONGO_TABLE].insert(result):
存储到MongoDB成功 {'image': '//g-search1.alicdn.com/img/bao/uploaded/i4/imgextra/i3/211060109/O1CN01g5A8VZ1Cfxk1wE0a8_!!0-saturn_solar.jpg_230x230.jpg', 'price': '¥59.80', 'deal': '6000+', 'title': '山东特产酱牛肉卤牛肉熟食五香真空480g健身牛肉牛腱肉即食小包装', 'shop': '日彤旗舰店', 'location': '山东 青岛', '_id': ObjectId('5e65b817070577c77949f239')}
存储到MongoDB成功 {'image': '//g-search1.alicdn.com/img/bao/uploaded/i4/i1/1690440456/O1CN01LNTXpC1FEtBiIC6yB_!!0-item_pic.jpg_230x230.jpg', 'price': '¥44.80', 'deal': '3.5万+', 'title': '友臣正宗肉松饼整箱休闲早零食充饥夜宵特产糕点美食营养食品面包', 'shop': '友臣旗舰店', 'location': '福建 泉州', '_id': ObjectId('5e65b817070577c77949f23a')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i2/475325704/O1CN01SoS4Ez1s0TkMD1y5E_!!0-item_pic.jpg_230x230.jpg', 'price': '¥10.90', 'deal': '7.5万+', 'title': '知味观艾草青团网红美食咸蛋黄肉松糯米团子杭州特产糕点小吃零食', 'shop': '知味观官方旗舰店', 'location': '浙江 杭州', '_id': ObjectId('5e65b817070577c77949f23b')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i3/2780349775/O1CN01fdbBay2M507ViTO7T_!!0-item_pic.jpg_230x230.jpg', 'price': '¥19.90', 'deal': '781', 'title': '安徽特产正宗黄山烧饼60个梅干菜扣肉饼手工美食小吃零食糕点', 'shop': '徽味和旗舰店', 'location': '安徽 黄山', '_id': ObjectId('5e65b818070577c77949f23c')}
存储到MongoDB成功 {'image': '//g-search2.alicdn.com/img/bao/uploaded/i4/i1/2901136168/O1CN01ONmRqA1vQzVLiJB2S_!!0-item_pic.jpg_230x230.jpg', 'price': '¥171.00', 'deal': '4178', 'title': '美珍香迷你金钱烧烤猪肉200g+迷你休闲烧烤猪肉200g小吃零食美食', 'shop': '美珍香旗舰店', 'location': '上海', '_id': ObjectId('5e65b818070577c77949f23d')}
存储到MongoDB成功 {'image': '//g-search2.alicdn.com/img/bao/uploaded/i4/i1/725677994/O1CN01C9jVrG28vIjnT4bsM_!!725677994-0-sm.jpg_230x230.jpg', 'price': '¥125.00', 'deal': '4115', 'title': '科尔沁手撕风干牛肉干400g原味内蒙古特产牛肉干美食零食小吃', 'shop': '天猫超市', 'location': '上海', '_id': ObjectId('5e65b818070577c77949f23e')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i2/2780349775/O1CN01blLMR12M506FU8JES_!!0-item_pic.jpg_230x230.jpg', 'price': '¥19.90', 'deal': '1192', 'title': '咸海鸭蛋黄酥雪媚娘12枚早餐面包网红美食糕点心零食小吃休闲食品', 'shop': '徽味和旗舰店', 'location': '安徽 黄山', '_id': ObjectId('5e65b818070577c77949f23f')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i3/3282604381/O1CN01X6NZOS1iEXkd6R3wY_!!0-item_pic.jpg_230x230.jpg', 'price': '¥89.00', 'deal': '1.0万+', 'title': '轩妈家蛋黄酥2盒 红豆味雪媚娘麻薯新鲜糕点美食网红零食小吃早餐', 'shop': '轩妈食品旗舰店', 'location': '广西 南宁', '_id': ObjectId('5e65b818070577c77949f240')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i3/3282604381/O1CN01d3TQvV1iEXjene2EF_!!0-item_pic.jpg_230x230.jpg', 'price': '¥65.80', 'deal': '2.5万+', 'title': '轩妈家蛋黄酥4种口味组合混合装糕点点心美食零食小吃早餐食品', 'shop': '轩妈食品旗舰店', 'location': '广西 南宁', '_id': ObjectId('5e65b818070577c77949f241')}
存储到MongoDB成功 {'image': '//g-search1.alicdn.com/img/bao/uploaded/i4/i2/628189716/O1CN0118GTCN2LdylCslxQ3_!!0-item_pic.jpg_230x230.jpg', 'price': '¥38.90', 'deal': '1.5万+', 'title': '【百草味-肉松饼1kg】网红休闲零食特色小吃美食点心传统', 'shop': '百草味旗舰店', 'location': '浙江 杭州', '_id': ObjectId('5e65b818070577c77949f242')}
存储到MongoDB成功 {'image': '//g-search2.alicdn.com/img/bao/uploaded/i4/i3/725677994/O1CN01T834nB28vIjlZDD1k_!!725677994-0-sm.jpg_230x230.jpg', 'price': '¥59.90', 'deal': '2561', 'title': '好丽友薯愿5连包休闲膨化薯片礼包新老包装饼干美食小吃随机发货', 'shop': '天猫超市', 'location': '上海', '_id': ObjectId('5e65b818070577c77949f243')}
存储到MongoDB成功 {'image': '//g-search2.alicdn.com/img/bao/uploaded/i4/i4/3017400344/O1CN01MXwZHa1EPapinEAtp_!!0-item_pic.jpg_230x230.jpg', 'price': '¥64.50', 'deal': '6.0万+', 'title': '好欢螺螺蛳粉柳州特产美食酸辣粉300gx5袋螺狮粉速食方便面米线', 'shop': '好欢螺旗舰店', 'location': '广西 柳州', '_id': ObjectId('5e65b818070577c77949f244')}
存储到MongoDB成功 {'image': None, 'price': '¥29.90', 'deal': '10万+', 'title': '满减【三只松鼠_蜀香牛肉100g】休闲零食小吃肉脯特产牛肉干美食', 'shop': '三只松鼠旗舰店', 'location': '安徽 芜湖', '_id': ObjectId('5e65b818070577c77949f245')}
存储到MongoDB成功 {'image': None, 'price': '¥69.90', 'deal': '1422', 'title': '满299减200丨自贡冷吃牛肉120g肖三婆四川麻辣牛肉干美食真空熟食', 'shop': '肖三婆旗舰店', 'location': '四川 成都', '_id': ObjectId('5e65b818070577c77949f246')}
存储到MongoDB成功 {'image': None, 'price': '¥25.90', 'deal': '6.5万+', 'title': '【良品铺子-猪肉脯200g】零食小吃肉干网红休闲食品美食小包装', 'shop': '良品铺子旗舰店', 'location': '广东 广州', '_id': ObjectId('5e65b818070577c77949f247')}
存储到MongoDB成功 {'image': None, 'price': '¥119.80', 'deal': '1166', 'title': '【周黑鸭旗舰店_锁鲜】气调盒装卤鸭舌150g*2 美食特产零食品小吃', 'shop': '周黑鸭食品旗舰店', 'location': '湖北 武汉', '_id': ObjectId('5e65b818070577c77949f248')}
存储到MongoDB成功 {'image': None, 'price': '¥118.00', 'deal': '2082', 'title': '李村猪肉脂渣香酥油渣干炸五花肉粕青岛特产小吃美食肉类生酮零食', 'shop': '李村旗舰店', 'location': '山东 青岛', '_id': ObjectId('5e65b818070577c77949f249')}
存储到MongoDB成功 {'image': None, 'price': '¥79.00', 'deal': '2060', 'title': '科尔沁超干牛肉干175g原味内蒙古风干牛肉干草原特产手撕零食美食', 'shop': '天猫超市', 'location': '上海', '_id': ObjectId('5e65b818070577c77949f24a')}
存储到MongoDB成功 {'image': None, 'price': '¥74.50', 'deal': '2.0万+', 'title': '好欢螺螺蛳粉柳州美食螺丝粉400g*5袋螺狮粉速食懒人方便面非泡面', 'shop': '好欢螺旗舰店', 'location': '广西 柳州', '_id': ObjectId('5e65b818070577c77949f24b')}
存储到MongoDB成功 {'image': None, 'price': '¥39.90', 'deal': '6000+', 'title': '好丽友呀土豆9连包超值礼包实惠家庭装休闲膨化薯片饼干美食小吃', 'shop': '天猫超市', 'location': '上海', '_id': ObjectId('5e65b818070577c77949f24c')}
存储到MongoDB成功 {'image': None, 'price': '¥288.00', 'deal': '8', 'title': '【周黑鸭门店同款】熹礼礼盒920g 含整鸭 美食特产零食大礼包礼盒', 'shop': '周黑鸭食品旗舰店', 'location': '湖北 武汉', '_id': ObjectId('5e65b818070577c77949f24d')}
存储到MongoDB成功 {'image': None, 'price': '¥73.50', 'deal': '2918', 'title': '友臣肉松饼2.1kg营养早餐点心美食晚上解饿零食糕点整箱批发面包', 'shop': '友臣旗舰店', 'location': '福建 泉州', '_id': ObjectId('5e65b818070577c77949f24e')}
存储到MongoDB成功 {'image': None, 'price': '¥29.80', 'deal': '5.5万+', 'title': '卫龙大礼包辣条亲嘴烧豆干麻辣味整箱儿时小吃休闲美食网红零食品', 'shop': '猫诚旗舰店', 'location': '安徽 合肥', '_id': ObjectId('5e65b818070577c77949f24f')}
存储到MongoDB成功 {'image': None, 'price': '¥36.80', 'deal': '1.5万+', 'title': '蛋黄酥海鸭蛋零食小吃网红充饥夜宵特产美食糕点点心整箱休闲食品', 'shop': '比比赞旗舰店', 'location': '福建 厦门', '_id': ObjectId('5e65b818070577c77949f250')}
存储到MongoDB成功 {'image': None, 'price': '¥69.90', 'deal': '1052', 'title': '满299减200丨肖三婆无骨鸭掌150g麻辣去脱骨鸭爪四川特产卤味美食', 'shop': '肖三婆旗舰店', 'location': '四川 成都', '_id': ObjectId('5e65b818070577c77949f251')}
存储到MongoDB成功 {'image': None, 'price': '¥45.90', 'deal': '1847', 'title': '阿宽白家红油面皮12袋1260g特色小吃方便面非火鸡面成都特色美食', 'shop': '天猫超市', 'location': '上海', '_id': ObjectId('5e65b818070577c77949f252')}
存储到MongoDB成功 {'image': None, 'price': '¥64.90', 'deal': '1099', 'title': '盼盼肉松饼整箱营养早餐糕点小吃面包特产美食网红小零食2100g', 'shop': '盼盼食品官方旗舰店', 'location': '河南 漯河', '_id': ObjectId('5e65b818070577c77949f253')}
存储到MongoDB成功 {'image': None, 'price': '¥189.00', 'deal': '1068', 'title': '散装【卫龙旗舰店】魔芋爽整箱辣条毛肚素食香麻辣网红美食小袋装', 'shop': '卫龙食品旗舰店', 'location': '河南 漯河', '_id': ObjectId('5e65b818070577c77949f254')}
存储到MongoDB成功 {'image': None, 'price': '¥123.00', 'deal': '2597', 'title': '【德州扒鸡旗舰店】德州扒鸡正宗鸡爪熟食零食美食德州 扒鸡600g3', 'shop': '德州扒鸡旗舰店', 'location': '山东 德州', '_id': ObjectId('5e65b818070577c77949f255')}
存储到MongoDB成功 {'image': None, 'price': '¥68.00', 'deal': '222', 'title': '沈大成糕点桂花拉糕2盒 上海特产老字号 糯米糕点心 网红美食', 'shop': '沈大成旗舰店', 'location': '上海', '_id': ObjectId('5e65b818070577c77949f256')}
存储到MongoDB成功 {'image': None, 'price': '¥92.90', 'deal': '1752', 'title': '廖记棒棒鸡无骨鸡爪两份920g 四川特色小吃麻辣无骨鸡爪零食美食', 'shop': '廖记棒棒鸡旗舰店', 'location': '四川 成都', '_id': ObjectId('5e65b818070577c77949f257')}
存储到MongoDB成功 {'image': None, 'price': '¥39.90', 'deal': '5000+', 'title': '嘉华鲜花饼云腿小饼12枚礼袋云南特产零食小吃美食早餐传统糕点心', 'shop': '嘉华食品旗舰店', 'location': '云南 昆明', '_id': ObjectId('5e65b818070577c77949f258')}
存储到MongoDB成功 {'image': None, 'price': '¥19.90', 'deal': '3.5万+', 'title': '【良品铺子-甜辣鸭脖子190g】卤味零食小吃美食休闲食品小包装', 'shop': '良品铺子旗舰店', 'location': '广东 广州', '_id': ObjectId('5e65b818070577c77949f259')}
存储到MongoDB成功 {'image': None, 'price': '¥56.00', 'deal': '2793', 'title': '桂花鸭南京盐水鸭1000g正宗江苏特产年货美食板鸭咸水鸭真空熟食', 'shop': '桂花鸭旗舰店', 'location': '江苏 南京', '_id': ObjectId('5e65b818070577c77949f25a')}
存储到MongoDB成功 {'image': None, 'price': '¥84.90', 'deal': '2052', 'title': '桃李天然酵母面包1800g营养早餐零食美食品手撕口袋面包蛋糕整箱', 'shop': '桃李食品旗舰店', 'location': '辽宁 沈阳', '_id': ObjectId('5e65b818070577c77949f25b')}
存储到MongoDB成功 {'image': None, 'price': '¥69.00', 'deal': '1547', 'title': '杨大爷五花腊肉500g四川美食特产腊肉农家自制烟熏肥咸肉柴火腊肉', 'shop': '杨大爷旗舰店', 'location': '四川 成都', '_id': ObjectId('5e65b818070577c77949f25c')}
存储到MongoDB成功 {'image': None, 'price': '¥20.50', 'deal': '3508', 'title': '满减【三只松鼠_墨玉川式芝麻酥135g】美食早餐小吃点心休闲零食', 'shop': '三只松鼠旗舰店', 'location': '安徽 芜湖', '_id': ObjectId('5e65b818070577c77949f25d')}
存储到MongoDB成功 {'image': None, 'price': '¥69.90', 'deal': '1897', 'title': '双鱼猪肉脯400克靖江特产猪肉铺金奖猪肉干自然片老字号中华美食', 'shop': '双鱼食品旗舰店', 'location': '江苏 泰州', '_id': ObjectId('5e65b818070577c77949f25e')}
存储到MongoDB成功 {'image': None, 'price': '¥109.00', 'deal': '721', 'title': '桂花鸭南京盐水鸭+酱鸭2000g特产正宗美食送礼真空装熟食年货食品', 'shop': '桂花鸭旗舰店', 'location': '江苏 南京', '_id': ObjectId('5e65b818070577c77949f25f')}
存储到MongoDB成功 {'image': None, 'price': '¥29.90', 'deal': '3.0万+', 'title': '绝艺鸭货零食大礼包麻辣味网红小吃休闲食品充饥夜宵整箱散装美食', 'shop': '绝艺食品旗舰店', 'location': '湖南 长沙', '_id': ObjectId('5e65b818070577c77949f260')}
存储到MongoDB成功 {'image': None, 'price': '¥178.00', 'deal': '494', 'title': '修文鸭舌温州特产酱鸭舌酱卤鸭舌头原味美食小吃休闲零食净重480g', 'shop': '修文食品官方旗舰店', 'location': '浙江 温州', '_id': ObjectId('5e65b818070577c77949f261')}
存储到MongoDB成功 {'image': None, 'price': '¥29.90', 'deal': '4604', 'title': '来伊份虎皮蛋糕168gx2糕点零食奶香夹心蛋糕美食早餐软点心小包装', 'shop': '来伊份官方旗舰店', 'location': '上海', '_id': ObjectId('5e65b818070577c77949f262')}
存储到MongoDB成功 {'image': None, 'price': '¥121.00', 'deal': '1112', 'title': '【旗舰店】螺状元柳州螺蛳粉280g*10袋礼盒装特产美食广西螺丝粉', 'shop': '螺状元旗舰店', 'location': '广西 柳州', '_id': ObjectId('5e65b818070577c77949f263')}
存储到MongoDB成功 {'image': None, 'price': '¥36.90', 'deal': '1.0万+', 'title': '沈师傅鸡蛋干四川特产豆腐干成都美食豆干小吃零食休闲食品非150g', 'shop': '沈师傅旗舰店', 'location': '四川 成都', '_id': ObjectId('5e65b818070577c77949f264')}
存储到MongoDB成功 {'image': None, 'price': '¥29.90', 'deal': '1.0万+', 'title': '五芳斋绿豆糕伴手礼桂花糕办公室点心休闲小吃零食绿豆饼好吃美食', 'shop': '五芳斋官方旗舰店', 'location': '浙江 嘉兴', '_id': ObjectId('5e65b818070577c77949f265')}
存储到MongoDB成功 {'image': None, 'price': '¥60.00', 'deal': '1566', 'title': '奇多粟米棒休闲食品小吃零食整箱混装90*12童年回忆怀旧网红美食', 'shop': '百事集团官方旗舰店', 'location': '江苏 无锡', '_id': ObjectId('5e65b818070577c77949f266')}
存储到MongoDB成功 {'image': None, 'price': '¥32.90', 'deal': '5000+', 'title': '稻香村牛舌饼360G*2好吃的传统特产特色糕点心酥皮美食小吃零食', 'shop': '稻香村食品旗舰店', 'location': '北京', '_id': ObjectId('5e65b818070577c77949f267')}
存储到MongoDB成功 {'image': None, 'price': '¥90.00', 'deal': '660', 'title': '美珍香芝士烧烤猪肉200g女生办公室零食网红特产小吃小孩肉类美食', 'shop': '美珍香旗舰店', 'location': '上海', '_id': ObjectId('5e65b818070577c77949f268')}
正在翻到第2页
正在提取数据
存储到MongoDB成功 {'image': '//g-search1.alicdn.com/img/bao/uploaded/i4/imgextra/i2/355210051/O1CN010bqXZy1CFOmnpz1vu_!!0-saturn_solar.jpg_230x230.jpg', 'price': '¥59.00', 'deal': '900', 'title': '王小余外卖料理包盖浇饭煲仔饭快餐方便菜肴包简餐冷冻速食批发', 'shop': '王小余旗舰店', 'location': '湖南 长沙', '_id': ObjectId('5e65b81d070577c77949f269')}
存储到MongoDB成功 {'image': '//g-search1.alicdn.com/img/bao/uploaded/i4/imgextra/i3/31955429/O1CN01DUqXSW1pyWpUevs0i_!!0-saturn_solar.jpg_230x230.jpg', 'price': '¥39.00', 'deal': '1017', 'title': '礼记 杏仁饼 澳门礼记饼家 粒粒澳门手信特产圆罐美食零食410g', 'shop': '澳门礼记饼家旗舰店', 'location': '广东 珠海', '_id': ObjectId('5e65b81d070577c77949f26a')}
存储到MongoDB成功 {'image': '//g-search1.alicdn.com/img/bao/uploaded/i4/imgextra/i4/128920586/TB2AODfqOOYBuNjSsD4XXbSkFXa_!!0-saturn_solar.jpg_230x230.jpg', 'price': '¥45.80', 'deal': '9500+', 'title': '正宗香肠腊肠咸甜味纯肉安徽农家自制灌肠手工土特产风干特色腊味', 'shop': '挑货佬旗舰店', 'location': '安徽 合肥', '_id': ObjectId('5e65b81d070577c77949f26b')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i1/2112833578/O1CN01vCskFZ1cIli65RWbO_!!0-item_pic.jpg_230x230.jpg', 'price': '¥69.90', 'deal': '705', 'title': '港荣奶香蒸蛋糕点点心 整箱营养早餐零食品美食手撕小吃面包邮', 'shop': '港荣食品旗舰店', 'location': '广东 揭阳', '_id': ObjectId('5e65b81d070577c77949f26c')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i4/1719214398/O1CN019NyQD71iMKTy0GvDt_!!0-item_pic.jpg_230x230.jpg', 'price': '¥49.00', 'deal': '2395', 'title': '【买二送一】沈大成糕点青芝士团网红零食小吃老字号美食上海特产', 'shop': '沈大成旗舰店', 'location': '上海', '_id': ObjectId('5e65b81d070577c77949f26d')}
存储到MongoDB成功 {'image': '//g-search2.alicdn.com/img/bao/uploaded/i4/i4/2200757237600/O1CN01b7qOBA260qfUahx1r_!!0-item_pic.jpg_230x230.jpg', 'price': '¥99.00', 'deal': '', 'title': '科尔沁手撕风干牛肉干400g原味内蒙古特产牛肉干美食零食小吃', 'shop': '天猫会员店', 'location': '上海', '_id': ObjectId('5e65b81d070577c77949f26e')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i2/3417098543/O1CN010KZu3a2CykB5pWFhh_!!0-item_pic.jpg_230x230.jpg', 'price': '¥37.90', 'deal': '2.5万+', 'title': '【顺丰快递】柳州螺蛳粉家柳广西特产螺狮美食300g*5包方便酸辣粉', 'shop': '家柳旗舰店', 'location': '广西 柳州', '_id': ObjectId('5e65b81d070577c77949f26f')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i1/2653324232/O1CN01qDJHEK1h8IjkVPXYa_!!0-item_pic.jpg_230x230.jpg', 'price': '¥52.00', 'deal': '6000+', 'title': '沈厅 周庄特产沈万三家蹄髈1000g猪蹄酱肘子蹄膀肉类熟食卤味美食', 'shop': '沈厅旗舰店', 'location': '江苏 苏州', '_id': ObjectId('5e65b81d070577c77949f270')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i1/475325704/O1CN01euNxPt1s0TjwGTYLb_!!0-item_pic.jpg_230x230.jpg', 'price': '¥86.70', 'deal': '257', 'title': '满减【知味观杭州酱鸭】酱板鸭浙江特产鸭肉小吃美食卤味零食熟食', 'shop': '知味观官方旗舰店', 'location': '浙江 杭州', '_id': ObjectId('5e65b81d070577c77949f271')}
存储到MongoDB成功 {'image': '//g-search1.alicdn.com/img/bao/uploaded/i4/i1/2780349775/TB2kLjErxSYBuNjSsphXXbGvVXa_!!2780349775-0-item_pic.jpg_230x230.jpg', 'price': '¥59.90', 'deal': '2', 'title': '正宗安徽特产糯米锅巴2400g 传统美食零食小吃批发 大份量', 'shop': '徽味和旗舰店', 'location': '安徽 黄山', '_id': ObjectId('5e65b81d070577c77949f272')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i3/2780349775/O1CN01vNKwyC2M507TWBZot_!!0-item_pic.jpg_230x230.jpg', 'price': '¥24.90', 'deal': '21', 'title': '徽味和 零食小吃营养办公室休闲美食芝士小脆条好吃糕点2罐', 'shop': '徽味和旗舰店', 'location': '安徽 黄山', '_id': ObjectId('5e65b81d070577c77949f273')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i3/3017400344/O1CN01uenr341EPappYcz5V_!!0-item_pic.jpg_230x230.jpg', 'price': '¥77.40', 'deal': '3.5万+', 'title': '好欢螺螺蛳粉300g*6袋柳州特产螺狮粉美食螺丝粉煮水方便面酸辣粉', 'shop': '好欢螺旗舰店', 'location': '广西 柳州', '_id': ObjectId('5e65b81d070577c77949f274')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i4/392147177/O1CN01fiVlzN22t78xBwRdQ_!!0-item_pic.jpg_230x230.jpg', 'price': '¥59.90', 'deal': '5000+', 'title': '【周黑鸭旗舰店_锁鲜】气调盒装卤鸭舌150g 美食特产食品零食小吃', 'shop': '周黑鸭食品旗舰店', 'location': '上海', '_id': ObjectId('5e65b81d070577c77949f275')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i1/392147177/O1CN01AngkGR22t79TKoYq1_!!0-item_pic.jpg_230x230.jpg', 'price': '¥49.90', 'deal': '2.0万+', 'title': '【周黑鸭旗舰店】锁鲜卤鸭脖200g鸭锁骨240g美食特产零食小吃熟食', 'shop': '周黑鸭食品旗舰店', 'location': '上海', '_id': ObjectId('5e65b81d070577c77949f276')}
存储到MongoDB成功 {'image': '//g-search1.alicdn.com/img/bao/uploaded/i4/i1/3282604381/O1CN01xnrcQx1iEXjdPvrjc_!!0-item_pic.jpg_230x230.jpg', 'price': '¥39.90', 'deal': '1.5万+', 'title': '轩妈家芝士酥4枚 蛋黄酥芝士雪媚娘麻薯软糯新鲜糕点美食早餐零食', 'shop': '轩妈食品旗舰店', 'location': '广西 南宁', '_id': ObjectId('5e65b81d070577c77949f277')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i4/2453625574/O1CN014YbSCz1r2wFmsUoev_!!0-item_pic.jpg_230x230.jpg', 'price': '¥105.00', 'deal': '310', 'title': '满299减200丨香辣卤鸭舌头四川美食地方特色小零食下酒菜网红小吃', 'shop': '肖三婆旗舰店', 'location': '四川 成都', '_id': ObjectId('5e65b81d070577c77949f278')}
存储到MongoDB成功 {'image': None, 'price': '¥48.00', 'deal': '7000+', 'title': '轩妈家蛋黄酥芝士冰沙味55g*6枚 雪媚娘夹心馅美食糕点早餐零食', 'shop': '轩妈食品旗舰店', 'location': '广西 南宁', '_id': ObjectId('5e65b81d070577c77949f279')}
存储到MongoDB成功 {'image': None, 'price': '¥56.80', 'deal': '1253', 'title': '草原今朝风干牛肉干原味106g内蒙古特产新鲜真空包装休闲零食美食', 'shop': '天猫超市', 'location': '上海', '_id': ObjectId('5e65b81d070577c77949f27a')}
存储到MongoDB成功 {'image': None, 'price': '¥22.90', 'deal': '9.5万+', 'title': '三只松鼠蜀香麻辣味牛肉干100g麻辣小零食熟食特产牛肉粒美食小吃', 'shop': '天猫超市', 'location': '上海', '_id': ObjectId('5e65b81d070577c77949f27b')}
存储到MongoDB成功 {'image': None, 'price': '¥19.90', 'deal': '3.5万+', 'title': '【良品铺子-甜辣鸭脖子190g】卤味零食小吃美食休闲食品小包装', 'shop': '良品铺子旗舰店', 'location': '广东 广州', '_id': ObjectId('5e65b81d070577c77949f27c')}
存储到MongoDB成功 {'image': None, 'price': '¥44.70', 'deal': '1.5万+', 'title': '好欢螺螺蛳粉柳州美食特产螺狮粉400g*3袋螺丝粉速食方便面酸辣粉', 'shop': '好欢螺旗舰店', 'location': '广西 柳州', '_id': ObjectId('5e65b81d070577c77949f27d')}
存储到MongoDB成功 {'image': None, 'price': '¥208.00', 'deal': '22', 'title': '【满299减200】肖三婆腊猪尾巴农家自制腊味手工美食烟熏腊肉香肠', 'shop': '肖三婆旗舰店', 'location': '四川 成都', '_id': ObjectId('5e65b81d070577c77949f27e')}
存储到MongoDB成功 {'image': None, 'price': '¥17.90', 'deal': '4564', 'title': '满减【三只松鼠_白玉川式花生酥135g】美食早餐小吃点心休闲零食', 'shop': '三只松鼠旗舰店', 'location': '安徽 芜湖', '_id': ObjectId('5e65b81d070577c77949f27f')}
存储到MongoDB成功 {'image': None, 'price': '¥90.00', 'deal': '302', 'title': '友臣肉松饼办公室零食特产早餐整箱小吃糕点1250g*2箱美食', 'shop': '友臣旗舰店', 'location': '福建 泉州', '_id': ObjectId('5e65b81d070577c77949f280')}
存储到MongoDB成功 {'image': None, 'price': '¥66.00', 'deal': '1315', 'title': '桂花鸭南京特产盐水鸭正宗银桂流香真空板鸭美食熟食品咸水鸭1kg', 'shop': '桂花鸭旗舰店', 'location': '江苏 南京', '_id': ObjectId('5e65b81d070577c77949f281')}
存储到MongoDB成功 {'image': None, 'price': '¥29.90', 'deal': '400', 'title': '上好旺香甜玉米酥1斤花生芝麻点心特产美食小吃早餐零食饼干糕点', 'shop': '天猫超市', 'location': '上海', '_id': ObjectId('5e65b81d070577c77949f282')}
存储到MongoDB成功 {'image': None, 'price': '¥17.20', 'deal': '1.0万+', 'title': '【百草味】麻薯(抹茶味)210g*2袋装 糕点小吃美食 早餐休闲零食', 'shop': '天猫超市', 'location': '上海', '_id': ObjectId('5e65b81d070577c77949f283')}
存储到MongoDB成功 {'image': None, 'price': '¥31.90', 'deal': '820', 'title': '蜜诺达法式咸芝士西饼150g*2罐曲奇饼干烘焙零食休闲小吃美食早餐', 'shop': '天猫超市', 'location': '上海', '_id': ObjectId('5e65b81d070577c77949f284')}
存储到MongoDB成功 {'image': None, 'price': '¥65.00', 'deal': '5.5万+', 'title': '螺状元柳州螺蛳粉特产美食方便面速食螺狮粉米线广西螺丝粉', 'shop': '螺状元旗舰店', 'location': '广西 柳州', '_id': ObjectId('5e65b81d070577c77949f285')}
存储到MongoDB成功 {'image': None, 'price': '¥29.00', 'deal': '4623', 'title': '沈大成糕点桂花拉糕上海特产老字号传统手工糕点心网红美食桂花糕', 'shop': '沈大成旗舰店', 'location': '上海', '_id': ObjectId('5e65b81d070577c77949f286')}
存储到MongoDB成功 {'image': None, 'price': '¥1550.00', 'deal': '42', 'title': 'Hape 美食家超能大厨房大型仿真厨房过家家玩具女孩益智玩具', 'shop': '天天装饰店', 'location': '江苏 苏州', '_id': ObjectId('5e65b81d070577c77949f287')}
存储到MongoDB成功 {'image': None, 'price': '¥115.00', 'deal': '6000+', 'title': '螺蛳粉螺霸王螺丝粉广西柳州正宗美食特产10包礼盒装整箱螺狮粉', 'shop': '广西御品香食品有限公司店', 'location': '广西 柳州', '_id': ObjectId('5e65b81d070577c77949f288')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i2/1692258071/O1CN0150relj29UZEc14hL8_!!0-item_pic.jpg_230x230.jpg', 'price': '¥28.90', 'deal': '1653', 'title': '稻香村芝麻瓦片450g好吃传统糕点点心饼干休闲零食品美食特产小吃', 'shop': '稻香村食品旗舰店', 'location': '北京', '_id': ObjectId('5e65b81d070577c77949f289')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i2/1893751150/O1CN01Nj0a4i1KMk3w3iaWc_!!0-item_pic.jpg_230x230.jpg', 'price': '¥44.50', 'deal': '1749', 'title': '奇多粟米棒食品小吃零食礼包整箱牛排火鸡味60g*12包怀旧美食', 'shop': '百事集团官方旗舰店', 'location': '江苏 无锡', '_id': ObjectId('5e65b81d070577c77949f28a')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i1/739302607/O1CN010g60Ei1V8383BrfNA_!!0-item_pic.jpg_230x230.jpg', 'price': '¥158.60', 'deal': '509', 'title': '乐奈网红零食大礼包女生组合一整箱多口味混装办公室休闲小吃美食', 'shop': '乐奈旗舰店', 'location': '江苏 苏州', '_id': ObjectId('5e65b81d070577c77949f28b')}
存储到MongoDB成功 {'image': '//g-search1.alicdn.com/img/bao/uploaded/i4/i3/1023528406/O1CN01HhlFtI2BxzukCu07L_!!0-item_pic.jpg_230x230.jpg', 'price': '¥108.00', 'deal': '416', 'title': '广州酒家天天向上糕点零食礼包礼盒广东美食小吃饼干节日送礼手信', 'shop': '广州酒家旗舰店', 'location': '广东 广州', '_id': ObjectId('5e65b81d070577c77949f28c')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i3/2033032140/O1CN01GNrsff1RgA49Axs63_!!0-item_pic.jpg_230x230.jpg', 'price': '¥55.00', 'deal': '1517', 'title': '杏花楼老字号上海美食传统熟食咸鸡即食卤味白鸡切盐水鸡真空', 'shop': '杏花楼食品旗舰店', 'location': '上海', '_id': ObjectId('5e65b81d070577c77949f28d')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i3/3087037216/O1CN01H2Zloe23Ayb8fSOLI_!!0-item_pic.jpg_230x230.jpg', 'price': '¥34.90', 'deal': '1.5万+', 'title': '螺状元柳州螺蛳粉少女粉特产美食螺狮粉辣方便面速食广西螺丝粉', 'shop': '螺状元旗舰店', 'location': '广西 柳州', '_id': ObjectId('5e65b81d070577c77949f28e')}
存储到MongoDB成功 {'image': '//g-search2.alicdn.com/img/bao/uploaded/i4/i1/1690440456/O1CN01smbxix1FEtBBWAS1F_!!0-item_pic.jpg_230x230.jpg', 'price': '¥19.90', 'deal': '9000+', 'title': '友臣散装肉松饼500g营养早餐糕点网红零食美食小吃休闲食品点心', 'shop': '友臣旗舰店', 'location': '福建 泉州', '_id': ObjectId('5e65b81d070577c77949f28f')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i1/4010105128/O1CN01JeN8N51nkfbv6BZzk_!!0-item_pic.jpg_230x230.jpg', 'price': '¥69.90', 'deal': '1006', 'title': '嗨吃家酸辣粉桶装整箱12桶重庆网红美食嗨吃家红薯粉丝方便速食', 'shop': '川之味食品专营店', 'location': '河南 郑州', '_id': ObjectId('5e65b81d070577c77949f290')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i1/619123122/O1CN01arHaI81Yvv6WAes8F_!!0-item_pic.jpg_230x230.jpg', 'price': '¥26.90', 'deal': '1.5万+', 'title': '【良品铺子-肉松饼380g】早餐糕点零食美食小吃休闲食品满减', 'shop': '良品铺子旗舰店', 'location': '广东 广州', '_id': ObjectId('5e65b81d070577c77949f291')}
存储到MongoDB成功 {'image': '//g-search2.alicdn.com/img/bao/uploaded/i4/i3/732501769/O1CN01tu2gBR1OwFECXHtB9_!!0-item_pic.jpg_230x230.jpg', 'price': '¥18.90', 'deal': '1923', 'title': '来伊份桃酥252g饼干传统糕点点心酥饼休闲零食小吃美食食品核桃酥', 'shop': '来伊份官方旗舰店', 'location': '上海', '_id': ObjectId('5e65b81d070577c77949f292')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i4/3477045551/O1CN01PUnfzV1qsP9IpGzgu_!!0-item_pic.jpg_230x230.jpg', 'price': '¥63.88', 'deal': '4155', 'title': '柳螺宗蛳螺蛳粉正宗柳州特产美食330g*5袋螺狮粉整箱礼盒装螺丝粉', 'shop': '柳螺宗蛳旗舰店', 'location': '广西 柳州', '_id': ObjectId('5e65b81d070577c77949f293')}
存储到MongoDB成功 {'image': '//g-search2.alicdn.com/img/bao/uploaded/i4/i2/1692258071/O1CN01lL4kNM29UZEeF0HzW_!!0-item_pic.jpg_230x230.jpg', 'price': '¥26.90', 'deal': '1776', 'title': '稻香村江米条260g*2特色传统好吃的特产80后怀旧美食小吃零食茶点', 'shop': '稻香村食品旗舰店', 'location': '北京', '_id': ObjectId('5e65b81d070577c77949f294')}
正在翻到第3页

进程已结束,退出代码 -1

就是不知道为什么有的图片获取不到链接?不用PhantomJS就可以全部获取到。
不用PhantomJS的时候

{'image': '//g.alicdn.com/s.gif', 'price': '¥69.90', 'deal': '1422', 'title': '满299减200丨自贡冷吃牛肉120g肖三婆四川麻辣牛肉干美食真空熟食', 'shop': '肖三婆旗舰店', 'location': '四川 成都', '_id': ObjectId('5e65bdbc60aa342626aa2447')}

用PhantomJS的时候

{'image': None, 'price': '¥69.90', 'deal': '1422', 'title': '满299减200丨自贡冷吃牛肉120g肖三婆四川麻辣牛肉干美食真空熟食', 'shop': '肖三婆旗舰店', 'location': '四川 成都', '_id': ObjectId('5e65b818070577c77949f246')}

对比发现可能是爬取速度太快没有加载出来gif图片,但是加入time.sleep(5)依然如此,这是可能是PhantomJS的一个bug,改用Chrome Headless模式(Chrome 59及以上)

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
browser = webdriver.Chrome(chrome_options=chrome_options)

部分结果:

存储到MongoDB成功 {'image': '//g-search1.alicdn.com/img/bao/uploaded/i4/imgextra/i3/211060109/O1CN01g5A8VZ1Cfxk1wE0a8_!!0-saturn_solar.jpg_180x180.jpg', 'price': '¥59.80', 'deal': '6000+', 'title': '山东特产酱牛肉卤牛肉熟食五香真空480g健身牛肉牛腱肉即食小包装', 'shop': '日彤旗舰店', 'location': '山东 青岛', '_id': ObjectId('5e65c110d162fe0e0bcd1a8f')}
存储到MongoDB成功 {'image': '//g-search2.alicdn.com/img/bao/uploaded/i4/i2/475325704/O1CN01SoS4Ez1s0TkMD1y5E_!!0-item_pic.jpg_180x180.jpg', 'price': '¥10.90', 'deal': '7.5万+', 'title': '知味观艾草青团网红美食咸蛋黄肉松糯米团子杭州特产糕点小吃零食', 'shop': '知味观官方旗舰店', 'location': '浙江 杭州', '_id': ObjectId('5e65c110d162fe0e0bcd1a90')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i1/475325704/O1CN01qUbxld1s0TkL8kzr4_!!0-item_pic.jpg_180x180.jpg', 'price': '¥19.90', 'deal': '8000+', 'title': '知味观绿豆糕杭州特产桂花绿豆饼糕点好吃的老式传统美食抹茶零食', 'shop': '知味观官方旗舰店', 'location': '浙江 杭州', '_id': ObjectId('5e65c110d162fe0e0bcd1a91')}
存储到MongoDB成功 {'image': '//g-search2.alicdn.com/img/bao/uploaded/i4/i3/2780349775/O1CN01fdbBay2M507ViTO7T_!!0-item_pic.jpg_180x180.jpg', 'price': '¥19.90', 'deal': '801', 'title': '安徽特产正宗黄山烧饼60个梅干菜扣肉饼手工美食小吃零食糕点', 'shop': '徽味和旗舰店', 'location': '安徽 黄山', '_id': ObjectId('5e65c110d162fe0e0bcd1a92')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i1/2901136168/O1CN01ONmRqA1vQzVLiJB2S_!!0-item_pic.jpg_180x180.jpg', 'price': '¥171.00', 'deal': '4299', 'title': '美珍香迷你金钱烧烤猪肉200g+迷你休闲烧烤猪肉200g小吃零食美食', 'shop': '美珍香旗舰店', 'location': '上海', '_id': ObjectId('5e65c110d162fe0e0bcd1a93')}
存储到MongoDB成功 {'image': '//g-search2.alicdn.com/img/bao/uploaded/i4/i1/725677994/O1CN01C9jVrG28vIjnT4bsM_!!725677994-0-sm.jpg_180x180.jpg', 'price': '¥139.00', 'deal': '4156', 'title': '科尔沁手撕风干牛肉干400g原味内蒙古特产牛肉干美食零食小吃', 'shop': '天猫超市', 'location': '上海', '_id': ObjectId('5e65c110d162fe0e0bcd1a94')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i2/2780349775/O1CN01blLMR12M506FU8JES_!!0-item_pic.jpg_180x180.jpg', 'price': '¥19.90', 'deal': '1216', 'title': '咸海鸭蛋黄酥雪媚娘12枚早餐面包网红美食糕点心零食小吃休闲食品', 'shop': '徽味和旗舰店', 'location': '安徽 黄山', '_id': ObjectId('5e65c110d162fe0e0bcd1a95')}
存储到MongoDB成功 {'image': '//g-search3.alicdn.com/img/bao/uploaded/i4/i3/3282604381/O1CN018msmXw1iEXkerMyhB_!!3282604381.jpg_180x180.jpg', 'price': '¥89.00', 'deal': '1.0万+', 'title': '轩妈家蛋黄酥2盒 红豆味雪媚娘麻薯新鲜糕点美食网红零食小吃早餐', 'shop': '轩妈食品旗舰店', 'location': '广西 南宁', '_id': ObjectId('5e65c110d162fe0e0bcd1a96')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥65.80', 'deal': '2.5万+', 'title': '轩妈家蛋黄酥4种口味组合混合装糕点点心美食零食小吃早餐食品', 'shop': '轩妈食品旗舰店', 'location': '广西 南宁', '_id': ObjectId('5e65c110d162fe0e0bcd1a97')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥44.80', 'deal': '3.5万+', 'title': '友臣正宗肉松饼整箱休闲早零食充饥夜宵特产糕点美食营养食品面包', 'shop': '友臣旗舰店', 'location': '福建 泉州', '_id': ObjectId('5e65c110d162fe0e0bcd1a98')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥38.90', 'deal': '1.5万+', 'title': '【百草味-肉松饼1kg】网红休闲零食特色小吃美食点心传统', 'shop': '百草味旗舰店', 'location': '浙江 杭州', '_id': ObjectId('5e65c110d162fe0e0bcd1a99')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥59.90', 'deal': '2569', 'title': '好丽友薯愿5连包休闲膨化薯片礼包新老包装饼干美食小吃随机发货', 'shop': '天猫超市', 'location': '上海', '_id': ObjectId('5e65c110d162fe0e0bcd1a9a')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥64.50', 'deal': '6.0万+', 'title': '好欢螺螺蛳粉柳州特产美食酸辣粉300gx5袋螺狮粉速食方便面米线', 'shop': '好欢螺旗舰店', 'location': '广西 柳州', '_id': ObjectId('5e65c110d162fe0e0bcd1a9b')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥69.90', 'deal': '1440', 'title': '满299减200丨自贡冷吃牛肉120g肖三婆四川麻辣牛肉干美食真空熟食', 'shop': '肖三婆旗舰店', 'location': '四川 成都', '_id': ObjectId('5e65c110d162fe0e0bcd1a9c')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥29.90', 'deal': '10万+', 'title': '满减【三只松鼠_蜀香牛肉100g】休闲零食小吃肉脯特产牛肉干美食', 'shop': '三只松鼠旗舰店', 'location': '安徽 芜湖', '_id': ObjectId('5e65c110d162fe0e0bcd1a9d')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥25.90', 'deal': '6.5万+', 'title': '【良品铺子-猪肉脯200g】零食小吃肉干网红休闲食品美食小包装', 'shop': '良品铺子旗舰店', 'location': '广东 广州', '_id': ObjectId('5e65c110d162fe0e0bcd1a9e')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥119.80', 'deal': '1184', 'title': '【周黑鸭旗舰店_锁鲜】气调盒装卤鸭舌150g*2 美食特产零食品小吃', 'shop': '周黑鸭食品旗舰店', 'location': '湖北 武汉', '_id': ObjectId('5e65c110d162fe0e0bcd1a9f')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥118.00', 'deal': '2100', 'title': '李村猪肉脂渣香酥油渣干炸五花肉粕青岛特产小吃美食肉类生酮零食', 'shop': '李村旗舰店', 'location': '山东 青岛', '_id': ObjectId('5e65c110d162fe0e0bcd1aa0')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥99.00', 'deal': '2054', 'title': '科尔沁超干牛肉干175g原味内蒙古风干牛肉干草原特产手撕零食美食', 'shop': '天猫超市', 'location': '上海', '_id': ObjectId('5e65c110d162fe0e0bcd1aa1')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥59.00', 'deal': '6000+', 'title': '好丽友呀土豆9连包超值礼包实惠家庭装休闲膨化薯片饼干美食小吃', 'shop': '天猫超市', 'location': '上海', '_id': ObjectId('5e65c110d162fe0e0bcd1aa2')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥74.50', 'deal': '2.0万+', 'title': '好欢螺螺蛳粉柳州美食螺丝粉400g*5袋螺狮粉速食懒人方便面非泡面', 'shop': '好欢螺旗舰店', 'location': '广西 柳州', '_id': ObjectId('5e65c110d162fe0e0bcd1aa3')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥288.00', 'deal': '8', 'title': '【周黑鸭门店同款】熹礼礼盒920g 含整鸭 美食特产零食大礼包礼盒', 'shop': '周黑鸭食品旗舰店', 'location': '湖北 武汉', '_id': ObjectId('5e65c110d162fe0e0bcd1aa4')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥73.50', 'deal': '2989', 'title': '友臣肉松饼2.1kg营养早餐点心美食晚上解饿零食糕点整箱批发面包', 'shop': '友臣旗舰店', 'location': '福建 泉州', '_id': ObjectId('5e65c110d162fe0e0bcd1aa5')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥36.80', 'deal': '1.5万+', 'title': '蛋黄酥海鸭蛋零食小吃网红充饥夜宵特产美食糕点点心整箱休闲食品', 'shop': '比比赞旗舰店', 'location': '福建 厦门', '_id': ObjectId('5e65c110d162fe0e0bcd1aa6')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥29.80', 'deal': '5.5万+', 'title': '卫龙大礼包辣条亲嘴烧豆干麻辣味整箱儿时小吃休闲美食网红零食品', 'shop': '猫诚旗舰店', 'location': '安徽 合肥', '_id': ObjectId('5e65c110d162fe0e0bcd1aa7')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥69.90', 'deal': '1064', 'title': '满299减200丨肖三婆无骨鸭掌150g麻辣去脱骨鸭爪四川特产卤味美食', 'shop': '肖三婆旗舰店', 'location': '四川 成都', '_id': ObjectId('5e65c110d162fe0e0bcd1aa8')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥45.90', 'deal': '1869', 'title': '阿宽白家红油面皮12袋1260g特色小吃方便面非火鸡面成都特色美食', 'shop': '天猫超市', 'location': '上海', '_id': ObjectId('5e65c110d162fe0e0bcd1aa9')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥64.90', 'deal': '1120', 'title': '盼盼肉松饼整箱营养早餐糕点小吃面包特产美食网红小零食2100g', 'shop': '盼盼食品官方旗舰店', 'location': '河南 漯河', '_id': ObjectId('5e65c110d162fe0e0bcd1aaa')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥189.00', 'deal': '1103', 'title': '散装【卫龙旗舰店】魔芋爽整箱辣条毛肚素食香麻辣网红美食小袋装', 'shop': '卫龙食品旗舰店', 'location': '河南 漯河', '_id': ObjectId('5e65c110d162fe0e0bcd1aab')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥123.00', 'deal': '2619', 'title': '【德州扒鸡旗舰店】德州扒鸡正宗鸡爪熟食零食美食德州 扒鸡600g3', 'shop': '德州扒鸡旗舰店', 'location': '山东 德州', '_id': ObjectId('5e65c110d162fe0e0bcd1aac')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥92.90', 'deal': '1796', 'title': '廖记棒棒鸡无骨鸡爪两份920g 四川特色小吃麻辣无骨鸡爪零食美食', 'shop': '廖记棒棒鸡旗舰店', 'location': '四川 成都', '_id': ObjectId('5e65c110d162fe0e0bcd1aad')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥68.00', 'deal': '230', 'title': '沈大成糕点桂花拉糕2盒 上海特产老字号 糯米糕点心 网红美食', 'shop': '沈大成旗舰店', 'location': '上海', '_id': ObjectId('5e65c110d162fe0e0bcd1aae')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥39.90', 'deal': '5500+', 'title': '嘉华鲜花饼云腿小饼12枚礼袋云南特产零食小吃美食早餐传统糕点心', 'shop': '嘉华食品旗舰店', 'location': '云南 昆明', '_id': ObjectId('5e65c110d162fe0e0bcd1aaf')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥19.90', 'deal': '3.5万+', 'title': '【良品铺子-甜辣鸭脖子190g】卤味零食小吃美食休闲食品小包装', 'shop': '良品铺子旗舰店', 'location': '广东 广州', '_id': ObjectId('5e65c110d162fe0e0bcd1ab0')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥56.00', 'deal': '2859', 'title': '桂花鸭南京盐水鸭1000g正宗江苏特产年货美食板鸭咸水鸭真空熟食', 'shop': '桂花鸭旗舰店', 'location': '江苏 南京', '_id': ObjectId('5e65c110d162fe0e0bcd1ab1')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥69.90', 'deal': '1963', 'title': '双鱼猪肉脯400克靖江特产猪肉铺金奖猪肉干自然片老字号中华美食', 'shop': '双鱼食品旗舰店', 'location': '江苏 泰州', '_id': ObjectId('5e65c110d162fe0e0bcd1ab2')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥84.90', 'deal': '2087', 'title': '桃李天然酵母面包1800g营养早餐零食美食品手撕口袋面包蛋糕整箱', 'shop': '桃李食品旗舰店', 'location': '辽宁 沈阳', '_id': ObjectId('5e65c110d162fe0e0bcd1ab3')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥69.00', 'deal': '1567', 'title': '杨大爷五花腊肉500g四川美食特产腊肉农家自制烟熏肥咸肉柴火腊肉', 'shop': '杨大爷旗舰店', 'location': '四川 成都', '_id': ObjectId('5e65c110d162fe0e0bcd1ab4')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥20.50', 'deal': '3567', 'title': '满减【三只松鼠_墨玉川式芝麻酥135g】美食早餐小吃点心休闲零食', 'shop': '三只松鼠旗舰店', 'location': '安徽 芜湖', '_id': ObjectId('5e65c110d162fe0e0bcd1ab5')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥29.90', 'deal': '4786', 'title': '来伊份虎皮蛋糕168gx2糕点零食奶香夹心蛋糕美食早餐软点心小包装', 'shop': '来伊份官方旗舰店', 'location': '上海', '_id': ObjectId('5e65c110d162fe0e0bcd1ab6')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥109.00', 'deal': '729', 'title': '桂花鸭南京盐水鸭+酱鸭2000g特产正宗美食送礼真空装熟食年货食品', 'shop': '桂花鸭旗舰店', 'location': '江苏 南京', '_id': ObjectId('5e65c110d162fe0e0bcd1ab7')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥178.00', 'deal': '510', 'title': '修文鸭舌温州特产酱鸭舌酱卤鸭舌头原味美食小吃休闲零食净重480g', 'shop': '修文食品官方旗舰店', 'location': '浙江 温州', '_id': ObjectId('5e65c110d162fe0e0bcd1ab8')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥29.90', 'deal': '3.0万+', 'title': '绝艺鸭货零食大礼包麻辣味网红小吃休闲食品充饥夜宵整箱散装美食', 'shop': '绝艺食品旗舰店', 'location': '湖南 长沙', '_id': ObjectId('5e65c110d162fe0e0bcd1ab9')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥121.00', 'deal': '1150', 'title': '【旗舰店】螺状元柳州螺蛳粉280g*10袋礼盒装特产美食广西螺丝粉', 'shop': '螺状元旗舰店', 'location': '广西 柳州', '_id': ObjectId('5e65c110d162fe0e0bcd1aba')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥36.90', 'deal': '1.0万+', 'title': '沈师傅鸡蛋干四川特产豆腐干成都美食豆干小吃零食休闲食品非150g', 'shop': '沈师傅旗舰店', 'location': '四川 成都', '_id': ObjectId('5e65c110d162fe0e0bcd1abb')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥29.90', 'deal': '1.0万+', 'title': '五芳斋绿豆糕伴手礼桂花糕办公室点心休闲小吃零食绿豆饼好吃美食', 'shop': '五芳斋官方旗舰店', 'location': '浙江 嘉兴', '_id': ObjectId('5e65c110d162fe0e0bcd1abc')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥90.00', 'deal': '679', 'title': '美珍香芝士烧烤猪肉200g女生办公室零食网红特产小吃小孩肉类美食', 'shop': '美珍香旗舰店', 'location': '上海', '_id': ObjectId('5e65c110d162fe0e0bcd1abd')}
存储到MongoDB成功 {'image': '//g.alicdn.com/s.gif', 'price': '¥60.00', 'deal': '1620', 'title': '奇多粟米棒休闲食品小吃零食整箱混装90*12童年回忆怀旧网红美食', 'shop': '百事集团官方旗舰店', 'location': '江苏 无锡', '_id': ObjectId('5e65c110d162fe0e0bcd1abe')}

参考文章:https://cuiqingcai.com/5657.html

标签: 爬虫

本文最后更新于:2020-03-09 12:11,可能因经年累月而与现状有所差异。

非特殊说明,本博所有文章均为博主原创。

评论啦~


召唤看板娘