Tagged: scrapy

19
Июл
2021

PermissionError 13

Мне нужно на сервере VPS запускать парсер и отправлять все это дело пользователю в телегу. Я сделал на flask вебхук, сделал парсер на scrapy.
Если я запускаю парсер как обычно scrapy crawl <spider_name> то все работает отлично, но ка…

19
Июл
2021

PermissionError 13

Мне нужно на сервере VPS запускать парсер и отправлять все это дело пользователю в телегу. Я сделал на flask вебхук, сделал парсер на scrapy.
Если я запускаю парсер как обычно scrapy crawl <spider_name> то все работает отлично, но ка…

06
Июл
2021

Python Scrapy Непонятное поведение селекторов

Пытаюсь парсить таблицы со страницы (например). Конкретно на этой странице у первой таблицы нет заголовка, а у второй и третьей заголовок есть (Размеры и вес (брутто), Дополнительная информация).
Пусть SelectorList будет таким:
tables = re…

26
Апр
2021

Как подобрать шифр Scrapy?

Всем привет!
У Scrapy есть такой прекрасный аргумент в Custom_settings – > DOWNLOADER_CLIENT_TLS_CIPHERS
В который можно передать шифры, запрет каких-то шифров и @SECLEVEL согласно openSSL
Как пока что я закопался в глубь я понял, что н…

26
Апр
2021

Как подобрать шифр Scrapy?

Всем привет!
У Scrapy есть такой прекрасный аргумент в Custom_settings – > DOWNLOADER_CLIENT_TLS_CIPHERS
В который можно передать шифры, запрет каких-то шифров и @SECLEVEL согласно openSSL
Как пока что я закопался в глубь я понял, что н…

21
Янв
2021

Как запустить scrapy через python скрипт?

Подскажите пожалуйста
есть 5 проектов на scrapy, все лежат в одной папке мне.
Мне нужно написать скрипт, который запускал бы все эти 5 проектов
в интернете нашел, что к каждому проекту scrapy можно создать файл с следующим содержимым:
from…

20
Дек
2020

scrapy pyinstaller error

Нужно собрать проект с парсером (scrapy) в один exe файл. При запуске main.py, через который идет взаимодействие с пользователем через консоль и запуск паука, в Pycharm все работает.
При сборке через pyinstaller main.py создается main.exe….

30
Июл
2020

Как оформить пример Scrapy для портфолио?

Изучаю библиотеку Scrapy по официальному мануалу на сайте библиотеки + какие-то примеры из инета.
В примерах используют простенькие сайты для извлечения информации. Я, поделав примеры, решил запустить паука на сайт, который мне интересен (…

27
Июл
2020

Scrapy как парсить внутренюю ссылку?

Недавно начал изучать scrapy. На главной странице изображены товары и информация о них, цена товара загружается позже. При переходе на страницу товара цена загружается сразу. Необходимо со страницы списка товаров перейти на страницу товара…

27
Июн
2020

Scrapy: вывод пустой

Я пытаюсь использовать Scrapy для извлечения данных со страницы. Но получаю пустой вывод. В чем проблема?
паук:
class Ratemds(scrapy.Spider):
name = ‘ratemds’
allowed_domains = [‘ratemds.com’]

custom_settings = {
‘USER…

08
Май
2020

Scrapy выводит один элемент

Парсер должен собирать цены и выводить в консоль. Выводит только единственную цену. Если использовать метод .getall() вместо .get() в условиях, то показывает все существующие цены.
В чем проблема, что не выводит все цены?

class Wildberrie…

15
Апр
2020

Запуск scrapy в PyQt5

Делаю программку для запуска scrapy паука из GUI. Запускать научился, а останавливать еще нет.
Смотрел ответ на вопрос и видел только работу с потоками.
Взял один из ответов и подставил в свой код. Паук запустился, но остановить не могу, п…

05
Апр
2020

Как конвертировать scrapy проект в exe

Пробовал конвертировать PyInstaller, py2exe. В первом случае, при конвертации только паука(запускал его скриптом, не из cmd), exe файл получался, но не работал, пробовал директорию с проектом конвертировать, но была ошибка Permission denie…

17
Мар
2020

Проблема с обновлением словаря

Проблема заключается в том, что при переходе по ссылке(parse_more) хочу, чтобы словарь обновлялся и добавлялся с список. Получается список из словарей
Выходит так что parse() добавляет, как надо, а при добавлении parse_mode(), все идет не …

26
Фев
2020

Парсинг ссылок со страницы

Задача заключается в том, чтобы спарсить нужную информацию с карточки вакансии, затем из страницы с этой вакансией достать недостающую информацию
Получается достать эти данные, но не объединить их
Подскажите, пожалуйста, какими способами п…

23
Фев
2020

Scrapy выводит одни и теже данные

Начал изучать scrapy, делаю по документации, но результат не соответствует ожиданиям
Паука запускаю командой scrapy crawl tutorial и на выводе встречаю 40 ответов двух видов(по 2 страницам соответственно)
Пробовал разные запросы xpath и cs…

30
Ноя
2017

Scrapy + selenium python авторизация вконаткте

У меня питон версии 3.6, scrapy 1.4. Нужно сделать авторизацию в вконтакте для парсинга моей странички. Пытался протестить примерную авторизацию на другом одностраничнике:

self.driver = webdriver.Firefox(log_path=None,