Tagged: beautiful-soup

09
Июн
2021

Как получить CSRF ключ

Как получить CSRF token с сайта https://fix-price.ru/personal/ для парсинга данных из личного кабинета?
from bs4 import BeautifulSoup
import fake_useragent

HOST = ‘https://fix-price.ru/’
link = ‘https://fix-price.ru/ajax/auth_user.php’

H…

08
Июн
2021

Python . Как объеднить две фунции def get_euro() и def get_dollar() в одну def currency() чтобы не было так громоздко?

Подскажите пожалуйста как функцию get_dollar() и get_euro(), объединить например в одну get_currency()?
Чтобы это не было так громоздко и по отдельности. Возможно тут через ООП лучше стоит работать, но пока не знаю.
#Установка модулей pip …

28
Май
2021

Почему сайт пишет, что я бот?

Посылаю POST запрос на сайт, а сайт меня фильтрует.
Все данные для запроса у меня есть (генератор), headers тоже все поменял (как в браузере), да вот только в браузере все проходит, а в responce в приложении пишет что я бот.
Думаю, что там…

28
Май
2021

Парсер. BS4. немного запутался в функциях, подскажите пожалуйста, что не так?

Не так давно изучаю Python, пишу свой первый парсер, хочу брать цены на одно оборудование с одного сайта)
все просто. Одна функция загружает документ, другая собирает ссылки с главной страницы, третья собирает название и цену с конкретного…

21
Май
2021

Парсинг сайтов с JS

В продолжение темы:

"Если хорошо поискать, можно обнаружить внутренний api, который отдает все эти данные (и даже гораздо больше, чем в html) сразу в JSON" – подскажите, пожалуйста, где именно находится JSON на странице https://…

16
Май
2021

Page not found / UnboundLocalError at /parser/parsse/ при запуске парса

Всем привет!
Делаю парсер поисковой выдачи, который выводит позицию сайта в выдаче по введенному запросу.
Но сам парсер не рабоатет. На выбор Yandеx он выдает UnboundLocalError at /parser/parsse/, а на Google
Page not found.
Код парсера вз…

13
Май
2021

Как получить нужные данные с сайта

Мне необходимо получать нужные значения "Индекс экономических настроений (ZEW)" с сайта.
Пробую распечатать дочерние элементы, данные значения появляются, но с другой ненужной информацией.
Как я понимаю мне нужно получить нужный …

11
Май
2021

Get запрос к динамическому сайту возвращает код JS. Как достать данные?

На сайте с динамической загрузкой есть данные, которые, как я понял подгружаются по ходу работы сайта (то есть при обновлении вкладки 1 get запрос возвращает страницу, в которой нет необходимых данных). Глядя на запросы, которые выполняютс…

07
Май
2021

Python: Необходимость парсить 500 последних гос.контрактов по условиям с сайта zakupki.gov.ru

Нужно парсить 500 последних гос.контрактов по условиям с сайта zakupki.gov.ru. Например: Если условия (необходимый текст в htlm разметке страницы) подходят, то выдается список некоторых этих условий в эксель по столбцам. Итого: нажимаю shi…

04
Май
2021

Parsing BS4 problem

Нужно взять с сайта определенные цифры, вкратце это сайт таймера, взять эти цифры можно либо из
<title>8 дн. 19:01:27 – Таймер онлайн – Таймер обратного отсчета</title>

либо из самого кода,
<div id="pnl-time" st…

02
Май
2021

Ошибка превышения количества запросов при парсинге Авито

Делал парсер, но получал ошибку превышения запросов несмотря на то, что я использовал сменные юзер-агенты, платные прокси, очистку куков и смену сессий. Так же выставил микрозадержку между запросами. Решил проверить, может это в сайте проб…

01
Май
2021

Ошибка WebDriverException: Message: ‘images’ executable may have wrong permissions. Please see https://sites.google.com/a/chromium.org/chromedriver/h

У меня есть функция для парсинга изображений по гугл запросу, которые в дальнейшем я хочу использовать для машинного обучения, запрос реализован через Selenium. Когда я вызываю search_and_donwnload() то получаю ошибку "WebDriverExcept…

28
Апр
2021

Как оптимизировать эту строчку?

Вот строка из парсера с использованием BeautifulSoup.
song_page_ref = soup.find(‘div’, attrs={‘id’: ‘page’, ‘class’: ‘site’}).find(‘div’, attrs={‘class’: ‘entry-title’}).find(‘a’).attrs[‘href’]

Как сделать её более минималистичной и читае…

27
Апр
2021

Как парсить не все ссылки на видео?

Есть парсер, который переходит по ссылкам, которые он берет из csv-файла и парсит с этих страниц видео, но есть одна проблема: если на странице несколько видео, то он парсит все видео, а мне надо, чтобы он парсил только первое видео.
impor…