Tagged: bs4

19
Июл
2021

Вопрос по парсингу динамических сайтов при помощи Bs4, requests

хотел бы узнать, каким образом и как возможно парсить динамические сайты, где контент подгружается скриптом.
Для парсинга я использую такие библиотеки: BeautifulSoup4, requests.
Я знаю, что при помощи Selenium это было бы намного проще, но…

16
Май
2021

Page not found / UnboundLocalError at /parser/parsse/ при запуске парса

Всем привет!
Делаю парсер поисковой выдачи, который выводит позицию сайта в выдаче по введенному запросу.
Но сам парсер не рабоатет. На выбор Yandеx он выдает UnboundLocalError at /parser/parsse/, а на Google
Page not found.
Код парсера вз…

13
Май
2021

Как получить нужные данные с сайта

Мне необходимо получать нужные значения "Индекс экономических настроений (ZEW)" с сайта.
Пробую распечатать дочерние элементы, данные значения появляются, но с другой ненужной информацией.
Как я понимаю мне нужно получить нужный …

11
Май
2021

Не видно html кода при парсинге

Изначально у меня не парсило данные из-за динамических данных. Как я понял это те данные которые
обновлялись с помощью JS по этому через обычный bs4 у меня не парсило, но я все таки нашел решение с помощью библеотеки selenium и все у меня …

04
Май
2021

Parsing BS4 problem

Нужно взять с сайта определенные цифры, вкратце это сайт таймера, взять эти цифры можно либо из
<title>8 дн. 19:01:27 – Таймер онлайн – Таймер обратного отсчета</title>

либо из самого кода,
<div id="pnl-time" st…

26
Апр
2021

Парсинг сайта. Авторизация и дальнейшая работа с куки

Продолжаю ковырять сайт и изучать бииблеотеки Python.
Есть сайт. Мне необходимо спарсить некоторые таблицы в нем.
Проблема в том, что на сайте нужна авторизация. У меня получилось написать код для решения этой проблемы. Однако при попытке …

19
Апр
2021

Как проверить балланс xrp кошелька?(на селениуме)

Вопрос:Проверки кошелька xrp на балланс(каждую скажем 5 секунд)(пользуюсь xrp часто ).Хотелось зделать типа кошелька-виджета для отслеживания своего баланса.
вот на селене :
try:
def proverka():
brawser.get(‘https://bithomp.com…

19
Апр
2021

Как спарсить остатки на сайте?

Не могу спарсить несколько полей на сайте
https://samara.leroymerlin.ru/product/molotok-slesarnyy-dexter-27-mm-81968476/
Интересуют поля в блоке "Наличие в магазинах":
название магазина 1 – количество
название магазина 2 – количе…

11
Апр
2021

Парсинг сайта, bs4

Пишу парсер для сайта, и столкнулся с проблемой, что внутри тега a есть ещё тег span и при парсинге использовав
get_text(strip=True)
получаю этот текст:
Сдам 2х-квартиру, Салтовка, трц Украина, м. Ак. Барабашова.(№ 111386487)
Html код:
&lt…

05
Апр
2021

Как спарсить три столбика валют?(Ошибка в коде)

Тут хотела спарсить три столбика нужной валюты но возникает ошибка с третьим столбиком.Проблема в том, что ставишь цифру то парсит с одного места, когда ставишь переменную то парсить начинает и второй столбик получаетца каша.А еще как можн…

17
Мар
2021

Парсинг сайтов из списка ссылок при помощи BeautifulSoup (Python)

У меня есть текстовый документ с ссылками на записи на стене сообщества в вк в ввиде https://vk.com/wall-…_…., и мне нужно вытащить из этих записей ссылки на видео(находящиеся в посте) вида https://vk.com/video-….._….
from bs4 impo…

16
Мар
2021

Парсинг AUTO.RIA. Почемуто цикл выполняется только для одного элемента

Пишу парсер для AUTO.RIA и мне нужно написать цикл, для добавления элементов в список cars. Почему-то цикл добавляет только первый элемент в список:
from bs4 import BeautifulSoup as BS4
import requests

host = ‘https://auto.ria.com/’
url …

12
Мар
2021

Пасинг картинок Google Play

уважаемые программисты!
Подскажите источники , либо минимальные средства для реализации парсинга картинок из приложения Play Marcket.Не имею ни малейшего представления с чего даже начать. Была идея использовать BS4 для парсинга картинок и …

12
Мар
2021

Python получить определенные цифры которые находятся между другими словами

Вопрос заключается в том что написан парсер который достаёт ссылки пример:
‘/asdas131/2346877/123asdasd’
Мне нужно убрать все слева и справа от цифр.
Каким образом я могу это реализовать.
Должно получиться ‘2346877’

01
Мар
2021

Как получить текст, находящийся внутри HTML тега Python

Мне нужно получить то, что находится внутри HTML тега. С помощью requests я получаю код страницы, а с помощью bs4 весь класс вместе с тегом. Но мне надо получить только содержимое тега. Пытался использовать регулярные выражения, но в содер…

01
Мар
2021

Как получить текст, находящийся внутри HTML тега Python

Мне нужно получить то, что находится внутри HTML тега. С помощью requests я получаю код страницы, а с помощью bs4 весь класс вместе с тегом. Но мне надо получить только содержимое тега. Пытался использовать регулярные выражения, но в содер…