Tagged: beautiful-soup

15
Сен
2021

Как перекодировать текст сайта в кодировке cp1251 чтобы он был читаемым?

У меня проблема с парсером, решил спарсить текст с сайта, и он приходи в виде: "Ïðåïîäàâàòåëü". Выяснил, что это кодировка windows – 1251 , что бы он стал читаем нужно перекодировать его в windows – 1152. Каким образом это возмож…

07
Сен
2021

Beautiful Soup error: ‘NoneType’ object has no attribute ‘get_text’

Пытаюсь спарсить объявления со всем известного сайта. Выделил все блоки объявлений о объект Soup, пытаюсь получить из них описания объявлений в цикле и получаю ошибку.
import requests
from bs4 import BeautifulSoup

HOST = ‘https://www.avi…

02
Сен
2021

Не получается коректно передать ссылку при парсинге

Проблема возникает с передачей ссылки в целом она копируется, но она имеет мало общего с настоящей ссылкой товара например:
Настоящая Сылка: https://russian.alibaba.com/product-detail/kipardo-17-inch-18-inch-6×139-7-et-12-passenger-car-all…

27
Авг
2021

Как получить информацию по каждой из полученых ссылок BeautifullSoup?

Изучая BeautifullSoup4 решил спарсить дививенды по каждой бумаге на сайте Доход.ру
Получилось спарсить все ссылки в переменную "item" в первом блоке кода но не получаеться к каждой из получених ссылок пременить метод из второго б…

26
Авг
2021

как спарсить дату?

немогу спарсить дату с сайта https://directlot.ru/products.php (дата размещения заказа)
выводит значение none
я вставил этот кусок кода потомучто название спарсилось, а вот время немогу
спарсить надо это

исходник:(я пытался вывести &quot…

22
Авг
2021

как отправить пост запрос что бы эмулировать нажатие кнопки с помощью request в python

http://rozklad.kpi.ua/Schedules/ScheduleGroupSelection.aspx
Много инструкций было перечитано, но пока безрезультатно. Использую библиотеку request в python, суть в том что бы через запрос "нажать на кнопку" поиска группы.

14
Авг
2021

Несмотря на правильно указанные тэг и класс, парсинг не работает

Хочу запарсить все названия компаний которые есть на бирже NYSE, но почему-то, несмотря на правильные тэг и класс, при парсинге данные не собираются.
Ссылка: https://www.economicdata.ru/stocks.php?menu=stocks-by-exchange&exchange=NYSE&…

11
Авг
2021

Как пропустить ошибку при парсинге, если нет заданного элемента?

Есть парсер сайта, название категории и подкатегорий берется из хлебных крошек, когда у категории нет подкатегорий, то возникает ошибка ‘NoneType’ object has no attribute ‘text’, что логично
как пропускать эту ошибку, т.к. есть несколько к…

10
Авг
2021

не получается задать css selector BeautifulSoup (Python)

Нужно по заданной категории на Flickr загрузить все найденные изображения на жесткий диск. Не получается разобраться с конструкцией CSS селектора
import requests, bs4

res = requests.get(‘https://www.flickr.com/search/?text=cats’)
res.rais…

08
Авг
2021

Как достать path из svg с помощью BeautifulSoup

Осуществляю парсинг сайта, который показывает погоду: https://www.foreca.ru/Russia/Moscow
Все, что нужно достал, но не получается достать направление ветра
По факту, зацепиться не за что, кроме как залезть в <svg>, там найти <path…

19
Июл
2021

Как загрузить всю таблицу с сайта?

Здраствуйте.
Хочу запарсить сайта с таблицей в которой результаты экзаменов.
Проблема в том, что сначала в таблице только 10 столбцов, что бы загрузить всю надо нажать на кнопку Загрузить еще.

Код написал который берет этих 10 человек:
im…

14
Июл
2021

Не вставляются куки с прокси

Я пытаюсь получить HTML часть сайта через:
BeautifulSoup(session.get(url, headers = headers, proxies = proxy).content, ‘html.parser’)

Также, заранее добавляю куки:
cookies = json.load(open(‘cookies.json’, ‘r’))
for cookie in cookies:

13
Июл
2021

Python requests, при выводе всего сайта выводит body и после него: Request unsuccessful. Incapsula incident ID: 534000470010449392-29143315938413509

После вывода soup выводиться :
Request unsuccessful. Incapsula incident ID: 534000470010449392-29143315938413509
И в конце:Request unsuccessful. Incapsula incident ID: 534000470010449392-29143315938413509
Поэтому я постоянно не могу компил…

12
Июл
2021

Парсер не находит элементы на странице

Наткнулся на канал на ютубе на видео с созданием парсера (https://www.youtube.com/watch?v=vtizH9w0V7c&t=293s). Скопировал код по инструкции, однако при его исполнении список статей с сайта не выводится. Прошу подсказать в чем проблема….

09
Июл
2021

Можно ли как-то получить больше информации за раз при парсинге?

хочу скачать кучу сетов фотографий, но проблема, каждое фото сета находится на "разных" страницах.
Вот например сет(16+)
И прямые ссылки на картинку, имеют хаотичные названия.
Например: …2t4tppc.jpg ,…1h7looe.jpg,…11ozv72.j…