Tagged: парсер

13
Июн
2021

Парсит одну и ту же ссылку вместо разных

Всех приветствую, столкнулся с мини-проблемой при парсинге. Парсю сайт с объявлениями машин в Турции (если у вас не турецкий ИП то при входе на сайт нужна регистрация). Парсю через селениум т.к при БС4 сайт сразу определяет бота.
Спарсил t…

09
Июн
2021

Как получить CSRF ключ

Как получить CSRF token с сайта https://fix-price.ru/personal/ для парсинга данных из личного кабинета?
from bs4 import BeautifulSoup
import fake_useragent

HOST = ‘https://fix-price.ru/’
link = ‘https://fix-price.ru/ajax/auth_user.php’

H…

08
Июн
2021

Python . Как объеднить две фунции def get_euro() и def get_dollar() в одну def currency() чтобы не было так громоздко?

Подскажите пожалуйста как функцию get_dollar() и get_euro(), объединить например в одну get_currency()?
Чтобы это не было так громоздко и по отдельности. Возможно тут через ООП лучше стоит работать, но пока не знаю.
#Установка модулей pip …

04
Июн
2021

Мой парсер не забирает данные с сайта, не могу разобраться почему. Раньше все работало

Вот мой парсер. Его суть в том, что он парсит даты и цены стоимости актива указанного мой периода:
import json
import requests

url = ‘https://investfunds.ru/etf/9705/’
date_from = ‘14.01.2021’
date_to = ‘02.04.2021’
payload = {
‘actio…

04
Июн
2021

Как отправить POST запрос с параметрами?

Хочу спарсить ссылки на гугл миты из сайта своего универа.
Как отправить POST запрос на страницу?
Нужно ввести группу, в моем случае "КІ-19-1", и в ответ получить HTML код с расписанием.
Дальше я уже справлюсь с BS4.
Что-то пробо…

30
Май
2021

Можно ли парсить сайт, пройдя защиты cloudflare и подобные, лишь один раз?

Я не спец ни в вебе, ни в питоне, но если дать нужное направление, могу вкурить в тему. Нужно просто решить нужную мне задачу по парсингу сайта. Так вот сама проблема:
Когда через BeautifulSoup получаю страницу сайта, он мне возвращает htm…

30
Май
2021

Вставка в форму изображения selenium python

У меня следующая проблема. Делаю парсинг сайта через selenium, спарсенные с сайта данные, заливаю в бд другого сайта через его админку (другого доступа к бд нету). С сайта парсятся ссылки на изображения. В админке есть форма для прикреплен…

29
Май
2021

Как парсить страницу через определенный промежуток времени?

Я делаю телеграмм бота(библиотека aiogram) который будет присылать пользователю новые объявления на авито(ну это упрощенный функционал). Проблема в том что, я не знаю как парсить страницу через определенное кол-во времени. Я пробовал беско…

29
Май
2021

FindAll не работает

Всех приветствую! столкнулся с проблемой при парсинге. Мой код `
import requests
from bs4 import BeautifulSoup
def parse():
url = ‘kolesakz.html’
page = open(url, encoding=’utf-8′)
soup = BeautifulSoup(page.read(), ‘html.parser…

28
Май
2021

Почему сайт пишет, что я бот?

Посылаю POST запрос на сайт, а сайт меня фильтрует.
Все данные для запроса у меня есть (генератор), headers тоже все поменял (как в браузере), да вот только в браузере все проходит, а в responce в приложении пишет что я бот.
Думаю, что там…

28
Май
2021

Парсер. BS4. немного запутался в функциях, подскажите пожалуйста, что не так?

Не так давно изучаю Python, пишу свой первый парсер, хочу брать цены на одно оборудование с одного сайта)
все просто. Одна функция загружает документ, другая собирает ссылки с главной страницы, третья собирает название и цену с конкретного…

27
Май
2021

Библиотека для парсинга урлов сайта на js/nuxt?

Можете посоветовать подходящую библиотеку для парстинга урлов сайта, которая делает следующее:
Есть например сайт ( не spa ) test.ru с урлами и роутами test.ru/news, test.ru/news/123 итд…
Библиотека должна собирать все возможные урлы, ко…

26
Май
2021

Обработка математич. выражения в форме строки для применения к интервалу(python) [дубликат]

Мне нужно обрабатывать математические выражения, которые содержат стандартный набор операторов (+,-,/), все возможные математич. функции (cos, sin, взятие по модулю и т.п). Эти мат. выражения должны обрабатываться в форме строки(преобразов…

25
Май
2021

picocli можно ли в help параметр вывести через двоеточие и разные значения?

Можно ли в библиотеке picocli, вывести отображение параметров и принимаемое значение через двоеточие при вызове –help?
–count : ( вот так, а он выводит через равно) и если 2 и более аргументов выводит , а хотелось бы разные названия.

24
Май
2021

Как парсить информацию со всех регионов, если мой браузер настроен только на мой регион?

Всем привет,
изучать python начал недавно и сейчас набираюсь опыта в парсинге. Посмотрел разные видео и решил попробовать создать парсер для auto.ru (достаточно банально, но полезно в моей работе)
Вот ссылка на сайт: https://auto.ru
Хочу, …

24
Май
2021

Как парсить информацию со всех регионов, если мой браузер настроен только на мой регион?

Всем привет,
изучать python начал недавно и сейчас набираюсь опыта в парсинге. Посмотрел разные видео и решил попробовать создать парсер для auto.ru (достаточно банально, но полезно в моей работе)
Вот ссылка на сайт: https://auto.ru
Хочу, …

22
Май
2021

как найти слово в HTML?

как найти все слова в html документе(по всем тегам)?соединение получаю через класс document библиотеки jsoup.Например надо со страницы википедии Tesla найти все слова Tesla

22
Май
2021

RecursionError: maximum recursion depth exceeded while pickling an object. Многопоточный парсинг

Посидел я около 5 часов пытаясь решить все сам, но никак. Я видел что вопросы на эту ошибку уже есть, но как-то я ничего не нашел полезного. Вот вообщем код:
pool = multiprocessing.Pool(3)

class Parser(Browser):

""" …

21
Май
2021

Парсинг сайтов с JS

В продолжение темы:

"Если хорошо поискать, можно обнаружить внутренний api, который отдает все эти данные (и даже гораздо больше, чем в html) сразу в JSON" – подскажите, пожалуйста, где именно находится JSON на странице https://…