01
Июн
2017

Python3. Google после нескольких запросов просит ввести капчу

У меня есть код:

import requests
from time import sleep
from bs4 import BeautifulSoup

query = 'inurl%3Acheck%3Furi%3D'
number = 7

for i in range(number):

    r = requests.get('https://www.google.ru/search?q={}&start={}'.format(query, i * 10))
    soup = BeautifulSoup(r.text, 'html.parser')
    for element in soup.find_all('h3', class_='r'):
        element = element.contents[0]
        link = 'https://www.google.com' + element['href']
        print(link)
    sleep(5)

Мне надо вынуть url адреса с 7 страниц google. Я подставлял user-agents, referer, proxi, headers сделал интервал, но все без результатов. Он думает что я робот, как обойти данную схему?

Источник: https://ru.stackoverflow.com/questions/673788/python3-google-%D0%BF%D0%BE%D1%81%D0%BB%D0%B5-%D0%BD%D0%B5%D1%81%D0%BA%D0%BE%D0%BB%D1%8C%D0%BA%D0%B8%D1%85-%D0%B7%D0%B0%D0%BF%D1%80%D0%BE%D1%81%D0%BE%D0%B2-%D0%BF%D1%80%D0%BE%D1%81%D0%B8%D1%82-%D0%B2%D0%B2%D0%B5%D1%81%D1%82%D0%B8-%D0%BA%D0%B0%D0%BF%D1%87%D1%83

Share

Тебе может это понравится...