04
Сен
2018

Python Selenium отрабатывает очень долго

Есть следующая страница: https://www.zakon.kz/4935278-nazarbaev-peredal-predsedatelstvo-v.html. И внизу страницы есть блок с комментариями, который подгружается ajax-ом. Пытаюсь получить код страницы через Selenium и PhantomJS. На страницах других сайтов все работает нормально, но на этом сайте, почему то скрипт отрабатывает ну ооочень долго. Доходит до "driver.get" и затем долго думает прежде чем дать ответ. Заметил один интересный момент, что если передать чисто домен сайта https://www.zakon.kz, то все отрабатывает достаточно быстро. В чем может быть причина?

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.action_chains import ActionChains

from datetime import datetime
import pymysql

from bs4 import BeautifulSoup
import time

driver = webdriver.PhantomJS(executable_path='/usr/local/bin/phantomjs')

print('1...')
links=[]

#page = "https://www.olx.kz/vko/?page=1"
#page = 'https://www.facebook.com/groups/1557037707887249'
page = 'https://tengrinews.kz/money/v-kazahstane-serezno-vyiros-spros-na-dollaryi-352553/'
page = 'https://www.nur.kz/1750800-nazarbaevu-pokazali-kak-proizvodat-elektroavtobusy-v-almaty.html'
page = 'https://www.zakon.kz/4935278-nazarbaev-peredal-predsedatelstvo-v.html'
print('2...')
print(page)
driver.get(page)
print('3...')
for onescroll in  range(0,2):
    print('4...')
    print("scroll"+"_"+str(onescroll))
    time.sleep(2)
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
print('5...')
htmlfull = driver.page_source
bsfull = BeautifulSoup(htmlfull, 'html.parser')
print('6...')

driver.save_screenshot('1.png')
print('7...')

html = driver.page_source
f = open('1.html','a')
f.write(html)
f.close()
print(html)

Источник: https://ru.stackoverflow.com/questions/877238/python-selenium-%D0%BE%D1%82%D1%80%D0%B0%D0%B1%D0%B0%D1%82%D1%8B%D0%B2%D0%B0%D0%B5%D1%82-%D0%BE%D1%87%D0%B5%D0%BD%D1%8C-%D0%B4%D0%BE%D0%BB%D0%B3%D0%BE

Тебе может это понравится...

Добавить комментарий