30
Июн
2020

проблема с html при его запросе из instagram

есть такой код для получения ссылок на посты в инсте, если через requests html закидываю в BeautifulSoup то скрипт не дает результатов, если скопировать html самому через инструменты разработчика и дать BeautifulSoup то есть результат, в чем может быть проблема и как ее можно решить?

from bs4 import BeautifulSoup
import requests


def get_html(url):
    '''
       return html text from page
    '''
    response = requests.get(url)
    response.encoding = 'utf-8'
    return response.text

def get_links(html):
    soup = BeautifulSoup(html, 'html.parser')

    divs = soup.find_all('div', class_=['v1Nh3', 'kIKUG', '_bz0w'])

    links = []
    for div in divs:
        a = div.find('a')
        links.append('https://www.instagram.com'+ a.get('href'))

    return links
    
def main():
    username = '...' # имя здесь ставите сами любое
    url = 'https://www.instagram.com/{0}/'.format(username)
    html = get_html(url)

    links = get_links(html)
    for link in links:
        print(link)
    

if __name__ == '__main__':
    main()

Источник: https://ru.stackoverflow.com/questions/1147413/%D0%BF%D1%80%D0%BE%D0%B1%D0%BB%D0%B5%D0%BC%D0%B0-%D1%81-html-%D0%BF%D1%80%D0%B8-%D0%B5%D0%B3%D0%BE-%D0%B7%D0%B0%D0%BF%D1%80%D0%BE%D1%81%D0%B5-%D0%B8%D0%B7-instagram

Share

Тебе может это понравится...

Добавить комментарий