23
Апр
2017

Не могу подключить proxy к jsoup

Суть задачи распарсить страницу, вытащить список доменов, каждый из них проверить через jsoup(или нет?) на site:xdomain.com , дабы узнать количество страниц.Пробовал так:

System.setProperty("http.proxyHost", "195.178.146.166");
System.setProperty("http.proxyPort", "3133");
System.setProperty("https.proxyHost", "195.178.146.166");
System.setProperty("https.proxyPort", "3133");

ещё нашёл такие примеры:

Proxy proxy = new Proxy(
                Proxy.Type.HTTP,
                InetSocketAddress.createUnresolved("127.0.0.1", 8080)
              );
Document doc = Jsoup
                .connect(request)
                .proxy(proxy)
                .userAgent("Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)")
                .timeout(5000).get();

В итоге результат никакой,со второго исполнения кода запрос перестаёт возвращать количество страниц. Может кто сталкивался?

Источник: https://ru.stackoverflow.com/questions/657601/%D0%9D%D0%B5-%D0%BC%D0%BE%D0%B3%D1%83-%D0%BF%D0%BE%D0%B4%D0%BA%D0%BB%D1%8E%D1%87%D0%B8%D1%82%D1%8C-proxy-%D0%BA-jsoup

Тебе может это понравится...

Добавить комментарий