Задача: Нужно прочитать с файла > 3 млрд. строк, а потом работать с ними. Обычно для этого достаточно создать List и доставать строки по индексу. Например:
for(int i=0; i<list.size(); i++){
String str=list.get(i);
….code…..
}
Од…
Где искать работу java-programmer имея в портфолио лишь паука? 🙂 Можно ли программы типа Crawler или Spider указывать в портфолио и искать работу "джуном"?
…
Посоветуйте пожалуйста. До этого особо никогда не работал с большим объемом данных. На данный момент у меня есть 1млн тестовых пользователей (Сам бд сделал, расширить планировал до 20млн), стоит MariaDB, я выполняю поиск по емайлу и он вып…
Научитесь собирать и анализировать данные, извлекать полезную информацию и находить закономерности. После обучения сможете проверять гипотезы и помогать бизнесу принимать взвешенные решения
— Читать дальше «Факультет аналитики Big Data»
…
На выбор есть факультеты, профессии, программы и курсы по 7 направлениям: программирование, IT-инфраструктура, аналитика, дизайн, маркетинг, менеджмент и школьникам.
— Читать дальше ««Чёрная пятница» в GeekBrains»
…
Онлайн и на региональных оффлайн-площадках IT-специалистам предстоит создать продукты для крупных компаний. Призовой фонд — 4,5 млн рублей.
— Читать дальше «Хакатон «Транспорт и логистика»»
…
Онлайн и на оффлайн-площадках в 23 городах России IT-специалистам предстоит решать задачи от крупных компаний. Призовой фонд — 4,5 млн рублей.
— Читать дальше «Хакатон «Креативные индустрии. Коммуникации и контент»»
…
Хочу записать свой bean в файл формата parquet.В нем я имею несколько полей String Integer и поле типа java.sql.Timestamp. Я воспользовался инструкцией beanToRecordConverter.Все поля преобразовываются нормально кроме этого поля Timestamp(s…
Есть функция которая заменяет нужные символы в файле (файл 10 гигабайт +- 5гб), написана она так:
def replace_in_file(replacements, path_to_file, encoding=’utf-8′):
file_name = os.path.basename(path_to_file)
temp_path = f'{path_to_…
Эксперты по Java из разных городов России поделятся опытом, рабочими кейсами и лучшими практиками в разработке.
— Читать дальше «Конференция Java Meeting Point»
…
В программе конференции доклады от экспертов, общение с коллегами, новые знакомства, выставка и развлечения в атмосфере летнего фестиваля.
— Читать дальше «Конференция SECON 2021»
…
Пишу программупо машинному обучению для прогнозирования отток пользователей по данным Telco
Написала этот код:
data["Отток"] = data["Отток"].astype(int)
Y = data["Отток"].values
X = data.drop(label…
Большая конференция для разработчиков высоконагруженных систем. Доклады, митапы, нетворкинг, уникальный опыт и ноу-хау от экспертов, задающих тренды.
— Читать дальше «Конференция Highload++ 2021»
…
EPAM приглашает в команду на позиции Big Data Engineer, Big Data Engineer под обучение и Architect. Можно получить оффер и welcome-бонус всего за 24 часа.
— Читать дальше «EPAM Big Data Hiring Weeks»
…
Темы выступлений — все аспекты разработки и поддержки высоконагруженных систем. Спикеры расскажут про архитектуры и разные методологии.
— Читать дальше «Конференция HighLoad++ 2020»
…
Я сделал пример и поместил данные в CSV файл в котором не срабатывает корректный вывод data frame, а именно опция мультистрочность.
Мой CSV файл:
id;brand;model;engine;doors;color;date;description
1;Mercedes;W124;^6 straight^;5;black;12/31…
Как в нейронную сеть засунуть данные из CSV файла?
Сам вопрос: существует ли способ работы с большими объемами данных в питоне, если количество оперируемых строк примерно 1-1,5 миллиарда, а объем ОЗУ ограничен 16ГБ? Структура данных следующая: список кортежей, которые всегда состоят из дву…
Всем привет.
Есть файл например xls или текстовый файл в котором 100 тыс. и более строк.
Вопрос.
Какую службу или технологию можно использовать чтобы например я этот файл передал допустим на сервер по API там ее обработал и получил результ…
Как грамотнее хранить и выводить изображения товаров в маркетплейсе?
Мои варианты:
1. При добавлении товара фотки загрузить на сервер, а ссылку изображения сохранить в базу, после чего её вывести
2. Просто загрузить в определённый путь,…
В наличии 96GB оперативной памяти. Работаю с большими данными.
Когда я запускаю инстансы на одном наборе данных, у меня используется примерно 60GB оперативки.
Соответственно, когда я запускаю другой инстанс на том же наборе данных (т. е…
На Youtube есть канал с названием “TheRankings”. Есть ли программы, сервисы для анимирования и визуализации данных? Или способ как это можно реализовать через Python?
…
Хакатон, на котором от участников ждут решения, которые помогут создать новые проекты в области туризма и гостеприимства.
— Читать дальше «Хакатон Moscow Travel Hack»
…
На большой и неформальной конференции для веб-разработчиков можно познакомиться с поднаготной сервисов Яндекса и познакомиться с классными разработчиками.
— Читать дальше «Конференция YaTalks 2019»
…
Конференция татарских разработчиков, на которой можно будет послушать доклады на 4 потоках: бэкенд, фронтенд, DevOps и менеджмент.
— Читать дальше «Конференция «DUMP Казань»»
…
Изучите основные инструменты и подходы для работы с данными в течение 1,5 лет обучения. Решите 6 проектных задач и будете готовы к трудоустройству.
— Читать дальше «Факультет «Аналитика Big Data» онлайн-университета GeekUniversity»
…
Топовые специалисты по анализу данных и машинному обучению поговорят о лучших практиках, развитии и инструментах разработчика.
— Читать дальше «Data Science Panda Meetup»
…
Преподаватели из крупнейших вузов России и учебных центров обучат студентов анализу данных и машинному обучению за два года.
— Читать дальше «Курсы Ozon Masters»
…
Обязательное мероприятие для разработчиков на Java любого уровня. Заведёте знакомства, получите массу впечатлений, опыта и знаний по самым важным темам.
— Читать дальше «Конференция JEEConf 2019»
…
На конференции узнаете последние тренды и новости из мира IT, пообщаетесь со специалистами и посоревнуетесь с другими гостями в логическом мышлении.
— Читать дальше «Конференция SECON’2019»
…
Свежие комментарии