Category: Big Data

29
Июл
2021

Запись произвольного bean в формат parquet

Хочу записать свой bean в файл формата parquet.В нем я имею несколько полей String Integer и поле типа java.sql.Timestamp. Я воспользовался инструкцией beanToRecordConverter.Все поля преобразовываются нормально кроме этого поля Timestamp(s…

16
Июн
2021

Конференция Java Meeting Point

Эксперты по Java из разных городов России поделятся опытом, рабочими кейсами и лучшими практиками в разработке.
— Читать дальше «Конференция Java Meeting Point»

10
Июн
2021

Конференция SECON 2021

В программе конференции доклады от экспертов, общение с коллегами, новые знакомства, выставка и развлечения в атмосфере летнего фестиваля.
— Читать дальше «Конференция SECON 2021»

06
Май
2021

Конференция Highload++ 2021

Большая конференция для разработчиков высоконагруженных систем. Доклады, митапы, нетворкинг, уникальный опыт и ноу-хау от экспертов, задающих тренды.
— Читать дальше «Конференция Highload++ 2021»

17
Ноя
2020

Конференция HighLoad++ 2020

Темы выступлений — все аспекты разработки и поддержки высоконагруженных систем. Спикеры расскажут про архитектуры и разные методологии.
— Читать дальше «Конференция HighLoad++ 2020»

18
Авг
2020

Работа с большими объемами данных в Python

Сам вопрос: существует ли способ работы с большими объемами данных в питоне, если количество оперируемых строк примерно 1-1,5 миллиарда, а объем ОЗУ ограничен 16ГБ? Структура данных следующая: список кортежей, которые всегда состоят из дву…

18
Авг
2020

Какую технологию или сервис можно использовать для обработки, аналитики больших данных на PHP?

Всем привет.
Есть файл например xls или текстовый файл в котором 100 тыс. и более строк.
Вопрос.
Какую службу или технологию можно использовать чтобы например я этот файл передал допустим на сервер по API там ее обработал и получил результ…

20
Мар
2020

Как грамотнее работать с фотографиями в маркетплейсе? PHP MYSQL

Как грамотнее хранить и выводить изображения товаров в маркетплейсе?

Мои варианты:

1. При добавлении товара фотки загрузить на сервер, а ссылку изображения сохранить в базу, после чего её вывести

2. Просто загрузить в определённый путь,…

04
Мар
2020

Как автоматически чистить RAM с помощью python?

В наличии 96GB оперативной памяти. Работаю с большими данными.

Когда я запускаю инстансы на одном наборе данных, у меня используется примерно 60GB оперативки.
Соответственно, когда я запускаю другой инстанс на том же наборе данных (т. е…

22
Фев
2020

Программы, сервисы для анимирования и визуализации данных статистики

На Youtube есть канал с названием “TheRankings”. Есть ли программы, сервисы для анимирования и визуализации данных? Или способ как это можно реализовать через Python?

22
Янв
2020

8–9 февраля, Москва: хакатон Moscow Travel Hack

Хакатон, на котором от участников ждут решения, которые помогут создать новые проекты в области туризма и гостеприимства.
— Читать дальше «Хакатон Moscow Travel Hack»

29
Окт
2019

30 ноября, Москва: конференция YaTalks 2019

На большой и неформальной конференции для веб-разработчиков можно познакомиться с поднаготной сервисов Яндекса и познакомиться с классными разработчиками.
— Читать дальше «Конференция YaTalks 2019»

14
Окт
2019

8 ноября, Казань: конференция «DUMP Казань»

Конференция татарских разработчиков, на которой можно будет послушать доклады на 4 потоках: бэкенд, фронтенд, DevOps и менеджмент.
— Читать дальше «Конференция «DUMP Казань»»

17
Июн
2019

Факультет «Аналитика Big Data» онлайн-университета GeekUniversity

Изучите основные инструменты и подходы для работы с данными в течение 1,5 лет обучения. Решите 6 проектных задач и будете готовы к трудоустройству.
— Читать дальше «Факультет «Аналитика Big Data» онлайн-университета GeekUniversity»

03
Июн
2019

9 сентября, Москва: курсы Ozon Masters

Преподаватели из крупнейших вузов России и учебных центров обучат студентов анализу данных и машинному обучению за два года.
— Читать дальше «Курсы Ozon Masters»

11
Апр
2019

Конференция JEEConf 2019

Обязательное мероприятие для разработчиков на Java любого уровня. Заведёте знакомства, получите массу впечатлений, опыта и знаний по самым важным темам.
— Читать дальше «Конференция JEEConf 2019»

05
Апр
2019

Конференция SECON’2019

На конференции узнаете последние тренды и новости из мира IT, пообщаетесь со специалистами и посоревнуетесь с другими гостями в логическом мышлении.
— Читать дальше «Конференция SECON’2019»

01
Апр
2019

Конференция разработчиков DUMP-2019

Будут доклады и мастер-классы по ключевым направлениям современного IT: веб, менеджмент, DevOps, Mobile, тестирование, дизайн и интерфейсы, Science.
— Читать дальше «Конференция разработчиков DUMP-2019»

28
Мар
2019

Конференция #ITsubbotnik Spring 2019

Топовые сотрудники EPAM поделятся последними новостями энтерпрайза, рассмотрят интересные кейсы и покажут необычные техники разработки сервисов.
— Читать дальше «Конференция #ITsubbotnik Spring 2019»

23
Янв
2019

Курс «Python для анализа данных» от Mail.Ru Group

Mail.Ru Group совместно с МФТИ запустили на онлайн-платформе Coursera программу «Python для анализа данных». Кому подойдёт? Курс завершает специализацию «Программирование на Python», поэтому рассчитан на учащихся со средними знаниями разработки. Есть б…

04
Янв
2019

Топ книг по программированию, вышедших на русском языке в 2018 году

2018 год был достаточно богат на выход русскоязычной литературы по программированию. К сожалению, всё вместить в одну подборку невозможно, поэтому мы отобрали лучшие книги по различным категориям: веб-разработка; языки программирования;
— Читать дальше…

09
Дек
2018

Конференция MAKE IT REAL

17 декабря в Москве QIWI проведёт TECH DAY — MAKE IT REAL, призванный объединить увлечённых профессионалов в сфере информационных технологий. Кому будет интересно? IT-специалистам, уже опробовавшим инновации на практике или только готовящимся вне…

09
Дек
2018

Митап SBERTECH Dev #2

13 декабря «Сбербанк Технологии» проведёт в Екатеринбурге вторую встречу MeetUP SBERTECH Dev. Для кого? Для разработчиков и IT-специалистов любого уровня. О чём пойдёт разговор на митапе? В рамках митапа лучшие спикеры «СберТех» поделятся своими нарабо…

26
Ноя
2018

Database Meetup

6 декабря в Омске пройдёт встреча администраторов и разработчиков баз данных Database Meetup. Кого ждут? Всех, кто работает с Java и PL/SQL для управления СУБД, а также администраторов других продуктов Oracle. Что в программе? Разговор пойдёт об оптими…