Category: Инструменты

23
Янв
2020

Что нового в Pandas 1.0? 🐼

Pandas – популярная библиотека Python для работы с табличными данными, добавляющая к структуре массива NumPy именованные строки и столбцы, а также множество удобных методов. Pandas является одной из важных причин, почему Python стал доминирующим языком программирования в Data Science.

17
Янв
2020

Верстать быстро и красиво: 15 популярных CSS фреймворков

Главные особенности фреймворков для вёрстки CSS. От продвинутых Bootstrap и Foundation до крошечных Milligram и Dead Simple Grid. Помогаем выбрать инструмент для настройки дизайна вашего проекта.

Создание к…

16
Янв
2020

Как повысить продуктивность при анализе данных? 25 неочевидных инструментов

Список бесплатных инструментов и библиотек для аналитиков данных. Заслуживающие внимания пакеты, программы и ресурсы, о которых не так часто упоминают, как о NumPy, Pandas или Jupyter.

Ниже представлен сжатый обзор 25 инструментов для самых разнообразных приложений науки о данных. Быстрый скрапинг веб-страниц и визуализация, анализ поведения клиентов и безопасное хранение ключей, работа в команде и развертывание моделей на облачных GPU.

В комментариях к публикации предлагаем поделиться своими любимыми библиотеками и инструментами.

Обзор DS инструментов:

  • Airtable: электронная таблица с мощью базы данных, альтернатива Google Sheets или Microsoft Excel. Отлично работает с Pandas, благодаря Python API. То что нужно для демонстрации результатов.
  • Orange: open source платформа, заточенная под машинное обучение и визуализацию данных, для которой не нужно уметь кодить. Качественная альтернатива Tableau или Power BI.
  • MarkDown: приложение для заметок на Node.js, полноценно работающее в офлайне с возможностью размещения на своём сервере.
  • Deepnote: приложение на базе Jupyter Notebook, созданное для совместной работы в реальном времени.

  • Dash by Plotly: JavaScript инструмент визуализации данных с открытым исходным кодом. Запустите готовую модель на Python или R, а Dash позаботится об остальном. Идеально подходит для создания мелких веб-приложений для показа клиенту.
  • KeeWeb: средство для безопасного хранения API-ключей и паролей.
  • MLxtend (сокр. от Machine Learning Extensions) – библиотека Python инструментов для повседневных задач обработки данных. Создатель – автор книги «Машинное обучение на Python» Себастьян Рашка.
            import numpy as np
import matplotlib.pyplot as plt
import matplotlib.gridspec as gridspec
import itertools
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.ensemble import RandomForestClassifier
from mlxtend.classifier import EnsembleVoteClassifier
from mlxtend.data import iris_data
from mlxtend.plotting import plot_decision_regions

# Initializing Classifiers
clf1 = LogisticRegression(random_state=0)
clf2 = RandomForestClassifier(random_state=0)
clf3 = SVC(random_state=0, probability=True)
eclf = EnsembleVoteClassifier(clfs=[clf1, clf2, clf3],
                              weights=[2, 1, 1], voting='soft')

# Loading some example data
X, y = iris_data()
X = X[:,[0, 2]]

# Plotting Decision Regions

gs = gridspec.GridSpec(2, 2)
fig = plt.figure(figsize=(10, 8))

labels = ['Logistic Regression', 'Random Forest', 
          'RBF kernel SVM', 'Ensemble']

for clf, lab, grd in zip([clf1, clf2, clf3, eclf],
                         labels,
                         itertools.product([0, 1],
                         repeat=2)):
    clf.fit(X, y)
    ax = plt.subplot(gs[grd[0], grd[1]])
    fig = plot_decision_regions(X=X, y=y,
                                clf=clf, legend=2)
    plt.title(lab)

plt.show() 
        

  • Lifetimes: библиотека для анализа поведения клиентов, прогнозирования прибыли и оттока
  • GitLab: альтернативное GitHub хранилище репозиториев с возможностью скрывать групповые репозитории. Удобно для закрытой командной работы и группового участия в ML-соревнованиях.
  • Draw.io: создания диаграмм для планирования проекта.
  • Spider: простой скраппер для веб-страниц в виде расширения Chrome. Можно скачивать страницы в CSV/JSON формате.
  • Simple Scraper: превратите любой сайт в API.
  • Airbnb Knowledge repo: ресурс для обмена знаниями между специалистами в области обработки данных и других технических профессий. Был создан для решения проблемы распространения знаний в рамках растущей команды.

  • Kyso: сервис помогает создать привлекательное и структурированное портфолио аналитика данных. Вы сможете просматривать чужие портфолио, увидите, как другие представляют себя и свои данные. Бесплатный период 14 дней.
  • LabelImg: графический инструмент для разметки объектов на картинках, добавление подписей и тегов изображений.

  • Reveal.js: фреймворк для создания HTML-презентаций. Многие аналитики используют его на своих выступлениях.
  • PythonAnywhere: простой способ развернуть онлайн лёгкий ML-проект на Python и сопутствующих библиотеках, если пока требуется лишь проверить гипотезу. В случае успеха легко перенести на AWS (руководство).
  • Sheety: превратите Google Sheet в API и моделируйте данные в реальном времени.
  • Jupyterthemes: устали от текущей темы Jupyter Notebook? Есть много других.
  • Light GBM: одна из популярных библиотек для односторонней выборки на основе градиента. В последние годы приобрела большую популярность, особенно на Kaggle.

  • Machine Learning A-Z: Practice Datasets and Codes: большое собрание данных и кода на Python и R, охватывающее популярные алгоритмы машинного обучения.
  • Gradient by Paperspace: запускайте блокноты Jupyter бесплатно на облачной машине, оснащённой графическими процессорами.
  • Glueviz: визуализируйте многомерные наборы данных. Бесплатный инструмент на основе Python (поставляется с Anaconda). Отлично подходит для поиска связей между наборами данных.

  • Hot dog or not hot dog?: мануал, не требующий знаний AI, машинного обучения и даже программирования. Руководство о том, как с IBM Watson написать программу для проверки, является ли объект хот-догом 🌭 или нет. Самый важный ресурс в подборке 😉
  • FloydHub Workspaces: облачная среда разработки для глубокого обучения. Можно запускать блокноты Jupyter, скрипты Python, использовать терминал и многое другое.

О чём-то не упомянули? Напишите, мы дополним статью вашими ссылками

19
Июл
2019

Вышла бета-версия TabNine, «умного» инструмента автозаполнения для редакторов кода

Он натренирован на 2 миллионах файлов с GitHub и умеет работать с несколькими языками: Python, Java, C++ и Haskell.
— Читать дальше «Вышла бета-версия TabNine, «умного» инструмента автозаполнения для редакторов кода»

13
Июн
2019

Инструменты для организации эффективного процесса веб-разработки

Взаимодействие между участниками веб-разработки включает в себя много аспектов и бывает затруднительным по разным причинам.

Для создания сайта без использования шаблонов и конструкторов нужны как минимум дизайнер, разработчик и менеджер проекта. Проблема в том, что важная информация не всегда оперативно согласовывается как внутри команды, так и с заказчиком.

11
Апр
2019

Хакатон MegaHack

Предлагают разработать цифровое решение для адаптации детей-сирот к взрослой жизни посредством геймификации и «умный» алгоритм анализа действий сотрудников.
— Читать дальше «Хакатон MegaHack»

03
Апр
2019

Хакатон MegaHack

На очередном хакатоне из серии MegaHack нужно будет создавать решения для корпоративной социальной ответственности, поддержки бизнеса и помощи клиентам.
— Читать дальше «Хакатон MegaHack»

22
Мар
2019

Хакатон Digital SuperHero EnergyHack

Нужно сделать маркетплейс для поиска исполнителей услуги на подключение потребителей к электросетям. Лучшие получат деньги и возможность сотрудничества.
— Читать дальше «Хакатон Digital SuperHero EnergyHack»

21
Янв
2019

Создаём сайт без навыков программирования: обзор лучших конструкторов

Вы читаете свежую версию статьи. Мы обновили и дополнили материал, изначально опубликованный 15 июля 2018 года.
— Читать дальше «Создаём сайт без навыков программирования: обзор лучших конструкторов»

16
Янв
2019

В помощь веб-разработчику: полезные проекты и инструменты для работы с Chrome DevTools

Работу современного веб-разработчика сложно представить без вспомогательных инструментов. Один из самых популярных — Chrome DevTools. Этот набор инструментов помогает тестировать, отлаживать, профилировать, проверять код на соответствие тем или иным ст…

27
Дек
2018

Веб-фреймворк Electron обновили до версии 4.0

Выпустили Electron 4.0 — фреймворк для создания кроссплатформенных приложений с помощью веб-технологий. На базе Electron построен текстовый редактор Atom, редактор кода Visual Studio Code, мессенджер Discord, клиентское приложение чата Slack
— Читать д…

14
Дек
2018

Вышел фреймворк Bootstrap 3.4

Вышел Bootstrap 3.4 — свободный фреймворк для создания сайтов и веб-приложений. Команда проекта сосредоточена на разработке Bootstrap 4.2, поэтому текущая версия получила не так много изменений. В частности, обновлена документация, исправлена проблема …

10
Дек
2018

Релиз PyTorch 1.0 Stable, библиотеки для машинного обучения от Facebook

Facebook выпустила стабильную версию библиотеки для машинного обучения PyTorch 1.0. В данную итерацию добавили поддержку крупных облачных платформ, интерфейс на C++, набор JIT-компиляторов и различные улучшения. Новые возможности библиотеки Стабильная …

08
Дек
2018

Вышла Qt Creator 4.8.0 с поддержкой протокола языкового сервера

Qt Development Frameworks представила среду разработки Qt Creator 4.8.0. В новой версии кроссплатформенной IDE пользователей ждут: поддержка протокола языкового сервера (LSP); плагин ClangFormat для автоматического форматирования кода; обновление до LL…

08
Дек
2018

Вышла WordPress 5.0: новый редактор и блочная система

Вышла версия 5.0 системы управления контентом WordPress. Она получила кодовое название «Bebo». В новой версии добавлена возможность размещать весь контент в блоках, что позволяет легко настроить внешний вид сайта и порядок расположения данных
— Читать …

06
Дек
2018

Выпущен инструмент для сборки node-пакетов одной командой

В Zendesk разработали node-publisher — инструмент для сборки пакетов Node.js одной командой. Зачем это нужно? Нередко при сборке пакета разработчики забывают тот или иной шаг, проводят тестирование неверной версии или вовсе забывают
— Читать дальше «Вы…

06
Дек
2018

В поиске Google и приложении Google Assistant теперь отображаются прямые трансляции

Google рассказала о новых инструментах для прямых трансляций. В установленное время на изображении предварительного просмотра как в поисковой выдаче, так и в приложении Google Assistant появится иконка Live. Таким образом пользователи смогут своевремен…

06
Дек
2018

Microsoft реализовала IntelliCode для TypeScript/JavaScript и C++

Microsoft реализовала функцию интеллектуальных подсказок для двух языков — TypeScript/JavaScript в Visual Studio Code и C++ в Visual Studio. По мере написания кода расширение IntelliCode отображает варианты завершения команд не в алфавитном порядке, а …

29
Ноя
2018

Вышла сборка 1092 Git-клиента Sublime Merge

Разработчики Sublime Text рассказали об изменениях в сборке 1092 для Sublime Merge. Они коснулись появления меню просмотра содержимого, интерактивного перемещения и поддержки GTK3 для ОС Linux. Клиент системы контроля версий сочетает интерфейс редактор…

27
Ноя
2018

JetBrains выпустила CLion 2018.3

JetBrains объявила о выходе CLion 2018.3 — интегрированной среды разработки на языках C и C++. В новой версии разработчики сосредоточились на поддержке C++, улучшении производительности и инструментах удалённой разработки. Поддержка C++ В CLion 2018.3 …

23
Ноя
2018

JetBrains выпустила RubyMine 2018.3

JetBrains обновила интегрированную среду разработки RubyMine до версии 2018.3. Это обновление является последним крупным на 2018 год. В нём разработчики добавили полную поддержку класса Struct, новую тему оформления Darcula и м…

22
Ноя
2018

Вышла IntelliJ IDEA 2018.3

Команда JetBrains обновила интегрированную среду разработки ПО для Java IntelliJ IDEA. В версии IntelliJ IDEA 2018.3 добавлен плагин Docker, а начальный экран получил функцию drag-and-drop. Переделана страница управления плагинами и добавлена функция R…

21
Ноя
2018

JetBrains обновила IDE WebStorm до версии 2018.3

JetBrains представила обновление интегрированной среды разработки WebStorm. В версии 2018.3 появились поддержка TypeScript 3.1, формата JSON, а также возможность Pull Requests для GitHub. Основные нововведения WebStorm 2018.3 Автоматический и…

20
Ноя
2018

Выпущена СУБД FoundationDB 6.0.15

Apple представила релиз 6.0.15 кроссплатформенной открытой распределённой СУБД FoundationDB для обработки крупных наборов структурированных данных. Это первый стабильный релиз шестой ветки СУБД. FoundationDB относится к классу NoSQL-систем, манипулирую…

19
Ноя
2018

Вышел Dart 2.1

Выпущен язык программирования Dart 2.1. В этой версии продолжено развитие второй ветки, рассчитанной на разработку для веб-сервисов и мобильных систем. Dart 2 отличается от обычного Dart применением строгой статической типизации. Хотя тип и может вывод…

24
Окт
2018

Вышла Node.js 11.0 с поддержкой движка V8 7.0

Разработчики Node.js обновили платформу до версии 11.0. Этот выпуск фокусируется на совершенствовании существующих компонентов, улучшении производительности и обновлении движка V8 до версии 7.0. Что нового в Node.js 11.0 О…

19
Окт
2018

Вышло обновление платформы Angular до версии 7.0

Команда Angular представила новую версию платформы. В Angular 7.0 появились подсказки в интерфейсе командной строки и модуль для автоматической загрузки и удаления элементов во время скроллинга. Кроме того, немного изменил…