Tagged: scikit-learn

10
Авг
2021

Веса для ключевых фраз в тексте

Есть статья, мне в ней нужно выделить ключевые фразы по паттерну и определить их веса.
Ключевые фразы я выделил.Привожу код
import spacy
from spacy.matcher import Matcher
nlp = spacy.load(‘ru_core_news_lg’)

text = ”’Тут текст статьи”’
d…

13
Май
2021

‘numpy.float64’ object cannot be interpreted as an integer при вычислении метрик

Всем привет. Имеется оригинально и эталонное изображение, по которому ищу контуры различными методами. Пытаюсь высчитать метрики, чтобы понять какой результат лучше. Собственно при выполнении кода получаю такой вывод ошибок.
Traceback (mos…

13
Май
2021

‘numpy.float64’ object cannot be interpreted as an integer при вычислении метрик

Всем привет. Имеется оригинально и эталонное изображение, по которому ищу контуры различными методами. Пытаюсь высчитать метрики, чтобы понять какой результат лучше. Собственно при выполнении кода получаю такой вывод ошибок.
Traceback (mos…

23
Фев
2021

Нелинейная регрессия трехмерного облака точек

Для полученного облака точек необходимо построить нелинейную регрессию методом Гаусса-Ньютона
На данный момент моя регрессия выполняется, как показано на изображении 3. Просто прямая линия.
Регрессия, которую я ожидаю получить предста…

25
Янв
2021

Разбиение на выборки и кросс-валидация

Скажите, у меня есть df… Если я собираюсь использовать кросс-валидацию, мне же достаточно разбить на обучающую и тестовую выборки мой df и мне не нужно дополнительно извлекать валидационный набор. Верно? Или я что-то не правильно понимаю…

07
Дек
2020

Генерация трехмерных точек и нелинейная регрессия

Требуется сгенерировать трехмерные точки, напоминающие трехмерное круглое сечение. При этом у этого сечения могут быть бугры и впадины, где бугры – это нормальное состояние, которое можно не учитывать, а впадины требуется определить.
Также…

02
Дек
2020

Как нормализовать только ненулевые значения в определенных колонках в StandardScaler?

Как нормализовать только ненулевые значения в определенных колонках?
Мой код:
# set params for normalization
COLUMNS_TO_NORMALIZE = [‘a’, ‘b’, ‘c’]

from sklearn.preprocessing import StandardScaler

sc = StandardScaler()

# get index of nu…

16
Ноя
2020

Нелинейная регрессия методом Гаусса-Ньютона

Требуется реализовать нелинейную регрессию облака точек круглого сечения.
Есть облако точек в 3d круглого сечения, требуется построить нелинейную регрессию и найти на облаке точек дефекты формы.
Подскажите, в какую сторону искать решение и…

08
Ноя
2020

Добрый день, не работает код на opencv python. Код на сравнение двух изображений, постоянно выдает ошибку

Проверял путь до картинки, прописывал в коде код, даже перемещал на диск C:, все равно ошибка.
C:\2>python Comp.py -f 1.jpg -s 2.jpg
Traceback (most recent call last):
File "Comp.py", line 22, in <module>
grayA = c…

11
Авг
2020

Minmax нормализация на скользящем окне

Как красиво нормализовать данные(0-1) на скользящем окне(5)?
Сейчас есть стандартный нормализатор, нормализующий по всему датасету a:
c = MinMaxScaler().fit_transform(a[‘Start’])

Так, разумеется, выдает ошибку:
c = MinMaxScaler().fit_tran…

30
Июн
2020

Машинное обучение. Что делают методы fit() и predict()

Знакомлюсь с машинным обучением с помощью Python и библиотеки sklearn.
Там есть 2 метода fit() и predict()
Честно после некоторых сайтов понимаю,что они делают очень размыто.
lin_reg.fit(x_train[num_features], y_train)

fit(x,y) обучение (…

23
Июн
2020

Методы классификации в машинном обучении

Существует некая задача классификации: на обучение классификатор получает массив строк в качестве класса и некоторые числа в качестве параметров.
Есть ли такие методы, не используя нейросетей, которые позволяют классифицировать подобные вы…

11
Июн
2020

Разные значения на выходе при одинаковых параметрах при классификации данных

Подбираю параметры для наилучшего обучения модели классификации.

Делаю это так:

print(‘Исходная обученность: ‘, lgb_m_REZ)
g = 775
max_score = 0
g_best = 0
i_best = 0
while g < 779:
i = 25
X_train2, X_test2, y_train2,…

08
Июн
2020

Как запустить GridSearchCV на основе своей метрики оценки?

Двухклассовая классификация, y- цели, x – признаки, weights – веса.
Собственная метрика – сумма положительных значений весов при совпадении прогноза с реальностью.

Библиотеки:

import numpy as np
import pandas as pd
import talib as ta
im…

07
Июн
2020

Почему такая большая разница в точности при применении критерия Джини и энтропии?

Всем привет.
Продолжаю потихоньку изучать ML и добрался до известного дата-сета ‘Wine’. И упёрся в следующий момент: если я использую энтропию в качестве критерия вместо критерия Джини, то точность падает на 4-10%.
На примере кода

from sk…

01
Май
2020

Как работает кроссвалидация – cross_val_score?

Есть датасет, он разделен на признаки – X и на объеты – y. Есть модель – Ridge с настроенными гипер-параметрами. Я могу проверить точность предсказания этой модели с помощью функции cross_val_score?

X = dataset[[‘IW’,’IF’,’VW’,’FP’]].valu…

25
Апр
2020

Как создать список моделей, чтобы присоединить к fit?

Мне нужно вызывать несколько моделей, и решила попробовать их положить
в список, но скормить их потом не получается для обучения модели.
Может есть другой способ?

from sklearn.preprocessing import LabelEncoder
func = [‘LinearRegression()’…

19
Мар
2020

Как исправить алгоритм ML k-ближайших соседей (kNN)?

Есть код k-ближайших соседей (kNN) и набор данных, разбитый на два набора (для обучения (X, Y) и проверки (x_test, y_test)). А также условие y_knn_filt = np.max(knn.predict_proba(x_test), axis=1) == 1, для прогнозирования меток классов тол…

17
Мар
2020

predict_proba для алгоритма ML k-ближайших соседей (kNN) с LeaveOneOut

Есть код с моделью обучения k-ближайших соседей (kNN) по двум группам с добавлением условия: предсказание метки происходит только в том случае, если два ближайших соседа n_neighbors=2 имеют одинаковую метку. Например, если две метки [1. , …

16
Мар
2020

Алгоритм ML k-ближайших соседей (kNN)

Подскажите, возможно ли и как можно добавить условие, чтобы прогнозирование метки knn.predict(x_test) происходило только в том случае если 2 ближайших соседа n_neighbors=2 имеют одинаковые метки.

Пример, прогнозируем метку 1 или 0. При по…

05
Мар
2020

Как завернуть несколько кастомных функций в один pipeline?

У меня есть несколько функций для препроцессинга данных и так же модель для обучения.

Я хочу все эти функции использовать внутри одного pipeline.
Вот мои функции:

Первая функция:

def group_timestamp(dataset, size=False):
“””

13
Фев
2020

Как решить проблему UndefinedMetricWarning при использовании GridSearchCV?

Для выбора лучших параметров модели использую GridSearchCV. Лучшие параметры модели хочу выбрать по метрике f1. Так же в процессе обучения хочу отслеживать метрики precision и recall.

Для этого делаю:

from sklearn.metrics import accura…

19
Сен
2019

sklearn.preprocessing.Imputer – не могу заполнить признак модальностью

У меня есть категориальные признаки. В них есть пропуски. Я хочу пропуски заполнить значением моды.
Для этого я использую модуль библиотеки from sklearn.preprocessing import Imputer и делаю следующие:
imr = Imputer(missing_values = ‘NaN’, …