Category: Машинное обучение

24
Сен
2022

Генератор корректного предложения из списка слов

Следующая задача:
Необходимо в функцию передать список слов и одно слово, на выходе необходимо корректное предложение с этим словом и любыми словами из списка, например:
list1 = ["в", "на", "к", "погода&q…

31
Авг
2022

Как избежать коллапса режима или исчезновения градиента в GAN

В Генеративно состязательных нейронных сетях, как и в принцепе в нейронных сетях, я новичок поэтому не сильно могу понять в чем именно проблемма моей генеративной сети. В качестве датасета используются изображения (рисунки) художников сжат…

31
Авг
2022

Как избежать коллапса режима или исчезновения градиента в GAN

В Генеративно состязательных нейронных сетях, как и в принцепе в нейронных сетях, я новичок поэтому не сильно могу понять в чем именно проблемма моей генеративной сети. В качестве датасета используются изображения (рисунки) художников сжат…

29
Авг
2022

Обучение простой нейронной сети

По примеру из видео на ютубе решил сделать первую нейросеть, чтобы на практике понять принципы обучения подобных нейросетей. Суть задачи проста – на входе 9 нейронов в каждый из которых попадает значение 0 или 1. Входные данные описывают с…

25
Авг
2022

Какой функционал ошибки оптимизируется в коде

Градиентный метод своими руками
Есть код в песочнице: https://colab.research.google.com/drive/1_fpTu0n-nfDzrKRAq-su3LJs9uNecJro?usp=sharing
Нужен ответ на вопрос, какой функционал ошибки оптимизируется в данном коде.

23
Авг
2022

как разделить датасет по папкам с именами классов

создали в label studio датасет для обучения модели распознавания животных на основе yolov5, и столкнулись с проблемами:

после экспорта данных все изображения в единой папке, не по классам, как и аннотации, плюс имена получили что-то стран…

20
Авг
2022

ValueError. Линейная регрессия и нахождение среднеквадратичной ошибки на питоне

В задаче требуется найти среднеквадратичное отклонение для заданного набора данных. X – хранит в себе признаки, y – ожидаемые ответы. По сути это имитация обучения нейросети с учителем. Массив с признаками стандартизируется, к нему для учё…

21
Июл
2022

Почему обучение модели застревает на валидационных потерях в 0.02?

для обучения используется keras в составе tensorflow, задача-регрессия ограничивающего прямоугольника, вот модель:
inputs = Input(shape=(300, 300, 1))
x = DepthwiseConv2D((3, 3), padding="same")(inputs)
x = BatchNormalization()(x…

10
Июл
2022

Проблема с дообучением seq2seq модели(Tensorflow)

Пытаюсь сделать чат-бота на основе seq2seq модели. Для создания бота решил воспользоваться туториалом от tensorflow(https://www.tensorflow.org/text/tutorials/nmt_with_attention). По-сути просто пока что скопировал код, подставив свой датас…

27
Июн
2022

Loss не меняется

Пишу нейросеть, которая по массиву нулей и единиц производит классификацию (всего два класса). Тренировочные данные выглядят так:

Причём каждый training-example имеет метку 1 (y = 1), негативные примеры в тренировке не участвуют.
Строю не…

16
Июн
2022

Почему model.predict(x) выводит первый класс

проблема в том, что есть нейронная сеть которая определяет по изображению легких наличие коронавируса, следовательно данная сеть имеет 2 класса 0 и 1, чистые легкие и с коронавирусом соответственно, но беда в том, что любое фоток которое я…

11
Июн
2022

Точность модели машинного обучения

При 5-кратной кроссвалидации точность регрессии (коэффициент детерминации r^2) низкая на последнем разбиении.
Что это означает? При обучении на всем наборе данных качество обучения падает? Или это не имеет значения?
Значения: 0.29, 0.05, 0…

08
Июн
2022

Помогите с ошибкой RandomForest в Python could not allocate bytes

Ребят привет, такая проблема. Загрузил свой датасет, если он маленький, то всё работает, а если загрузить 4gb или больше (основной у меня на 35gb), то вылезает вот такая ошибка:
MemoryError: could not allocate 13485735936 bytes
Что с этим …

04
Июн
2022

python Scikit-learn как правильно смоделировать задачу классификации (Random forest)

Есть такой dataframe:

index
razryad
age
salary

1
2
22
30000

2
3
19
36000

3
4
30
40000

4
5
25
47000

Коротко: таблица содержит уровень зарплаты, где есть зависимость чем выше разряд тем выше зарплата. У меня же почему то ве…

25
Май
2022

Сравнить истинные и предсказанные значения в машинном обучении

Прогнозирование заработной платы. Набор данных около 40 000 записей (должность, опыт работы, компания, график и тд).
Оценка R^2 около 35-40%.
Использую регрессоры из sklearn и кроссвалидацию.
gb_reg = GradientBoostingRegressor(random_state…

19
Май
2022

Как масштабировать окно для распознавания лиц и признаки в нём?

У меня имеются обученные признаки (классификаторы и каскад классификаторов) для окна размером 24*24. Но ведь часто размеры лиц на изображении могут быть другими. Почти везде для решения этой проблемы предлагается данный способ:

масштабиру…

18
Май
2022

Не работает простая нейросеть

Проблема с простейшей нейросетью. 3 входа + bias, 4 внутренних нейрона + bias,4 внутренних нейрона + bias, 1 выходной нейрон.
Явных ошибок не выдает, но работает не корректно. Нейросеть выдает значения +- 0.5 . Нашел на stackoverflow похож…

10
Май
2022

Конфликт интересов при выборе направления программирования [закрыт]

Возможно, вопрос не по теме, но я пока не нашел форума (кроме SO), где достаточно много программистов, которые смогут чем-либо мне помочь.
Проблема такая. Я изучал swift и немного obj-c разработку, мне очень понравились эти инструменты, он…

05
Май
2022

Проблема с loss

В процессе обучения не падает loss. Делаю все это впервые, как я понял, на каждой эпохе loss должен снижаться. Проблема в том, что этого не происходит. Он то снижается, то резкий скачок вверх.
Пробовал менять learning_rate, batch_size, пер…

20
Апр
2022

keras_tuner какие параметр за что отвечают в Hyperband

Я пытаюсь с помощью Hyperband из KerasTuner подобрать оптимальные гипер-параметры для сети на keras, обычно я делал это методом keras_tuner.BayesianOptimization, с использованием которого у меня проблем нет, но эта сеть полностью обучается…

20
Апр
2022

arima python – ошибка на этапе прогнозирования

Нужно спрогнозировать значения временного ряда. Исходные данные в excel-формате со следующими столбцами: дата, группа1, группа2, группа3. Нужно для каждой группы предсказать значения. Я начинала с того, что отделила первую группу данные в …

15
Апр
2022

Преобразование иерархических данных в дерево

Имеется табличка следующего вида:
id | title. | parent_id

id
title.
parent_id

245
Fruits
1

4
All
0

и в ней несколько тысяч строк, по иерархической схеме, т.е. все по типу дерева и это категории в магазине от самой о…

10
Апр
2022

Создание нейронной сети для Дискорда на питон

я хотел сделать бота с искусственным интеллектом для Дискорда на питоне, хотел бы поинтересоваться, каким сервисом пользоваться и как подключить, в интернете нашел гайды на dialogflow, но на нем нет поддержи дискорда.