Tagged: csv

22
Сен
2021

Парсинг и запись большого CSV

Задача следующая – имеется большой CSV-файл, откуда берётся – не известно, но подозреваю, что выгрузка из 1с, и скормить его в sql-базу, далее выводить из него данные плагином WP.
На текущий момент его размер чуть больше 2гб.
Сам файл разо…

22
Сен
2021

Парсинг и запись большого CSV

Задача следующая – имеется большой CSV-файл, откуда берётся – не известно, но подозреваю, что выгрузка из 1с, и скормить его в sql-базу, далее выводить из него данные плагином WP.
На текущий момент его размер чуть больше 2гб.
Сам файл разо…

08
Сен
2021

Как результаты парсинга API в формате JSON записать в CSV отдельными строками

Задача – сформировать таблицу с данными в формате CSV парсингом API.
В результате парсинга API кодом Python в переменную data получаю такую строку JSON:
{
‘Identifier’: ‘edf627bda4f345c5948396e1497a7e48’,
‘User’: ‘USER’,
‘State’: ‘OK’,…

06
Сен
2021

Агент в Bitrix не создает файл

Создал класс, который создает csv файл и вписывает в него разделы из инфоблока каталога. Если запускать его просто так на какой-нибудь странице, то всё отрабатывает нормально и
файл создается, но если код поместить в init.php, и повесить н…

06
Сен
2021

Агент в Bitrix не создает файл

Создал класс, который создает csv файл и вписывает в него разделы из инфоблока каталога. Если запускать его просто так на какой-нибудь странице, то всё отрабатывает нормально и
файл создается, но если код поместить в init.php, и повесить н…

30
Авг
2021

Необходимо сохранить статистику из ‘test.log’ в Postgres

День вечер!
Если коротко о тз то необходимо :

распаковать(запомнить имя архива), 2. парсить(получить строки). 3 создать таблицу в POSTRGESQL, где: 1) – колонка testid – имя архива (без tar.gz) 2) – далее названия колонок в файле ‘columns….

27
Авг
2021

Как правильно спарсить лог и положить его в бд POSTRGRESQL?

Есть лог – test.log он большой, поэтому обозначу конкретное место.
Нужные значения начинаются после строки "Starting 24 processes"
(1-столбец начинается со значения 3;
2-столбец fio-3.27-12-gd7a2;
3-столбец oltp_read_uniform;
и т…

18
Авг
2021

UnicodeDecodeError когда пытаюсь запустить train.py

Я создал и подготовил виртуальную среду в anaconda для определения и распознавания обьектов (tensorflow object detection). Но на шаге 3 статьи по которой я следую я столкнулся с проблемой когда запускаю тренировку train.py:
python object_d…

07
Авг
2021

Бот, работающий с csv файлами, можно ли?

Недавно написала бота-болталку и задалась вопросом. Можно ли создать бота, который принимал на вход csv файл(к примеру, с учениками, предметами и их успеваемостью), обрабатывал это и выдавал статистику по требуемым предметам. К примеру, я …

07
Авг
2021

Как очистить csv базу от линий с пропусками?

Существует такая база данных, предположим, database.csv:

Необходимо удалить в ней все строки, где отсутствует эмейл, как на 7 строчке.
С именем и фамилией. Записать чистую базу в новый файл.
Пробовал разбираться с csv.DictWriter, но безре…

02
Авг
2021

Ускорение чтения большой таблицы в pandas

Передо мной стоит такая задача. Есть очень-очень большая excel-таблица. Нужно принять от пользователя имена столбцов и сохранить ему таблицу, содержащую только эти столбцы в новый файл. Проблема в том, что pandas.read_excel и pandas.to_exc…

27
Июл
2021

PHP: почему не удается записать строки из массива в файл csv с помощью функции fputcsv? [дубликат]

В документации к fputcsv() написано, что записать туда можно массивы вида:

Мой массив, вроде соответствует этой структуре:

Однако, почему-то, если запустить код:
foreach ($arrayforcsv as $ah) {

fputcsv($amneziaremedy, $a…

15
Июл
2021

CSV в ассоциативный массив

Есть csv такого формата
‘01.09.2021’;’День Знаний’
‘30.10.2021’;’Хэллоуин’

Как распарсить его в ассоциативный массив такого вида
$events = array(
‘01.09.2021’ => ‘День Знаний’,
‘30.10.2021’ => ‘Хэллоуин’,
);

06
Июл
2021

Помогите доделать парсер для битрикс

Скрипт создает каждый раз блок заново, не зависимо от того был он уже спарсен или нет. Он должен проверять на изменения csv файл и если их нет, то ничего не делать. Соответственно если есть парсить только их. Я не понимаю как это реализов…

27
Июн
2021

получить сумму расходов по организации "CSV"

мне нужно получить "Описание операции" и затем выводить вот так
Суммы расходов по организациям:
RUSMOSKVA56 SHLOVE REPUBLIC 1 081.53 руб.
тут повторяющиеся организации, поэтому деньги должны суммироваться к этой организа…

18
Июн
2021

как это считать и вывести из файла csv?

у меня есть файл studens.csv. мне нужно считат данные из файла и вывести информацию:
1.Определите количество девушек и количество мальчиков в группе

Определите средний возраст девушек и парней в своей группе, предварительно
уточнив его в …