dz2: memory #93
dz2: memory #93
Conversation
cyprus11
commented
Mar 15, 2023
cyprus11
commented
- на практике усвоил как профилировать память
- отрефакторил код
- написал отчет
There was a problem hiding this comment.
В целом выглядит что у вас не получилось достичь поставленной задачи
Посколько программа не переделана на потоковый вариант, потребление памяти будет расти со временем и превышать заданный бюджет
Massif visualizer видимо у вас не заработал, поэтому вы не видите реальной картины на его графике
Если будет интересно покопайте ещё / посмотрите другие решения
| Я решил исправить эту проблему, оптимизировав эту программу. | ||
|
|
||
| ## Формирование метрики | ||
| Для того, чтобы понимать, дают ли мои изменения положительный эффект на быстродействие программы я придумал использовать такую метрику: тестовый файл на 5_000 строк, до оптимизации объем выделяемой памяти равен 2759Мб(по данным memory_profiler) |
There was a problem hiding this comment.
Как-то многовато для такого маленького файла конечно
|
|
||
| ### При парсинге даты выделяется большое кол-во памяти и создается много объектов | ||
| - memory profiler и ruby prof | ||
| - Сократил парсинг даты до 1 вызова map |
There was a problem hiding this comment.
Что-то пошло не так
У вас похоже программа не загрузилась даже нормально
Нормальная картина в данном случае - программа грузится и быстро выходит на плато где-то в 40 МБ на всём протяжении работы секунд в 20
| @report['usersStats'] ||= {} | ||
| @report['usersStats'][user_key] = { | ||
| 'sessionsCount' => user.sessions.count, | ||
| 'totalTime' => user.sessions.map { |s| s['time'] }.map(&:to_i).sum.to_s + ' min.', |
There was a problem hiding this comment.
map = куча лишних объектов каждый раз
