Add tag support about pinboard

[ulfdalen]

Ребят, а не подскажите - будите тэги делать или уже забросили проект?

[muxx]

Да, планируем. Руки не дошли.

Yes, in plans. So far, we are busy.

[ulfdalen]

А, случаем, не подскажите - когда можно ожидать эту, очень востребованную, функцию?:)
Спасибо за ответ!

[muxx]

Если честно, не раньше ноября. Ребята все загружены пока.

[Zorato]

Хотел бы узнать как продвигается процесс. Готов внести свой посильный вклад, если дадите направление (куда копать и что/как делать).

[muxx]

В ветке tags реализована предварительная версия поддержки тегов. Напишу в чем она заключается:

Поддержка request tags

В pinba можно помечать тегами запросы с помощью pinba_tag_set(). Эти теги выводятся во всех вкладках, кроме Overview. Примеры:

Поддержка timer и timertag

Pinba позволяет таймерами замерять отдельные участки кода и помечать таймеры тегами. Pinboard, пока только в разделе Live, показывает рядом с запросом ссылку "Timers details" в случае, если с запросом пришли таймеры. Ссылку видно на скрине выше.

При переходе по ссылке открывается страничка с детализацией по запросу. Пример:

Таймеры группируются по значениям тега, который встречается во всех таймерах. В примерах это тег category, который встречается со значениям memcache, doctrine, template. Вывод без группировки пока не реализован, но будет.

Сейчас выводятся только реал-тайм данные из таблиц request, timer, tag, timertag. Планируется реализовать сохранение таймеров для запросов, которые логгируются во вкладки Request time, Memory peak usage, CPU peak usage, Statuses.

Если у вас есть пожелания или замечания по реализации данной вещи, велкам.

[flrnull]

Небольшой комментарий (пожелание).

Самое главное, что нужно (по крайней мере в очень большой части проектов) — это график в разрезе категории/тега. То есть я хочу знать, сколько времени сейчас в среднем по всем запросам занимает каждая функциональность проекта или часть кода.

Посмотреть подробности по конкретному запросу — это профайлинг. Посмотреть среднюю информацию по всем запросам сразу — мониторинг. Вот мониторинга очень не хватает, чтобы начать пользоваться pinboard.

[muxx]

Да, прорабатываю этот вопрос. В текущей реализации тегов нельзя построить отчеты по хосту: либо только по всем запросам либо в рамках обращения к определенному скрипту

Я уточнял этот момент у Антона тут, он на данный момент предложил добавлять hostname, server_name как теги к таймерам. Пойдем пока таким путем. Это, соответственно, будет требовать небольших телодвижений со стороны кода приложения.

Планируем добавить вкладку Timers, там показывать графики для с распределением по операциям. Будем 2 разреза:

• по тегу вида group=category::operation
• по двум тегам group=category::operation и server=server_name, в случае, когда несколько серверов БД, memcached и т.д.

[flrnull]

Это, соответственно, будет требовать небольших телодвижений со стороны кода приложения.

Пока нет других вариантов, это вполне нормально. У кого возникнут сложности с правкой кода, тот просто может использовать разные инстансы мониторинга для разных проектов.

Спасибо за ответ, буду следить. 👍

[muxx]

Мы используем Symfony и Битрикс. Для первого мы сделали бандл https://github.com/intaro/pinba-bundle, которые замеряет все основные параметры, для второго – небольшая заготовка кода https://gist.github.com/muxx/9cc8b65a9105c8ba18a8.

По крайней мере в этих двух решениях мы добавим фиксацию в тегах hostname и server_name. Призываю всех делать аналогичные модули под другие фреймворки, которые вы используете.

[Andrewus]

Мы у себя (пинбой мониторится битрикс) таймерами фиксируем время отработки компонентов и виджетов. Для вывода топа самых прожорливых компонент сделали визуализацию отчета tag_report2 у себя в форке: https://github.com/Andrewus/pinboard/tree/tags

[muxx]

А можешь показать, как это у вас выглядит, хотя бы в общем? И также интересно, как вы собираете цифры для компонентов — хакнули битрикс или без затрагивания ядра? Потому как нам удалось только сделать, как я упоминал выше и собирать только данные по БД.

[muxx]

Нам удалось добиться построения таких графиков:

Для этого в таймерах нужно указывать 4 параметра в виде:

$pinbaData = pinba_get_info();
$tags = [
    '__hostname' => $pinbaData['hostname'], //имя сервера, на котором исполняется PHP
    '__server_name' => $pinbaData['server_name'], //домен сайта
    'server' => '10.0.0.123', //адрес сервер сервиса (БД, memcached и др.)
    'category' => 'memcached',
    'group' => 'memcached::get',
];

pinba_timer_add($tags, $item['TIME']);

Это в ветке tags и требует последней версии pinba из ветки devel.

[superstas]

В этой ветке наблюдаю небольшой баг при агрегации данных

SQLSTATE[42S22]: Column not found: 1054 Unknown column 'timer_id' in 'field list'

Видимо проблема вот тут: https://github.com/intaro/pinboard/blob/tags/src/Pinboard/Command/AggregateCommand.php#L490

[muxx]

@superstas миграции выполняли https://github.com/intaro/pinboard/wiki/Update#update-between-1x-versions?

[superstas]

@muxx да выполнял.

[muxx]

@superstas а таблицы timer, tag, timertag есть?

[superstas]

Да.

[muxx]

@superstas есть проблема, ага. Подтяните ветку и выполните:

console migration:execute --down 20140519022332
console migration:migrate

[superstas]

@muxx спасибо

[akademic]

Добрый день.
Обновился сегодня на ветку tags и попробовал сделать console migration:migrate
Вылезла такая ошибка:

[PDOException]                                                                                                     
  SQLSTATE[HY000]: General error: 1005 Can't create table 'pinba.ipm_pinba_tag_info_group_server_name' (errno: 140)

Вручную этот запрос в базе не выполняется тоже:

CREATE TABLE `ipm_pinba_tag_info_group_server_name` (
    ->                     `tag1_value` varchar(64) DEFAULT NULL,
    ->                     `tag2_value` varchar(64) DEFAULT NULL,
    ->                     `req_count` int(11) DEFAULT NULL,
    ->                     `req_per_sec` float DEFAULT NULL,
    ->                     `hit_count` int(11) DEFAULT NULL,
    ->                     `hit_per_sec` float DEFAULT NULL,
    ->                     `timer_value` float DEFAULT NULL,
    ->                     `timer_median` float DEFAULT NULL,
    ->                     `ru_utime_value` float DEFAULT NULL,
    ->                     `ru_stime_value` float DEFAULT NULL,
    ->                     `index_value` varchar(256) DEFAULT NULL
    ->                     ,`p90` float DEFAULT NULL,
    ->                     `p95` float DEFAULT NULL,
    ->                     `p99` float DEFAULT NULL
    ->             ) ENGINE=PINBA DEFAULT CHARSET=latin1 COMMENT='tagN_info:group,__server_name::90,95,99'
    ->         ;

Версия pinba для mysql:

Package: pinba-engine-mysql-5.5
Version: 1.0.0-4~dotdeb.3

[marliotto]

Добрый день.
Ошибка скорей всего из-за того, что перцентили появились в версии pinba 1.1.0
https://github.com/tony2001/pinba_engine/wiki/Reports#percentiles

[muxx]

У меня таймеры/теги работают корректно только на pinba из ветки devel, т.к. в master pinba бывает падает в момент аггрегации данных по таймерам.

[akademic]

Действительно с версией pinba из devel всё получилось.
Правда собирать её намучился - всё версия api для mysql не подходила.
Но один раз получилось (повторить успех так и не удалось), так что я сразу сделал .deb-файл и ещё Dockerfile для сборки образа с pinba и pinboard.
Кому надо - берите и пользуйтесь:
https://github.com/akademic/docker_pinboard

[muxx]

Графики с персентилями для таймеров пока отключил, т.к. pinba для таймеров выдает на данный момент некорректные персентили. В коде просто закомментировано, кто хочет, может просто раскомментировать.

В итоге в этой задаче остались:

• общие графики "Hit count" и "Total timer value"
• Возможность посмотреть таймеры по отдельным live-запросам
• Логгирование таймеров вместе с медленными запросами
• Поддержка request tag

Смержил в master.

[bytestostring]

Друзья, подскажите пожалуйста в чем может быть причина.
При агрегации данных выдает следующее:

[PDOException]
SQLSTATE[42S22]: Column not found: 1054 Unknown column 'tags' in 'field list'

Ставил Pinboard из git,сама пинба последней версии.

[bytestostring]

Проблему исправил пересозданием таблицы request, почему-то столбцы tags, tags_cnt не создались.

[1it]

Товарищи, удалось ли решить проблему?

akademic commented on 22 Aug 2014

Добрый день.
Обновился сегодня на ветку tags и попробовал сделать console migration:migrate
Вылезла такая ошибка:

[PDOException]
SQLSTATE[HY000]: General error: 1005 Can't create table
'pinba.ipm_pinba_tag_info_group_server_name' (errno: 140)

[muxx]

Двумя комментариями ниже было объяснена причина проблемы.

[bytestostring]

1it, добрый день!
Проблема в том, что при выполнении полного SQL-файла таблица request создается не полностью.

1. Удалите таблицу request
2. Посмотрите в SQL файле схему ее создания.
3. Выполните запрос на создание таблицы request, убедитесь что столбцы tags, tags_cnt созданы.

Удачи. Если что-то не получится, напишите.

[1it]

Спасибо, но имел ввиду эту ошибку - SQLSTATE[HY000]: General error: 1005 Can't create table 'pinba.ipm_pinba_tag_info_group_server_name' (errno: 140)

Если я правильно понял надо собирать версию 1.1

[muxx]

Еще раз, я писал выше:

У меня таймеры/теги работают корректно только на pinba из ветки devel, т.к. в master pinba бывает падает в момент аггрегации данных по таймерам.

Данная таблица типа pinba:

            CREATE TABLE `ipm_pinba_tag_info_group_server_name` (
                    `tag1_value` varchar(64) DEFAULT NULL,
                    `tag2_value` varchar(64) DEFAULT NULL,
                    `req_count` int(11) DEFAULT NULL,
                    `req_per_sec` float DEFAULT NULL,
                    `hit_count` int(11) DEFAULT NULL,
                    `hit_per_sec` float DEFAULT NULL,
                    `timer_value` float DEFAULT NULL,
                    `timer_median` float DEFAULT NULL,
                    `ru_utime_value` float DEFAULT NULL,
                    `ru_stime_value` float DEFAULT NULL,
                    `index_value` varchar(256) DEFAULT NULL
                    ,`p90` float DEFAULT NULL,
                    `p95` float DEFAULT NULL,
                    `p99` float DEFAULT NULL
            ) ENGINE=PINBA DEFAULT CHARSET=latin1 COMMENT='tagN_info:group,__server_name::90,95,99'

и для ее создания требуется pinba c ветки devel, например, этой версии tony2001/pinba_engine@5df9ba0