usr.sbin/pmc/cmd_pmc_filter.cc

   1 /*-
   2  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD
   3  *
   4  * Copyright (c) 2018, Matthew Macy
   5  *
   6  * Redistribution and use in source and binary forms, with or without
   7  * modification, are permitted provided that the following conditions
   8  * are met:
   9  * 1. Redistributions of source code must retain the above copyright
  10  *    notice, this list of conditions and the following disclaimer.
  11  * 2. Redistributions in binary form must reproduce the above copyright
  12  *    notice, this list of conditions and the following disclaimer in the
  13  *    documentation and/or other materials provided with the distribution.
  14  *
  15  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  16  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  17  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  18  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  19  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  20  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  21  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  22  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  23  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  24  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  25  * SUCH DAMAGE.
  26  *
  27  */
  28
  29 #include <sys/cdefs.h>
  30 __FBSDID("$FreeBSD$");
  31
  32 #include <sys/param.h>
  33 #include <sys/cpuset.h>
  34 #include <sys/event.h>
  35 #include <sys/queue.h>
  36 #include <sys/socket.h>
  37 #include <sys/stat.h>
  38 #include <sys/sysctl.h>
  39 #include <sys/time.h>
  40 #include <sys/ttycom.h>
  41 #include <sys/user.h>
  42 #include <sys/wait.h>
  43
  44 #include <assert.h>
  45 #include <curses.h>
  46 #include <err.h>
  47 #include <errno.h>
  48 #include <fcntl.h>
  49 #include <getopt.h>
  50 #include <kvm.h>
  51 #include <libgen.h>
  52 #include <limits.h>
  53 #include <locale.h>
  54 #include <math.h>
  55 #include <pmc.h>
  56 #include <pmclog.h>
  57 #include <regex.h>
  58 #include <signal.h>
  59 #include <stdarg.h>
  60 #include <stdint.h>
  61 #include <stdio.h>
  62 #include <stdlib.h>
  63 #include <stddef.h>
  64 #include <string.h>
  65 #include <sysexits.h>
  66 #include <unistd.h>
  67
  68 #include <libpmcstat.h>
  69 #include "cmd_pmc.h"
  70
  71 #include <string>
  72 #include <unordered_map>
  73
  74 #include <pmcformat.h>
  75
  76 using   namespace std;
  77 using   std::unordered_map;
  78 typedef unordered_map < int ,string > idmap;
  79 typedef pair < int ,string > identry;
  80
  81 #define LIST_MAX 64
  82 static struct option longopts[] = {
  83         {"lwps", required_argument, NULL, 't'},
  84         {"pids", required_argument, NULL, 'p'},
  85         {"threads", required_argument, NULL, 'T'},
  86         {"processes", required_argument, NULL, 'P'},
  87         {"events", required_argument, NULL, 'e'},
  88         {NULL, 0, NULL, 0}
  89 };
  90
  91 static void __dead2
  92 usage(void)
  93 {
  94         errx(EX_USAGE,
  95             "\t filter log file\n"
  96             "\t -e <events>, --events <events> -- comma-delimited list of events to filter on\n"
  97             "\t -p <pids>, --pids <pids> -- comma-delimited list of pids to filter on\n"
  98             "\t -P <processes>, --processes <processes> -- comma-delimited list of process names to filter on\n"
  99             "\t -t <lwps>, --lwps <lwps> -- comma-delimited list of lwps to filter on\n"
 100             "\t -T <threads>, --threads <threads> -- comma-delimited list of thread names to filter on\n"
 101             "\t -x -- toggle inclusive filtering\n"
 102             );
 103 }
 104
 105
 106 static void
 107 parse_intlist(char *strlist, uint32_t *intlist, int *pcount, int (*fn) (const char *))
 108 {
 109         char *token;
 110         int count, tokenval;
 111
 112         count = 0;
 113         while ((token = strsep(&strlist, ",")) != NULL &&
 114             count < LIST_MAX) {
 115                 if ((tokenval = fn(token)) < 0)
 116                         errx(EX_USAGE, "ERROR: %s not usable value", token);
 117                 intlist[count++] = tokenval;
 118         }
 119         *pcount = count;
 120 }
 121
 122 static void
 123 parse_events(char *strlist, uint32_t intlist[LIST_MAX], int *pcount, char *cpuid)
 124 {
 125         char *token;
 126         int count, tokenval;
 127
 128         count = 0;
 129         while ((token = strsep(&strlist, ",")) != NULL &&
 130             count < LIST_MAX) {
 131                 if ((tokenval = pmc_pmu_idx_get_by_event(cpuid, token)) < 0)
 132                         errx(EX_USAGE, "ERROR: %s not usable value", token);
 133                 intlist[count++] = tokenval;
 134         }
 135         *pcount = count;
 136 }
 137
 138 static void
 139 parse_names(char *strlist, char *namelist[LIST_MAX], int *pcount)
 140 {
 141         char *token;
 142         int count;
 143
 144         count = 0;
 145         while ((token = strsep(&strlist, ",")) != NULL &&
 146             count < LIST_MAX) {
 147                 namelist[count++] = token;
 148         }
 149         *pcount = count;
 150 }
 151
 152
 153 struct pmcid_ent {
 154         uint32_t pe_pmcid;
 155         uint32_t pe_idx;
 156 };
 157 #define _PMCLOG_TO_HEADER(T,L)                                          \
 158         ((PMCLOG_HEADER_MAGIC << 24) |                                  \
 159          (PMCLOG_TYPE_ ## T << 16)   |                                  \
 160          ((L) & 0xFFFF))
 161
 162 static bool
 163 pmc_find_name(idmap & map, uint32_t id, char *list[LIST_MAX], int count)
 164 {
 165         int i;
 166
 167         auto kvpair = map.find(id);
 168         if (kvpair == map.end()) {
 169                 printf("unknown id: %d\n", id);
 170                 return (false);
 171         }
 172         auto p = list;
 173         for (i = 0; i < count; i++, p++) {
 174                 if (strstr(kvpair->second.c_str(), *p) != NULL)
 175                         return (true);
 176         }
 177         return (false);
 178 }
 179
 180 static void
 181 pmc_log_event(int fd, struct pmclog_ev *ev, bool json)
 182 {
 183         string ret;
 184         int len;
 185         const void *buf;
 186
 187         if (json) {
 188                 ret = event_to_json(ev);
 189                 buf = ret.c_str();
 190                 len = ret.size();
 191         } else {
 192                 len = ev->pl_len;
 193                 buf = ev->pl_data;
 194         }
 195         if (write(fd, buf, len) != (ssize_t)len)
 196                 errx(EX_OSERR, "ERROR: failed output write");
 197 }
 198
 199 static void
 200 pmc_filter_handler(uint32_t *lwplist, int lwpcount, uint32_t *pidlist, int pidcount,
 201     char *events, char *processes, char *threads, bool exclusive, bool json, int infd,
 202     int outfd)
 203 {
 204         struct pmclog_ev ev;
 205         struct pmclog_parse_state *ps;
 206         struct pmcid_ent *pe;
 207         uint32_t eventlist[LIST_MAX];
 208         char cpuid[PMC_CPUID_LEN];
 209         char *proclist[LIST_MAX];
 210         char *threadlist[LIST_MAX];
 211         int i, pmccount, copies, eventcount;
 212         int proccount, threadcount;
 213         uint32_t idx;
 214         idmap pidmap, tidmap;
 215
 216         if ((ps = static_cast < struct pmclog_parse_state *>(pmclog_open(infd)))== NULL)
 217                 errx(EX_OSERR, "ERROR: Cannot allocate pmclog parse state: %s\n", strerror(errno));
 218
 219         threadcount = proccount = eventcount = pmccount = 0;
 220         if (processes)
 221                 parse_names(processes, proclist, &proccount);
 222         if (threads)
 223                 parse_names(threads, threadlist, &threadcount);
 224         while (pmclog_read(ps, &ev) == 0) {
 225                 if (ev.pl_type == PMCLOG_TYPE_INITIALIZE)
 226                         memcpy(cpuid, ev.pl_u.pl_i.pl_cpuid, PMC_CPUID_LEN);
 227                 if (ev.pl_type == PMCLOG_TYPE_PMCALLOCATE)
 228                         pmccount++;
 229         }
 230         if (events)
 231                 parse_events(events, eventlist, &eventcount, cpuid);
 232         lseek(infd, 0, SEEK_SET);
 233         pmclog_close(ps);
 234         if ((ps = static_cast < struct pmclog_parse_state *>(pmclog_open(infd)))== NULL)
 235                 errx(EX_OSERR, "ERROR: Cannot allocate pmclog parse state: %s\n", strerror(errno));
 236         if ((pe = (struct pmcid_ent *) malloc(sizeof(*pe) * pmccount)) == NULL)
 237                 errx(EX_OSERR, "ERROR: failed to allocate pmcid map");
 238         i = 0;
 239         while (pmclog_read(ps, &ev) == 0 && i < pmccount) {
 240                 if (ev.pl_type == PMCLOG_TYPE_PMCALLOCATE) {
 241                         pe[i].pe_pmcid = ev.pl_u.pl_a.pl_pmcid;
 242                         pe[i].pe_idx = ev.pl_u.pl_a.pl_event;
 243                         i++;
 244                 }
 245         }
 246         lseek(infd, 0, SEEK_SET);
 247         pmclog_close(ps);
 248         if ((ps = static_cast < struct pmclog_parse_state *>(pmclog_open(infd)))== NULL)
 249                 errx(EX_OSERR, "ERROR: Cannot allocate pmclog parse state: %s\n", strerror(errno));
 250         copies = 0;
 251         while (pmclog_read(ps, &ev) == 0) {
 252                 if (ev.pl_type == PMCLOG_TYPE_THR_CREATE)
 253                         tidmap[ev.pl_u.pl_tc.pl_tid] = ev.pl_u.pl_tc.pl_tdname;
 254                 if (ev.pl_type == PMCLOG_TYPE_PROC_CREATE)
 255                         pidmap[ev.pl_u.pl_pc.pl_pid] = ev.pl_u.pl_pc.pl_pcomm;
 256                 if (ev.pl_type != PMCLOG_TYPE_CALLCHAIN) {
 257                         pmc_log_event(outfd, &ev, json);
 258                         continue;
 259                 }
 260                 if (pidcount) {
 261                         for (i = 0; i < pidcount; i++)
 262                                 if (pidlist[i] == ev.pl_u.pl_cc.pl_pid)
 263                                         break;
 264                         if ((i == pidcount) == exclusive)
 265                                 continue;
 266                 }
 267                 if (lwpcount) {
 268                         for (i = 0; i < lwpcount; i++)
 269                                 if (lwplist[i] == ev.pl_u.pl_cc.pl_tid)
 270                                         break;
 271                         if ((i == lwpcount) == exclusive)
 272                                 continue;
 273                 }
 274                 if (eventcount) {
 275                         for (i = 0; i < pmccount; i++) {
 276                                 if (pe[i].pe_pmcid == ev.pl_u.pl_cc.pl_pmcid)
 277                                         break;
 278                         }
 279                         if (i == pmccount)
 280                                 errx(EX_USAGE, "ERROR: unallocated pmcid: %d\n",
 281                                     ev.pl_u.pl_cc.pl_pmcid);
 282
 283                         idx = pe[i].pe_idx;
 284                         for (i = 0; i < eventcount; i++) {
 285                                 if (idx == eventlist[i])
 286                                         break;
 287                         }
 288                         if ((i == eventcount) == exclusive)
 289                                 continue;
 290                 }
 291                 if (proccount &&
 292                     pmc_find_name(pidmap, ev.pl_u.pl_cc.pl_pid, proclist, proccount) == exclusive)
 293                         continue;
 294                 if (threadcount &&
 295                     pmc_find_name(tidmap, ev.pl_u.pl_cc.pl_tid, threadlist, threadcount) == exclusive)
 296                         continue;
 297                 pmc_log_event(outfd, &ev, json);
 298         }
 299 }
 300
 301 int
 302 cmd_pmc_filter(int argc, char **argv)
 303 {
 304         char *lwps, *pids, *events, *processes, *threads;
 305         uint32_t lwplist[LIST_MAX];
 306         uint32_t pidlist[LIST_MAX];
 307         int option, lwpcount, pidcount;
 308         int prelogfd, postlogfd;
 309         bool exclusive, json;
 310
 311         threads = processes = lwps = pids = events = NULL;
 312         lwpcount = pidcount = 0;
 313         json = exclusive = false;
 314         while ((option = getopt_long(argc, argv, "e:jp:t:xP:T:", longopts, NULL)) != -1) {
 315                 switch (option) {
 316                 case 'e':
 317                         events = strdup(optarg);
 318                         break;
 319                 case 'j':
 320                         json = true;
 321                         break;
 322                 case 'p':
 323                         pids = strdup(optarg);
 324                         break;
 325                 case 'P':
 326                         processes = strdup(optarg);
 327                         break;
 328                 case 't':
 329                         lwps = strdup(optarg);
 330                         break;
 331                 case 'T':
 332                         threads = strdup(optarg);
 333                         break;
 334                 case 'x':
 335                         exclusive = !exclusive;
 336                         break;
 337                 case '?':
 338                 default:
 339                         usage();
 340                 }
 341         }
 342         argc -= optind;
 343         argv += optind;
 344         if (argc != 2)
 345                 usage();
 346
 347         if (lwps)
 348                 parse_intlist(lwps, lwplist, &lwpcount, atoi);
 349         if (pids)
 350                 parse_intlist(pids, pidlist, &pidcount, atoi);
 351         if ((prelogfd = open(argv[0], O_RDONLY,
 352             S_IRUSR | S_IWUSR | S_IRGRP | S_IROTH)) < 0)
 353                 errx(EX_OSERR, "ERROR: Cannot open \"%s\" for reading: %s.", argv[0],
 354                     strerror(errno));
 355         if ((postlogfd = open(argv[1], O_WRONLY | O_CREAT | O_TRUNC,
 356             S_IRUSR | S_IWUSR | S_IRGRP | S_IROTH)) < 0)
 357                 errx(EX_OSERR, "ERROR: Cannot open \"%s\" for writing: %s.", argv[1],
 358                     strerror(errno));
 359
 360         pmc_filter_handler(lwplist, lwpcount, pidlist, pidcount, events,
 361             processes, threads, exclusive, json, prelogfd, postlogfd);
 362         return (0);
 363 }