sys/cddl/dev/systrace/systrace.c

   1 /*
   2  * CDDL HEADER START
   3  *
   4  * The contents of this file are subject to the terms of the
   5  * Common Development and Distribution License (the "License").
   6  * You may not use this file except in compliance with the License.
   7  *
   8  * You can obtain a copy of the license at usr/src/OPENSOLARIS.LICENSE
   9  * or http://www.opensolaris.org/os/licensing.
  10  * See the License for the specific language governing permissions
  11  * and limitations under the License.
  12  *
  13  * When distributing Covered Code, include this CDDL HEADER in each
  14  * file and include the License file at usr/src/OPENSOLARIS.LICENSE.
  15  * If applicable, add the following below this CDDL HEADER, with the
  16  * fields enclosed by brackets "[]" replaced with your own identifying
  17  * information: Portions Copyright [yyyy] [name of copyright owner]
  18  *
  19  * CDDL HEADER END
  20  *
  21  * Portions Copyright 2006-2008 John Birrell jb@freebsd.org
  22  */
  23
  24 /*
  25  * Copyright 2006 Sun Microsystems, Inc.  All rights reserved.
  26  * Use is subject to license terms.
  27  */
  28
  29 #include <sys/cdefs.h>
  30 __FBSDID("$FreeBSD$");
  31
  32 #include <sys/param.h>
  33 #include <sys/systm.h>
  34 #include <sys/conf.h>
  35 #include <sys/cpuvar.h>
  36 #include <sys/dtrace.h>
  37 #include <sys/fcntl.h>
  38 #include <sys/filio.h>
  39 #include <sys/kdb.h>
  40 #include <sys/kernel.h>
  41 #include <sys/kmem.h>
  42 #include <sys/kthread.h>
  43 #include <sys/limits.h>
  44 #include <sys/linker.h>
  45 #include <sys/lock.h>
  46 #include <sys/malloc.h>
  47 #include <sys/module.h>
  48 #include <sys/mutex.h>
  49 #include <sys/poll.h>
  50 #include <sys/proc.h>
  51 #include <sys/selinfo.h>
  52 #include <sys/smp.h>
  53 #include <sys/sysent.h>
  54 #include <sys/sysproto.h>
  55 #include <sys/uio.h>
  56 #include <sys/unistd.h>
  57
  58 #include <cddl/dev/dtrace/dtrace_cddl.h>
  59
  60 #include <machine/stdarg.h>
  61
  62 #ifdef LINUX_SYSTRACE
  63 #if defined(__amd64__)
  64 #include <amd64/linux/linux.h>
  65 #include <amd64/linux/linux_proto.h>
  66 #include <amd64/linux/linux_syscalls.c>
  67 #include <amd64/linux/linux_systrace_args.c>
  68 #elif defined(__i386__)
  69 #include <i386/linux/linux.h>
  70 #include <i386/linux/linux_proto.h>
  71 #include <i386/linux/linux_syscalls.c>
  72 #include <i386/linux/linux_systrace_args.c>
  73 #else
  74 #error Only i386 and amd64 are supported.
  75 #endif
  76 #define MODNAME         "linux"
  77 extern struct sysent linux_sysent[];
  78 #define MAXSYSCALL      LINUX_SYS_MAXSYSCALL
  79 #define SYSCALLNAMES    linux_syscallnames
  80 #define SYSENT          linux_sysent
  81 #elif defined(LINUX32_SYSTRACE)
  82 #if defined(__amd64__)
  83 #include <amd64/linux32/linux.h>
  84 #include <amd64/linux32/linux32_proto.h>
  85 #include <amd64/linux32/linux32_syscalls.c>
  86 #include <amd64/linux32/linux32_systrace_args.c>
  87 #else
  88 #error Only amd64 is supported.
  89 #endif
  90 #define MODNAME         "linux32"
  91 extern struct sysent linux32_sysent[];
  92 #define MAXSYSCALL      LINUX32_SYS_MAXSYSCALL
  93 #define SYSCALLNAMES    linux32_syscallnames
  94 #define SYSENT          linux32_sysent
  95 #elif defined(FREEBSD32_SYSTRACE)
  96 /*
  97  * The syscall arguments are processed into a DTrace argument array
  98  * using a generated function. See sys/kern/makesyscalls.sh.
  99  */
 100 #include <compat/freebsd32/freebsd32_proto.h>
 101 #include <compat/freebsd32/freebsd32_util.h>
 102 #include <compat/freebsd32/freebsd32_syscall.h>
 103 #include <compat/freebsd32/freebsd32_systrace_args.c>
 104 extern const char *freebsd32_syscallnames[];
 105 #define MODNAME         "freebsd32"
 106 #define MAXSYSCALL      FREEBSD32_SYS_MAXSYSCALL
 107 #define SYSCALLNAMES    freebsd32_syscallnames
 108 #define SYSENT          freebsd32_sysent
 109 #else
 110 /*
 111  * The syscall arguments are processed into a DTrace argument array
 112  * using a generated function. See sys/kern/makesyscalls.sh.
 113  */
 114 #include <sys/syscall.h>
 115 #include <kern/systrace_args.c>
 116 #define MODNAME         "freebsd"
 117 #define MAXSYSCALL      SYS_MAXSYSCALL
 118 #define SYSCALLNAMES    syscallnames
 119 #define SYSENT          sysent
 120 #define NATIVE_ABI
 121 #endif
 122
 123 #define PROVNAME        "syscall"
 124 #define DEVNAME         "dtrace/systrace/" MODNAME
 125
 126 #define SYSTRACE_ARTIFICIAL_FRAMES      1
 127
 128 #define SYSTRACE_SHIFT                  16
 129 #define SYSTRACE_ISENTRY(x)             ((int)(x) >> SYSTRACE_SHIFT)
 130 #define SYSTRACE_SYSNUM(x)              ((int)(x) & ((1 << SYSTRACE_SHIFT) - 1))
 131 #define SYSTRACE_ENTRY(id)              ((1 << SYSTRACE_SHIFT) | (id))
 132 #define SYSTRACE_RETURN(id)             (id)
 133
 134 #if ((1 << SYSTRACE_SHIFT) <= MAXSYSCALL)
 135 #error 1 << SYSTRACE_SHIFT must exceed number of system calls
 136 #endif
 137
 138 static int systrace_enabled_count;
 139
 140 static void     systrace_load(void *);
 141 static void     systrace_unload(void *);
 142
 143 static void     systrace_getargdesc(void *, dtrace_id_t, void *,
 144                     dtrace_argdesc_t *);
 145 static uint64_t systrace_getargval(void *, dtrace_id_t, void *, int, int);
 146 static void     systrace_provide(void *, dtrace_probedesc_t *);
 147 static void     systrace_destroy(void *, dtrace_id_t, void *);
 148 static void     systrace_enable(void *, dtrace_id_t, void *);
 149 static void     systrace_disable(void *, dtrace_id_t, void *);
 150
 151 static union {
 152         const char      **p_constnames;
 153         char            **pp_syscallnames;
 154 } uglyhack = { SYSCALLNAMES };
 155
 156 static dtrace_pattr_t systrace_attr = {
 157 { DTRACE_STABILITY_EVOLVING, DTRACE_STABILITY_EVOLVING, DTRACE_CLASS_COMMON },
 158 { DTRACE_STABILITY_PRIVATE, DTRACE_STABILITY_PRIVATE, DTRACE_CLASS_UNKNOWN },
 159 { DTRACE_STABILITY_PRIVATE, DTRACE_STABILITY_PRIVATE, DTRACE_CLASS_ISA },
 160 { DTRACE_STABILITY_EVOLVING, DTRACE_STABILITY_EVOLVING, DTRACE_CLASS_COMMON },
 161 { DTRACE_STABILITY_PRIVATE, DTRACE_STABILITY_PRIVATE, DTRACE_CLASS_ISA },
 162 };
 163
 164 static dtrace_pops_t systrace_pops = {
 165         .dtps_provide =         systrace_provide,
 166         .dtps_provide_module =  NULL,
 167         .dtps_enable =          systrace_enable,
 168         .dtps_disable =         systrace_disable,
 169         .dtps_suspend =         NULL,
 170         .dtps_resume =          NULL,
 171         .dtps_getargdesc =      systrace_getargdesc,
 172         .dtps_getargval =       systrace_getargval,
 173         .dtps_usermode =        NULL,
 174         .dtps_destroy =         systrace_destroy
 175 };
 176
 177 static dtrace_provider_id_t     systrace_id;
 178
 179 #ifdef NATIVE_ABI
 180 /*
 181  * Probe callback function.
 182  *
 183  * Note: This function is called for _all_ syscalls, regardless of which sysent
 184  *       array the syscall comes from. It could be a standard syscall or a
 185  *       compat syscall from something like Linux.
 186  */
 187 static void
 188 systrace_probe(struct syscall_args *sa, enum systrace_probe_t type, int retval)
 189 {
 190         uint64_t uargs[nitems(sa->args)];
 191         dtrace_id_t id;
 192         int n_args, sysnum;
 193
 194         sysnum = sa->code;
 195         memset(uargs, 0, sizeof(uargs));
 196
 197         if (type == SYSTRACE_ENTRY) {
 198                 if ((id = sa->callp->sy_entry) == DTRACE_IDNONE)
 199                         return;
 200
 201                 if (sa->callp->sy_systrace_args_func != NULL)
 202                         /*
 203                          * Convert the syscall parameters using the registered
 204                          * function.
 205                          */
 206                         (*sa->callp->sy_systrace_args_func)(sysnum, sa->args,
 207                             uargs, &n_args);
 208                 else
 209                         /*
 210                          * Use the built-in system call argument conversion
 211                          * function to translate the syscall structure fields
 212                          * into the array of 64-bit values that DTrace expects.
 213                          */
 214                         systrace_args(sysnum, sa->args, uargs, &n_args);
 215                 /*
 216                  * Save probe arguments now so that we can retrieve them if
 217                  * the getargval method is called from further down the stack.
 218                  */
 219                 curthread->t_dtrace_systrace_args = uargs;
 220         } else {
 221                 if ((id = sa->callp->sy_return) == DTRACE_IDNONE)
 222                         return;
 223
 224                 curthread->t_dtrace_systrace_args = NULL;
 225                 /* Set arg0 and arg1 as the return value of this syscall. */
 226                 uargs[0] = uargs[1] = retval;
 227         }
 228
 229         /* Process the probe using the converted argments. */
 230         dtrace_probe(id, uargs[0], uargs[1], uargs[2], uargs[3], uargs[4]);
 231 }
 232 #endif
 233
 234 static void
 235 systrace_getargdesc(void *arg, dtrace_id_t id, void *parg,
 236     dtrace_argdesc_t *desc)
 237 {
 238         int sysnum = SYSTRACE_SYSNUM((uintptr_t)parg);
 239
 240         if (SYSTRACE_ISENTRY((uintptr_t)parg))
 241                 systrace_entry_setargdesc(sysnum, desc->dtargd_ndx,
 242                     desc->dtargd_native, sizeof(desc->dtargd_native));
 243         else
 244                 systrace_return_setargdesc(sysnum, desc->dtargd_ndx,
 245                     desc->dtargd_native, sizeof(desc->dtargd_native));
 246
 247         if (desc->dtargd_native[0] == '\0')
 248                 desc->dtargd_ndx = DTRACE_ARGNONE;
 249 }
 250
 251 static uint64_t
 252 systrace_getargval(void *arg __unused, dtrace_id_t id __unused,
 253     void *parg __unused, int argno, int aframes __unused)
 254 {
 255         uint64_t *uargs;
 256
 257         uargs = curthread->t_dtrace_systrace_args;
 258         if (uargs == NULL)
 259                 /* This is a return probe. */
 260                 return (0);
 261         if (argno >= nitems(((struct syscall_args *)NULL)->args))
 262                 return (0);
 263         return (uargs[argno]);
 264 }
 265
 266 static void
 267 systrace_provide(void *arg, dtrace_probedesc_t *desc)
 268 {
 269         int i;
 270
 271         if (desc != NULL)
 272                 return;
 273
 274         for (i = 0; i < MAXSYSCALL; i++) {
 275                 if (dtrace_probe_lookup(systrace_id, MODNAME,
 276                     uglyhack.pp_syscallnames[i], "entry") != 0)
 277                         continue;
 278
 279                 (void)dtrace_probe_create(systrace_id, MODNAME,
 280                     uglyhack.pp_syscallnames[i], "entry",
 281                     SYSTRACE_ARTIFICIAL_FRAMES,
 282                     (void *)((uintptr_t)SYSTRACE_ENTRY(i)));
 283                 (void)dtrace_probe_create(systrace_id, MODNAME,
 284                     uglyhack.pp_syscallnames[i], "return",
 285                     SYSTRACE_ARTIFICIAL_FRAMES,
 286                     (void *)((uintptr_t)SYSTRACE_RETURN(i)));
 287         }
 288 }
 289
 290 static void
 291 systrace_destroy(void *arg, dtrace_id_t id, void *parg)
 292 {
 293 #ifdef DEBUG
 294         int sysnum = SYSTRACE_SYSNUM((uintptr_t)parg);
 295
 296         /*
 297          * There's nothing to do here but assert that we have actually been
 298          * disabled.
 299          */
 300         if (SYSTRACE_ISENTRY((uintptr_t)parg)) {
 301                 ASSERT(sysent[sysnum].sy_entry == DTRACE_IDNONE);
 302         } else {
 303                 ASSERT(sysent[sysnum].sy_return == DTRACE_IDNONE);
 304         }
 305 #endif
 306 }
 307
 308 static void
 309 systrace_enable(void *arg, dtrace_id_t id, void *parg)
 310 {
 311         int sysnum = SYSTRACE_SYSNUM((uintptr_t)parg);
 312
 313         SYSENT[sysnum].sy_systrace_args_func = systrace_args;
 314
 315         if (SYSTRACE_ISENTRY((uintptr_t)parg))
 316                 SYSENT[sysnum].sy_entry = id;
 317         else
 318                 SYSENT[sysnum].sy_return = id;
 319         systrace_enabled_count++;
 320         if (systrace_enabled_count == 1)
 321                 systrace_enabled = true;
 322 }
 323
 324 static void
 325 systrace_disable(void *arg, dtrace_id_t id, void *parg)
 326 {
 327         int sysnum = SYSTRACE_SYSNUM((uintptr_t)parg);
 328
 329         SYSENT[sysnum].sy_systrace_args_func = NULL;
 330         SYSENT[sysnum].sy_entry = DTRACE_IDNONE;
 331         SYSENT[sysnum].sy_return = DTRACE_IDNONE;
 332         systrace_enabled_count--;
 333         if (systrace_enabled_count == 0)
 334                 systrace_enabled = false;
 335 }
 336
 337 static void
 338 systrace_load(void *dummy __unused)
 339 {
 340
 341         if (dtrace_register(PROVNAME, &systrace_attr, DTRACE_PRIV_USER, NULL,
 342             &systrace_pops, NULL, &systrace_id) != 0)
 343                 return;
 344
 345 #ifdef NATIVE_ABI
 346         systrace_probe_func = systrace_probe;
 347 #endif
 348 }
 349
 350 static void
 351 systrace_unload(void *dummy __unused)
 352 {
 353
 354 #ifdef NATIVE_ABI
 355         systrace_probe_func = NULL;
 356 #endif
 357
 358         if (dtrace_unregister(systrace_id) != 0)
 359                 return;
 360 }
 361
 362 static int
 363 systrace_modevent(module_t mod __unused, int type, void *data __unused)
 364 {
 365         int error;
 366
 367         error = 0;
 368         switch (type) {
 369         case MOD_LOAD:
 370                 break;
 371
 372         case MOD_UNLOAD:
 373                 break;
 374
 375         case MOD_SHUTDOWN:
 376                 break;
 377
 378         default:
 379                 error = EOPNOTSUPP;
 380                 break;
 381
 382         }
 383         return (error);
 384 }
 385
 386 SYSINIT(systrace_load, SI_SUB_DTRACE_PROVIDER, SI_ORDER_ANY,
 387     systrace_load, NULL);
 388 SYSUNINIT(systrace_unload, SI_SUB_DTRACE_PROVIDER, SI_ORDER_ANY,
 389     systrace_unload, NULL);
 390
 391 #ifdef LINUX_SYSTRACE
 392 DEV_MODULE(systrace_linux, systrace_modevent, NULL);
 393 MODULE_VERSION(systrace_linux, 1);
 394 #ifdef __amd64__
 395 MODULE_DEPEND(systrace_linux, linux64, 1, 1, 1);
 396 #else
 397 MODULE_DEPEND(systrace_linux, linux, 1, 1, 1);
 398 #endif
 399 MODULE_DEPEND(systrace_linux, dtrace, 1, 1, 1);
 400 MODULE_DEPEND(systrace_linux, opensolaris, 1, 1, 1);
 401 #elif defined(LINUX32_SYSTRACE)
 402 DEV_MODULE(systrace_linux32, systrace_modevent, NULL);
 403 MODULE_VERSION(systrace_linux32, 1);
 404 MODULE_DEPEND(systrace_linux32, linux, 1, 1, 1);
 405 MODULE_DEPEND(systrace_linux32, dtrace, 1, 1, 1);
 406 MODULE_DEPEND(systrace_linux32, opensolaris, 1, 1, 1);
 407 #elif defined(FREEBSD32_SYSTRACE)
 408 DEV_MODULE(systrace_freebsd32, systrace_modevent, NULL);
 409 MODULE_VERSION(systrace_freebsd32, 1);
 410 MODULE_DEPEND(systrace_freebsd32, dtrace, 1, 1, 1);
 411 MODULE_DEPEND(systrace_freebsd32, opensolaris, 1, 1, 1);
 412 #else
 413 DEV_MODULE(systrace, systrace_modevent, NULL);
 414 MODULE_VERSION(systrace, 1);
 415 MODULE_DEPEND(systrace, dtrace, 1, 1, 1);
 416 MODULE_DEPEND(systrace, opensolaris, 1, 1, 1);
 417 #endif