cddl/contrib/opensolaris/lib/libdtrace/common/dt_lex.l

   1 %{
   2 /*
   3  * CDDL HEADER START
   4  *
   5  * The contents of this file are subject to the terms of the
   6  * Common Development and Distribution License (the "License").
   7  * You may not use this file except in compliance with the License.
   8  *
   9  * You can obtain a copy of the license at usr/src/OPENSOLARIS.LICENSE
  10  * or http://www.opensolaris.org/os/licensing.
  11  * See the License for the specific language governing permissions
  12  * and limitations under the License.
  13  *
  14  * When distributing Covered Code, include this CDDL HEADER in each
  15  * file and include the License file at usr/src/OPENSOLARIS.LICENSE.
  16  * If applicable, add the following below this CDDL HEADER, with the
  17  * fields enclosed by brackets "[]" replaced with your own identifying
  18  * information: Portions Copyright [yyyy] [name of copyright owner]
  19  *
  20  * CDDL HEADER END
  21  */
  22
  23 /*
  24  * Copyright (c) 2003, 2010, Oracle and/or its affiliates. All rights reserved.
  25  */
  26
  27 #include <string.h>
  28 #include <stdlib.h>
  29 #include <stdio.h>
  30 #include <assert.h>
  31 #include <ctype.h>
  32 #include <errno.h>
  33
  34 #include <dt_impl.h>
  35 #include <dt_grammar.h>
  36 #include <dt_parser.h>
  37 #include <dt_string.h>
  38
  39 /*
  40  * We need to undefine lex's input and unput macros so that references to these
  41  * call the functions provided at the end of this source file.
  42  */
  43 #if defined(sun)
  44 #undef input
  45 #undef unput
  46 #else
  47 /*
  48  * Define YY_INPUT for flex since input() can't be re-defined.
  49  */
  50 #define YY_INPUT(buf,result,max_size) \
  51         if (yypcb->pcb_fileptr != NULL) { \
  52                 if (((result = fread(buf, 1, max_size, yypcb->pcb_fileptr)) == 0) \
  53                     && ferror(yypcb->pcb_fileptr)) \
  54                         longjmp(yypcb->pcb_jmpbuf, EDT_FIO); \
  55         } else { \
  56                 int n; \
  57                 for (n = 0; n < max_size && \
  58                     yypcb->pcb_strptr < yypcb->pcb_string + yypcb->pcb_strlen; n++) \
  59                         buf[n] = *yypcb->pcb_strptr++; \
  60                 result = n; \
  61         }
  62 /*
  63  * Do not EOF let tokens to be put back. This does not work with flex.
  64  * On the other hand, leaving current buffer in same state it was when
  65  * last EOF was received guarantees that input() will keep returning EOF
  66  * for all subsequent invocations, which is the effect desired.
  67  */
  68 #undef  unput
  69 #define unput(c)                                        \
  70         do {                                            \
  71                 int _c = c;                             \
  72                 if (_c != EOF)                          \
  73                         yyunput(_c, yytext_ptr);        \
  74         } while(0)
  75 #endif
  76
  77 static int id_or_type(const char *);
  78 #if defined(sun)
  79 static int input(void);
  80 static void unput(int);
  81 #endif
  82
  83 /*
  84  * We first define a set of labeled states for use in the D lexer and then a
  85  * set of regular expressions to simplify things below. The lexer states are:
  86  *
  87  * S0 - D program clause and expression lexing
  88  * S1 - D comments (i.e. skip everything until end of comment)
  89  * S2 - D program outer scope (probe specifiers and declarations)
  90  * S3 - D control line parsing (i.e. after ^# is seen but before \n)
  91  * S4 - D control line scan (locate control directives only and invoke S3)
  92  */
  93 %}
  94
  95 %e 1500         /* maximum nodes */
  96 %p 3700         /* maximum positions */
  97 %n 600          /* maximum states */
  98
  99 %s S0 S1 S2 S3 S4
 100
 101 RGX_AGG         "@"[a-zA-Z_][0-9a-zA-Z_]*
 102 RGX_PSPEC       [-$:a-zA-Z_.?*\\\[\]!][-$:0-9a-zA-Z_.`?*\\\[\]!]*
 103 RGX_IDENT       [a-zA-Z_`][0-9a-zA-Z_`]*
 104 RGX_INT         ([0-9]+|0[xX][0-9A-Fa-f]+)[uU]?[lL]?[lL]?
 105 RGX_FP          ([0-9]+("."?)[0-9]*|"."[0-9]+)((e|E)("+"|-)?[0-9]+)?[fFlL]?
 106 RGX_WS          [\f\n\r\t\v ]
 107 RGX_STR         ([^"\\\n]|\\[^"\n]|\\\")*
 108 RGX_CHR         ([^'\\\n]|\\[^'\n]|\\')*
 109 RGX_INTERP      ^[\f\t\v ]*#!.*
 110 RGX_CTL         ^[\f\t\v ]*#
 111
 112 %%
 113
 114 %{
 115
 116 /*
 117  * We insert a special prologue into yylex() itself: if the pcb contains a
 118  * context token, we return that prior to running the normal lexer.  This
 119  * allows libdtrace to force yacc into one of our three parsing contexts: D
 120  * expression (DT_CTX_DEXPR), D program (DT_CTX_DPROG) or D type (DT_CTX_DTYPE).
 121  * Once the token is returned, we clear it so this only happens once.
 122  */
 123 if (yypcb->pcb_token != 0) {
 124         int tok = yypcb->pcb_token;
 125         yypcb->pcb_token = 0;
 126         return (tok);
 127 }
 128
 129 %}
 130
 131 <S0>auto        return (DT_KEY_AUTO);
 132 <S0>break       return (DT_KEY_BREAK);
 133 <S0>case        return (DT_KEY_CASE);
 134 <S0>char        return (DT_KEY_CHAR);
 135 <S0>const       return (DT_KEY_CONST);
 136 <S0>continue    return (DT_KEY_CONTINUE);
 137 <S0>counter     return (DT_KEY_COUNTER);
 138 <S0>default     return (DT_KEY_DEFAULT);
 139 <S0>do          return (DT_KEY_DO);
 140 <S0>double      return (DT_KEY_DOUBLE);
 141 <S0>else        return (DT_KEY_ELSE);
 142 <S0>enum        return (DT_KEY_ENUM);
 143 <S0>extern      return (DT_KEY_EXTERN);
 144 <S0>float       return (DT_KEY_FLOAT);
 145 <S0>for         return (DT_KEY_FOR);
 146 <S0>goto        return (DT_KEY_GOTO);
 147 <S0>if          return (DT_KEY_IF);
 148 <S0>import      return (DT_KEY_IMPORT);
 149 <S0>inline      return (DT_KEY_INLINE);
 150 <S0>int         return (DT_KEY_INT);
 151 <S0>long        return (DT_KEY_LONG);
 152 <S0>offsetof    return (DT_TOK_OFFSETOF);
 153 <S0>probe       return (DT_KEY_PROBE);
 154 <S0>provider    return (DT_KEY_PROVIDER);
 155 <S0>register    return (DT_KEY_REGISTER);
 156 <S0>restrict    return (DT_KEY_RESTRICT);
 157 <S0>return      return (DT_KEY_RETURN);
 158 <S0>self        return (DT_KEY_SELF);
 159 <S0>short       return (DT_KEY_SHORT);
 160 <S0>signed      return (DT_KEY_SIGNED);
 161 <S0>sizeof      return (DT_TOK_SIZEOF);
 162 <S0>static      return (DT_KEY_STATIC);
 163 <S0>string      return (DT_KEY_STRING);
 164 <S0>stringof    return (DT_TOK_STRINGOF);
 165 <S0>struct      return (DT_KEY_STRUCT);
 166 <S0>switch      return (DT_KEY_SWITCH);
 167 <S0>this        return (DT_KEY_THIS);
 168 <S0>translator  return (DT_KEY_XLATOR);
 169 <S0>typedef     return (DT_KEY_TYPEDEF);
 170 <S0>union       return (DT_KEY_UNION);
 171 <S0>unsigned    return (DT_KEY_UNSIGNED);
 172 <S0>void        return (DT_KEY_VOID);
 173 <S0>volatile    return (DT_KEY_VOLATILE);
 174 <S0>while       return (DT_KEY_WHILE);
 175 <S0>xlate       return (DT_TOK_XLATE);
 176
 177 <S2>auto        { yybegin(YYS_EXPR);    return (DT_KEY_AUTO); }
 178 <S2>char        { yybegin(YYS_EXPR);    return (DT_KEY_CHAR); }
 179 <S2>const       { yybegin(YYS_EXPR);    return (DT_KEY_CONST); }
 180 <S2>counter     { yybegin(YYS_DEFINE);  return (DT_KEY_COUNTER); }
 181 <S2>double      { yybegin(YYS_EXPR);    return (DT_KEY_DOUBLE); }
 182 <S2>enum        { yybegin(YYS_EXPR);    return (DT_KEY_ENUM); }
 183 <S2>extern      { yybegin(YYS_EXPR);    return (DT_KEY_EXTERN); }
 184 <S2>float       { yybegin(YYS_EXPR);    return (DT_KEY_FLOAT); }
 185 <S2>import      { yybegin(YYS_EXPR);    return (DT_KEY_IMPORT); }
 186 <S2>inline      { yybegin(YYS_DEFINE);  return (DT_KEY_INLINE); }
 187 <S2>int         { yybegin(YYS_EXPR);    return (DT_KEY_INT); }
 188 <S2>long        { yybegin(YYS_EXPR);    return (DT_KEY_LONG); }
 189 <S2>provider    { yybegin(YYS_DEFINE);  return (DT_KEY_PROVIDER); }
 190 <S2>register    { yybegin(YYS_EXPR);    return (DT_KEY_REGISTER); }
 191 <S2>restrict    { yybegin(YYS_EXPR);    return (DT_KEY_RESTRICT); }
 192 <S2>self        { yybegin(YYS_EXPR);    return (DT_KEY_SELF); }
 193 <S2>short       { yybegin(YYS_EXPR);    return (DT_KEY_SHORT); }
 194 <S2>signed      { yybegin(YYS_EXPR);    return (DT_KEY_SIGNED); }
 195 <S2>static      { yybegin(YYS_EXPR);    return (DT_KEY_STATIC); }
 196 <S2>string      { yybegin(YYS_EXPR);    return (DT_KEY_STRING); }
 197 <S2>struct      { yybegin(YYS_EXPR);    return (DT_KEY_STRUCT); }
 198 <S2>this        { yybegin(YYS_EXPR);    return (DT_KEY_THIS); }
 199 <S2>translator  { yybegin(YYS_DEFINE);  return (DT_KEY_XLATOR); }
 200 <S2>typedef     { yybegin(YYS_EXPR);    return (DT_KEY_TYPEDEF); }
 201 <S2>union       { yybegin(YYS_EXPR);    return (DT_KEY_UNION); }
 202 <S2>unsigned    { yybegin(YYS_EXPR);    return (DT_KEY_UNSIGNED); }
 203 <S2>void        { yybegin(YYS_EXPR);    return (DT_KEY_VOID); }
 204 <S2>volatile    { yybegin(YYS_EXPR);    return (DT_KEY_VOLATILE); }
 205
 206 <S0>"$$"[0-9]+  {
 207                         int i = atoi(yytext + 2);
 208                         char *v = "";
 209
 210                         /*
 211                          * A macro argument reference substitutes the text of
 212                          * an argument in place of the current token.  When we
 213                          * see $$<d> we fetch the saved string from pcb_sargv
 214                          * (or use the default argument if the option has been
 215                          * set and the argument hasn't been specified) and
 216                          * return a token corresponding to this string.
 217                          */
 218                         if (i < 0 || (i >= yypcb->pcb_sargc &&
 219                             !(yypcb->pcb_cflags & DTRACE_C_DEFARG))) {
 220                                 xyerror(D_MACRO_UNDEF, "macro argument %s is "
 221                                     "not defined\n", yytext);
 222                         }
 223
 224                         if (i < yypcb->pcb_sargc) {
 225                                 v = yypcb->pcb_sargv[i]; /* get val from pcb */
 226                                 yypcb->pcb_sflagv[i] |= DT_IDFLG_REF;
 227                         }
 228
 229                         if ((yylval.l_str = strdup(v)) == NULL)
 230                                 longjmp(yypcb->pcb_jmpbuf, EDT_NOMEM);
 231
 232                         (void) stresc2chr(yylval.l_str);
 233                         return (DT_TOK_STRING);
 234                 }
 235
 236 <S0>"$"[0-9]+   {
 237                         int i = atoi(yytext + 1);
 238                         char *p, *v = "0";
 239
 240                         /*
 241                          * A macro argument reference substitutes the text of
 242                          * one identifier or integer pattern for another.  When
 243                          * we see $<d> we fetch the saved string from pcb_sargv
 244                          * (or use the default argument if the option has been
 245                          * set and the argument hasn't been specified) and
 246                          * return a token corresponding to this string.
 247                          */
 248                         if (i < 0 || (i >= yypcb->pcb_sargc &&
 249                             !(yypcb->pcb_cflags & DTRACE_C_DEFARG))) {
 250                                 xyerror(D_MACRO_UNDEF, "macro argument %s is "
 251                                     "not defined\n", yytext);
 252                         }
 253
 254                         if (i < yypcb->pcb_sargc) {
 255                                 v = yypcb->pcb_sargv[i]; /* get val from pcb */
 256                                 yypcb->pcb_sflagv[i] |= DT_IDFLG_REF;
 257                         }
 258
 259                         /*
 260                          * If the macro text is not a valid integer or ident,
 261                          * then we treat it as a string.  The string may be
 262                          * optionally enclosed in quotes, which we strip.
 263                          */
 264                         if (strbadidnum(v)) {
 265                                 size_t len = strlen(v);
 266
 267                                 if (len != 1 && *v == '"' && v[len - 1] == '"')
 268                                         yylval.l_str = strndup(v + 1, len - 2);
 269                                 else
 270                                         yylval.l_str = strndup(v, len);
 271
 272                                 if (yylval.l_str == NULL)
 273                                         longjmp(yypcb->pcb_jmpbuf, EDT_NOMEM);
 274
 275                                 (void) stresc2chr(yylval.l_str);
 276                                 return (DT_TOK_STRING);
 277                         }
 278
 279                         /*
 280                          * If the macro text is not a string an begins with a
 281                          * digit or a +/- sign, process it as an integer token.
 282                          */
 283                         if (isdigit(v[0]) || v[0] == '-' || v[0] == '+') {
 284                                 if (isdigit(v[0]))
 285                                         yyintprefix = 0;
 286                                 else
 287                                         yyintprefix = *v++;
 288
 289                                 errno = 0;
 290                                 yylval.l_int = strtoull(v, &p, 0);
 291                                 (void) strncpy(yyintsuffix, p,
 292                                     sizeof (yyintsuffix));
 293                                 yyintdecimal = *v != '0';
 294
 295                                 if (errno == ERANGE) {
 296                                         xyerror(D_MACRO_OFLOW, "macro argument"
 297                                             " %s constant %s results in integer"
 298                                             " overflow\n", yytext, v);
 299                                 }
 300
 301                                 return (DT_TOK_INT);
 302                         }
 303
 304                         return (id_or_type(v));
 305                 }
 306
 307 <S0>"$$"{RGX_IDENT} {
 308                         dt_ident_t *idp = dt_idhash_lookup(
 309                             yypcb->pcb_hdl->dt_macros, yytext + 2);
 310
 311                         char s[16]; /* enough for UINT_MAX + \0 */
 312
 313                         if (idp == NULL) {
 314                                 xyerror(D_MACRO_UNDEF, "macro variable %s "
 315                                     "is not defined\n", yytext);
 316                         }
 317
 318                         /*
 319                          * For the moment, all current macro variables are of
 320                          * type id_t (refer to dtrace_update() for details).
 321                          */
 322                         (void) snprintf(s, sizeof (s), "%u", idp->di_id);
 323                         if ((yylval.l_str = strdup(s)) == NULL)
 324                                 longjmp(yypcb->pcb_jmpbuf, EDT_NOMEM);
 325
 326                         return (DT_TOK_STRING);
 327                 }
 328
 329 <S0>"$"{RGX_IDENT} {
 330                         dt_ident_t *idp = dt_idhash_lookup(
 331                             yypcb->pcb_hdl->dt_macros, yytext + 1);
 332
 333                         if (idp == NULL) {
 334                                 xyerror(D_MACRO_UNDEF, "macro variable %s "
 335                                     "is not defined\n", yytext);
 336                         }
 337
 338                         /*
 339                          * For the moment, all current macro variables are of
 340                          * type id_t (refer to dtrace_update() for details).
 341                          */
 342                         yylval.l_int = (intmax_t)(int)idp->di_id;
 343                         yyintprefix = 0;
 344                         yyintsuffix[0] = '\0';
 345                         yyintdecimal = 1;
 346
 347                         return (DT_TOK_INT);
 348                 }
 349
 350 <S0>{RGX_IDENT} {
 351                         return (id_or_type(yytext));
 352                 }
 353
 354 <S0>{RGX_AGG}   {
 355                         if ((yylval.l_str = strdup(yytext)) == NULL)
 356                                 longjmp(yypcb->pcb_jmpbuf, EDT_NOMEM);
 357                         return (DT_TOK_AGG);
 358                 }
 359
 360 <S0>"@"         {
 361                         if ((yylval.l_str = strdup("@_")) == NULL)
 362                                 longjmp(yypcb->pcb_jmpbuf, EDT_NOMEM);
 363                         return (DT_TOK_AGG);
 364                 }
 365
 366 <S0>{RGX_INT}   |
 367 <S2>{RGX_INT}   |
 368 <S3>{RGX_INT}   {
 369                         char *p;
 370
 371                         errno = 0;
 372                         yylval.l_int = strtoull(yytext, &p, 0);
 373                         yyintprefix = 0;
 374                         (void) strncpy(yyintsuffix, p, sizeof (yyintsuffix));
 375                         yyintdecimal = yytext[0] != '0';
 376
 377                         if (errno == ERANGE) {
 378                                 xyerror(D_INT_OFLOW, "constant %s results in "
 379                                     "integer overflow\n", yytext);
 380                         }
 381
 382                         if (*p != '\0' && strchr("uUlL", *p) == NULL) {
 383                                 xyerror(D_INT_DIGIT, "constant %s contains "
 384                                     "invalid digit %c\n", yytext, *p);
 385                         }
 386
 387                         if ((YYSTATE) != S3)
 388                                 return (DT_TOK_INT);
 389
 390                         yypragma = dt_node_link(yypragma,
 391                             dt_node_int(yylval.l_int));
 392                 }
 393
 394 <S0>{RGX_FP}    yyerror("floating-point constants are not permitted\n");
 395
 396 <S0>\"{RGX_STR}$ |
 397 <S3>\"{RGX_STR}$ xyerror(D_STR_NL, "newline encountered in string literal");
 398
 399 <S0>\"{RGX_STR}\" |
 400 <S3>\"{RGX_STR}\" {
 401                         /*
 402                          * Quoted string -- convert C escape sequences and
 403                          * return the string as a token.
 404                          */
 405                         yylval.l_str = strndup(yytext + 1, yyleng - 2);
 406
 407                         if (yylval.l_str == NULL)
 408                                 longjmp(yypcb->pcb_jmpbuf, EDT_NOMEM);
 409
 410                         (void) stresc2chr(yylval.l_str);
 411                         if ((YYSTATE) != S3)
 412                                 return (DT_TOK_STRING);
 413
 414                         yypragma = dt_node_link(yypragma,
 415                             dt_node_string(yylval.l_str));
 416                 }
 417
 418 <S0>'{RGX_CHR}$ xyerror(D_CHR_NL, "newline encountered in character constant");
 419
 420 <S0>'{RGX_CHR}' {
 421                         char *s, *p, *q;
 422                         size_t nbytes;
 423
 424                         /*
 425                          * Character constant -- convert C escape sequences and
 426                          * return the character as an integer immediate value.
 427                          */
 428                         if (yyleng == 2)
 429                                 xyerror(D_CHR_NULL, "empty character constant");
 430
 431                         s = yytext + 1;
 432                         yytext[yyleng - 1] = '\0';
 433                         nbytes = stresc2chr(s);
 434                         yylval.l_int = 0;
 435                         yyintprefix = 0;
 436                         yyintsuffix[0] = '\0';
 437                         yyintdecimal = 1;
 438
 439                         if (nbytes > sizeof (yylval.l_int)) {
 440                                 xyerror(D_CHR_OFLOW, "character constant is "
 441                                     "too long");
 442                         }
 443 #if BYTE_ORDER == _LITTLE_ENDIAN
 444                         p = ((char *)&yylval.l_int) + nbytes - 1;
 445                         for (q = s; nbytes != 0; nbytes--)
 446                                 *p-- = *q++;
 447 #else
 448                         bcopy(s, ((char *)&yylval.l_int) +
 449                             sizeof (yylval.l_int) - nbytes, nbytes);
 450 #endif
 451                         return (DT_TOK_INT);
 452                 }
 453
 454 <S0>"/*"        |
 455 <S2>"/*"        {
 456                         yypcb->pcb_cstate = (YYSTATE);
 457                         BEGIN(S1);
 458                 }
 459
 460 <S0>{RGX_INTERP} |
 461 <S2>{RGX_INTERP} ;      /* discard any #! lines */
 462
 463 <S0>{RGX_CTL}   |
 464 <S2>{RGX_CTL}   |
 465 <S4>{RGX_CTL}   {
 466                         assert(yypragma == NULL);
 467                         yypcb->pcb_cstate = (YYSTATE);
 468                         BEGIN(S3);
 469                 }
 470
 471 <S4>.           ;       /* discard */
 472 <S4>"\n"        ;       /* discard */
 473
 474 <S0>"/"         {
 475                         int c, tok;
 476
 477                         /*
 478                          * The use of "/" as the predicate delimiter and as the
 479                          * integer division symbol requires special lookahead
 480                          * to avoid a shift/reduce conflict in the D grammar.
 481                          * We look ahead to the next non-whitespace character.
 482                          * If we encounter EOF, ";", "{", or "/", then this "/"
 483                          * closes the predicate and we return DT_TOK_EPRED.
 484                          * If we encounter anything else, it's DT_TOK_DIV.
 485                          */
 486                         while ((c = input()) != 0) {
 487                                 if (strchr("\f\n\r\t\v ", c) == NULL)
 488                                         break;
 489                         }
 490
 491                         if (c == 0 || c == ';' || c == '{' || c == '/') {
 492                                 if (yypcb->pcb_parens != 0) {
 493                                         yyerror("closing ) expected in "
 494                                             "predicate before /\n");
 495                                 }
 496                                 if (yypcb->pcb_brackets != 0) {
 497                                         yyerror("closing ] expected in "
 498                                             "predicate before /\n");
 499                                 }
 500                                 tok = DT_TOK_EPRED;
 501                         } else
 502                                 tok = DT_TOK_DIV;
 503
 504                         unput(c);
 505                         return (tok);
 506                 }
 507
 508 <S0>"("         {
 509                         yypcb->pcb_parens++;
 510                         return (DT_TOK_LPAR);
 511                 }
 512
 513 <S0>")"         {
 514                         if (--yypcb->pcb_parens < 0)
 515                                 yyerror("extra ) in input stream\n");
 516                         return (DT_TOK_RPAR);
 517                 }
 518
 519 <S0>"["         {
 520                         yypcb->pcb_brackets++;
 521                         return (DT_TOK_LBRAC);
 522                 }
 523
 524 <S0>"]"         {
 525                         if (--yypcb->pcb_brackets < 0)
 526                                 yyerror("extra ] in input stream\n");
 527                         return (DT_TOK_RBRAC);
 528                 }
 529
 530 <S0>"{"         |
 531 <S2>"{"         {
 532                         yypcb->pcb_braces++;
 533                         return ('{');
 534                 }
 535
 536 <S0>"}"         {
 537                         if (--yypcb->pcb_braces < 0)
 538                                 yyerror("extra } in input stream\n");
 539                         return ('}');
 540                 }
 541
 542 <S0>"|"         return (DT_TOK_BOR);
 543 <S0>"^"         return (DT_TOK_XOR);
 544 <S0>"&"         return (DT_TOK_BAND);
 545 <S0>"&&"        return (DT_TOK_LAND);
 546 <S0>"^^"        return (DT_TOK_LXOR);
 547 <S0>"||"        return (DT_TOK_LOR);
 548 <S0>"=="        return (DT_TOK_EQU);
 549 <S0>"!="        return (DT_TOK_NEQ);
 550 <S0>"<"         return (DT_TOK_LT);
 551 <S0>"<="        return (DT_TOK_LE);
 552 <S0>">"         return (DT_TOK_GT);
 553 <S0>">="        return (DT_TOK_GE);
 554 <S0>"<<"        return (DT_TOK_LSH);
 555 <S0>">>"        return (DT_TOK_RSH);
 556 <S0>"+"         return (DT_TOK_ADD);
 557 <S0>"-"         return (DT_TOK_SUB);
 558 <S0>"*"         return (DT_TOK_MUL);
 559 <S0>"%"         return (DT_TOK_MOD);
 560 <S0>"~"         return (DT_TOK_BNEG);
 561 <S0>"!"         return (DT_TOK_LNEG);
 562 <S0>"?"         return (DT_TOK_QUESTION);
 563 <S0>":"         return (DT_TOK_COLON);
 564 <S0>"."         return (DT_TOK_DOT);
 565 <S0>"->"        return (DT_TOK_PTR);
 566 <S0>"="         return (DT_TOK_ASGN);
 567 <S0>"+="        return (DT_TOK_ADD_EQ);
 568 <S0>"-="        return (DT_TOK_SUB_EQ);
 569 <S0>"*="        return (DT_TOK_MUL_EQ);
 570 <S0>"/="        return (DT_TOK_DIV_EQ);
 571 <S0>"%="        return (DT_TOK_MOD_EQ);
 572 <S0>"&="        return (DT_TOK_AND_EQ);
 573 <S0>"^="        return (DT_TOK_XOR_EQ);
 574 <S0>"|="        return (DT_TOK_OR_EQ);
 575 <S0>"<<="       return (DT_TOK_LSH_EQ);
 576 <S0>">>="       return (DT_TOK_RSH_EQ);
 577 <S0>"++"        return (DT_TOK_ADDADD);
 578 <S0>"--"        return (DT_TOK_SUBSUB);
 579 <S0>"..."       return (DT_TOK_ELLIPSIS);
 580 <S0>","         return (DT_TOK_COMMA);
 581 <S0>";"         return (';');
 582 <S0>{RGX_WS}    ; /* discard */
 583 <S0>"\\"\n      ; /* discard */
 584 <S0>.           yyerror("syntax error near \"%c\"\n", yytext[0]);
 585
 586 <S1>"/*"        yyerror("/* encountered inside a comment\n");
 587 <S1>"*/"        BEGIN(yypcb->pcb_cstate);
 588 <S1>.|\n        ; /* discard */
 589
 590 <S2>{RGX_PSPEC} {
 591                         /*
 592                          * S2 has an ambiguity because RGX_PSPEC includes '*'
 593                          * as a glob character and '*' also can be DT_TOK_STAR.
 594                          * Since lex always matches the longest token, this
 595                          * rule can be matched by an input string like "int*",
 596                          * which could begin a global variable declaration such
 597                          * as "int*x;" or could begin a RGX_PSPEC with globbing
 598                          * such as "int* { trace(timestamp); }".  If C_PSPEC is
 599                          * not set, we must resolve the ambiguity in favor of
 600                          * the type and perform lexer pushback if the fragment
 601                          * before '*' or entire fragment matches a type name.
 602                          * If C_PSPEC is set, we always return a PSPEC token.
 603                          * If C_PSPEC is off, the user can avoid ambiguity by
 604                          * including a ':' delimiter in the specifier, which
 605                          * they should be doing anyway to specify the provider.
 606                          */
 607                         if (!(yypcb->pcb_cflags & DTRACE_C_PSPEC) &&
 608                             strchr(yytext, ':') == NULL) {
 609
 610                                 char *p = strchr(yytext, '*');
 611                                 char *q = yytext + yyleng - 1;
 612
 613                                 if (p != NULL && p > yytext)
 614                                         *p = '\0'; /* prune yytext */
 615
 616                                 if (dt_type_lookup(yytext, NULL) == 0) {
 617                                         yylval.l_str = strdup(yytext);
 618
 619                                         if (yylval.l_str == NULL) {
 620                                                 longjmp(yypcb->pcb_jmpbuf,
 621                                                     EDT_NOMEM);
 622                                         }
 623
 624                                         if (p != NULL && p > yytext) {
 625                                                 for (*p = '*'; q >= p; q--)
 626                                                         unput(*q);
 627                                         }
 628
 629                                         yybegin(YYS_EXPR);
 630                                         return (DT_TOK_TNAME);
 631                                 }
 632
 633                                 if (p != NULL && p > yytext)
 634                                         *p = '*'; /* restore yytext */
 635                         }
 636
 637                         if ((yylval.l_str = strdup(yytext)) == NULL)
 638                                 longjmp(yypcb->pcb_jmpbuf, EDT_NOMEM);
 639
 640                         return (DT_TOK_PSPEC);
 641                 }
 642
 643 <S2>"/"         return (DT_TOK_DIV);
 644 <S2>","         return (DT_TOK_COMMA);
 645
 646 <S2>{RGX_WS}    ; /* discard */
 647 <S2>.           yyerror("syntax error near \"%c\"\n", yytext[0]);
 648
 649 <S3>\n          {
 650                         dt_pragma(yypragma);
 651                         yypragma = NULL;
 652                         BEGIN(yypcb->pcb_cstate);
 653                 }
 654
 655 <S3>[\f\t\v ]+  ; /* discard */
 656
 657 <S3>[^\f\n\t\v "]+ {
 658                         dt_node_t *dnp;
 659
 660                         if ((yylval.l_str = strdup(yytext)) == NULL)
 661                                 longjmp(yypcb->pcb_jmpbuf, EDT_NOMEM);
 662
 663                         /*
 664                          * We want to call dt_node_ident() here, but we can't
 665                          * because it will expand inlined identifiers, which we
 666                          * don't want to do from #pragma context in order to
 667                          * support pragmas that apply to the ident itself.  We
 668                          * call dt_node_string() and then reset dn_op instead.
 669                          */
 670                         dnp = dt_node_string(yylval.l_str);
 671                         dnp->dn_kind = DT_NODE_IDENT;
 672                         dnp->dn_op = DT_TOK_IDENT;
 673                         yypragma = dt_node_link(yypragma, dnp);
 674                 }
 675
 676 <S3>.           yyerror("syntax error near \"%c\"\n", yytext[0]);
 677
 678 %%
 679
 680 /*
 681  * yybegin provides a wrapper for use from C code around the lex BEGIN() macro.
 682  * We use two main states for lexing because probe descriptions use a syntax
 683  * that is incompatible with the normal D tokens (e.g. names can contain "-").
 684  * yybegin also handles the job of switching between two lists of dt_nodes
 685  * as we allocate persistent definitions, like inlines, and transient nodes
 686  * that will be freed once we are done parsing the current program file.
 687  */
 688 void
 689 yybegin(yystate_t state)
 690 {
 691 #ifdef  YYDEBUG
 692         yydebug = _dtrace_debug;
 693 #endif
 694         if (yypcb->pcb_yystate == state)
 695                 return; /* nothing to do if we're in the state already */
 696
 697         if (yypcb->pcb_yystate == YYS_DEFINE) {
 698                 yypcb->pcb_list = yypcb->pcb_hold;
 699                 yypcb->pcb_hold = NULL;
 700         }
 701
 702         switch (state) {
 703         case YYS_CLAUSE:
 704                 BEGIN(S2);
 705                 break;
 706         case YYS_DEFINE:
 707                 assert(yypcb->pcb_hold == NULL);
 708                 yypcb->pcb_hold = yypcb->pcb_list;
 709                 yypcb->pcb_list = NULL;
 710                 /*FALLTHRU*/
 711         case YYS_EXPR:
 712                 BEGIN(S0);
 713                 break;
 714         case YYS_DONE:
 715                 break;
 716         case YYS_CONTROL:
 717                 BEGIN(S4);
 718                 break;
 719         default:
 720                 xyerror(D_UNKNOWN, "internal error -- bad yystate %d\n", state);
 721         }
 722
 723         yypcb->pcb_yystate = state;
 724 }
 725
 726 void
 727 yyinit(dt_pcb_t *pcb)
 728 {
 729         yypcb = pcb;
 730         yylineno = 1;
 731         yypragma = NULL;
 732 #if defined(sun)
 733         yysptr = yysbuf;
 734 #endif
 735 }
 736
 737 /*
 738  * Given a lexeme 's' (typically yytext), set yylval and return an appropriate
 739  * token to the parser indicating either an identifier or a typedef name.
 740  * User-defined global variables always take precedence over types, but we do
 741  * use some heuristics because D programs can look at an ever-changing set of
 742  * kernel types and also can implicitly instantiate variables by assignment,
 743  * unlike in C.  The code here is ordered carefully as lookups are not cheap.
 744  */
 745 static int
 746 id_or_type(const char *s)
 747 {
 748         dtrace_hdl_t *dtp = yypcb->pcb_hdl;
 749         dt_decl_t *ddp = yypcb->pcb_dstack.ds_decl;
 750         int c0, c1, ttok = DT_TOK_TNAME;
 751         dt_ident_t *idp;
 752
 753         if ((s = yylval.l_str = strdup(s)) == NULL)
 754                 longjmp(yypcb->pcb_jmpbuf, EDT_NOMEM);
 755
 756         /*
 757          * If the lexeme is a global variable or likely identifier or *not* a
 758          * type_name, then it is an identifier token.
 759          */
 760         if (dt_idstack_lookup(&yypcb->pcb_globals, s) != NULL ||
 761             dt_idhash_lookup(yypcb->pcb_idents, s) != NULL ||
 762             dt_type_lookup(s, NULL) != 0)
 763                 return (DT_TOK_IDENT);
 764
 765         /*
 766          * If we're in the midst of parsing a declaration and a type_specifier
 767          * has already been shifted, then return DT_TOK_IDENT instead of TNAME.
 768          * This semantic is necessary to permit valid ISO C code such as:
 769          *
 770          * typedef int foo;
 771          * struct s { foo foo; };
 772          *
 773          * without causing shift/reduce conflicts in the direct_declarator part
 774          * of the grammar.  The result is that we must check for conflicting
 775          * redeclarations of the same identifier as part of dt_node_decl().
 776          */
 777         if (ddp != NULL && ddp->dd_name != NULL)
 778                 return (DT_TOK_IDENT);
 779
 780         /*
 781          * If the lexeme is a type name and we are not in a program clause,
 782          * then always interpret it as a type and return DT_TOK_TNAME.
 783          */
 784         if ((YYSTATE) != S0)
 785                 return (DT_TOK_TNAME);
 786
 787         /*
 788          * If the lexeme matches a type name but is in a program clause, then
 789          * it could be a type or it could be an undefined variable.  Peek at
 790          * the next token to decide.  If we see ++, --, [, or =, we know there
 791          * might be an assignment that is trying to create a global variable,
 792          * so we optimistically return DT_TOK_IDENT.  There is no harm in being
 793          * wrong: a type_name followed by ++, --, [, or = is a syntax error.
 794          */
 795         while ((c0 = input()) != 0) {
 796                 if (strchr("\f\n\r\t\v ", c0) == NULL)
 797                         break;
 798         }
 799
 800         switch (c0) {
 801         case '+':
 802         case '-':
 803                 if ((c1 = input()) == c0)
 804                         ttok = DT_TOK_IDENT;
 805                 unput(c1);
 806                 break;
 807
 808         case '=':
 809                 if ((c1 = input()) != c0)
 810                         ttok = DT_TOK_IDENT;
 811                 unput(c1);
 812                 break;
 813         case '[':
 814                 ttok = DT_TOK_IDENT;
 815                 break;
 816         }
 817
 818         if (ttok == DT_TOK_IDENT) {
 819                 idp = dt_idhash_insert(yypcb->pcb_idents, s, DT_IDENT_SCALAR, 0,
 820                     0, _dtrace_defattr, 0, &dt_idops_thaw, NULL, dtp->dt_gen);
 821
 822                 if (idp == NULL)
 823                         longjmp(yypcb->pcb_jmpbuf, EDT_NOMEM);
 824         }
 825
 826         unput(c0);
 827         return (ttok);
 828 }
 829
 830 #if defined(sun)
 831 static int
 832 input(void)
 833 {
 834         int c;
 835
 836         if (yysptr > yysbuf)
 837                 c = *--yysptr;
 838         else if (yypcb->pcb_fileptr != NULL)
 839                 c = fgetc(yypcb->pcb_fileptr);
 840         else if (yypcb->pcb_strptr < yypcb->pcb_string + yypcb->pcb_strlen)
 841                 c = *(unsigned char *)(yypcb->pcb_strptr++);
 842         else
 843                 c = EOF;
 844
 845         if (c == '\n')
 846                 yylineno++;
 847
 848         if (c != EOF)
 849                 return (c);
 850
 851         if ((YYSTATE) == S1)
 852                 yyerror("end-of-file encountered before matching */\n");
 853
 854         if ((YYSTATE) == S3)
 855                 yyerror("end-of-file encountered before end of control line\n");
 856
 857         if (yypcb->pcb_fileptr != NULL && ferror(yypcb->pcb_fileptr))
 858                 longjmp(yypcb->pcb_jmpbuf, EDT_FIO);
 859
 860         return (0); /* EOF */
 861 }
 862
 863 static void
 864 unput(int c)
 865 {
 866         if (c == '\n')
 867                 yylineno--;
 868
 869         *yysptr++ = c;
 870         yytchar = c;
 871 }
 872 #endif