contrib/mdocml/man.c

   1 /*      $Id: man.c,v 1.145 2014/11/28 06:27:05 schwarze Exp $ */
   2 /*
   3  * Copyright (c) 2008, 2009, 2010, 2011 Kristaps Dzonsons <kristaps@bsd.lv>
   4  * Copyright (c) 2013, 2014 Ingo Schwarze <schwarze@openbsd.org>
   5  * Copyright (c) 2011 Joerg Sonnenberger <joerg@netbsd.org>
   6  *
   7  * Permission to use, copy, modify, and distribute this software for any
   8  * purpose with or without fee is hereby granted, provided that the above
   9  * copyright notice and this permission notice appear in all copies.
  10  *
  11  * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
  12  * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
  13  * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
  14  * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
  15  * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
  16  * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
  17  * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
  18  */
  19 #include "config.h"
  20
  21 #include <sys/types.h>
  22
  23 #include <assert.h>
  24 #include <ctype.h>
  25 #include <stdarg.h>
  26 #include <stdlib.h>
  27 #include <stdio.h>
  28 #include <string.h>
  29
  30 #include "man.h"
  31 #include "mandoc.h"
  32 #include "mandoc_aux.h"
  33 #include "libman.h"
  34 #include "libmandoc.h"
  35
  36 const   char *const __man_macronames[MAN_MAX] = {
  37         "br",           "TH",           "SH",           "SS",
  38         "TP",           "LP",           "PP",           "P",
  39         "IP",           "HP",           "SM",           "SB",
  40         "BI",           "IB",           "BR",           "RB",
  41         "R",            "B",            "I",            "IR",
  42         "RI",           "na",           "sp",           "nf",
  43         "fi",           "RE",           "RS",           "DT",
  44         "UC",           "PD",           "AT",           "in",
  45         "ft",           "OP",           "EX",           "EE",
  46         "UR",           "UE",           "ll"
  47         };
  48
  49 const   char * const *man_macronames = __man_macronames;
  50
  51 static  struct man_node *man_node_alloc(struct man *, int, int,
  52                                 enum man_type, enum mant);
  53 static  void             man_node_append(struct man *, struct man_node *);
  54 static  void             man_node_free(struct man_node *);
  55 static  void             man_node_unlink(struct man *,
  56                                 struct man_node *);
  57 static  int              man_ptext(struct man *, int, char *, int);
  58 static  int              man_pmacro(struct man *, int, char *, int);
  59 static  void             man_free1(struct man *);
  60 static  void             man_alloc1(struct man *);
  61 static  void             man_descope(struct man *, int, int);
  62
  63
  64 const struct man_node *
  65 man_node(const struct man *man)
  66 {
  67
  68         return(man->first);
  69 }
  70
  71 const struct man_meta *
  72 man_meta(const struct man *man)
  73 {
  74
  75         return(&man->meta);
  76 }
  77
  78 void
  79 man_reset(struct man *man)
  80 {
  81
  82         man_free1(man);
  83         man_alloc1(man);
  84 }
  85
  86 void
  87 man_free(struct man *man)
  88 {
  89
  90         man_free1(man);
  91         free(man);
  92 }
  93
  94 struct man *
  95 man_alloc(struct roff *roff, struct mparse *parse, int quick)
  96 {
  97         struct man      *p;
  98
  99         p = mandoc_calloc(1, sizeof(struct man));
 100
 101         man_hash_init();
 102         p->parse = parse;
 103         p->quick = quick;
 104         p->roff = roff;
 105
 106         man_alloc1(p);
 107         return(p);
 108 }
 109
 110 int
 111 man_endparse(struct man *man)
 112 {
 113
 114         man_macroend(man);
 115         return(1);
 116 }
 117
 118 int
 119 man_parseln(struct man *man, int ln, char *buf, int offs)
 120 {
 121
 122         if (man->last->type != MAN_EQN || ln > man->last->line)
 123                 man->flags |= MAN_NEWLINE;
 124
 125         return (roff_getcontrol(man->roff, buf, &offs) ?
 126             man_pmacro(man, ln, buf, offs) :
 127             man_ptext(man, ln, buf, offs));
 128 }
 129
 130 static void
 131 man_free1(struct man *man)
 132 {
 133
 134         if (man->first)
 135                 man_node_delete(man, man->first);
 136         free(man->meta.title);
 137         free(man->meta.source);
 138         free(man->meta.date);
 139         free(man->meta.vol);
 140         free(man->meta.msec);
 141 }
 142
 143 static void
 144 man_alloc1(struct man *man)
 145 {
 146
 147         memset(&man->meta, 0, sizeof(struct man_meta));
 148         man->flags = 0;
 149         man->last = mandoc_calloc(1, sizeof(struct man_node));
 150         man->first = man->last;
 151         man->last->type = MAN_ROOT;
 152         man->last->tok = MAN_MAX;
 153         man->next = MAN_NEXT_CHILD;
 154 }
 155
 156
 157 static void
 158 man_node_append(struct man *man, struct man_node *p)
 159 {
 160
 161         assert(man->last);
 162         assert(man->first);
 163         assert(p->type != MAN_ROOT);
 164
 165         switch (man->next) {
 166         case MAN_NEXT_SIBLING:
 167                 man->last->next = p;
 168                 p->prev = man->last;
 169                 p->parent = man->last->parent;
 170                 break;
 171         case MAN_NEXT_CHILD:
 172                 man->last->child = p;
 173                 p->parent = man->last;
 174                 break;
 175         default:
 176                 abort();
 177                 /* NOTREACHED */
 178         }
 179
 180         assert(p->parent);
 181         p->parent->nchild++;
 182
 183         switch (p->type) {
 184         case MAN_BLOCK:
 185                 if (p->tok == MAN_SH || p->tok == MAN_SS)
 186                         man->flags &= ~MAN_LITERAL;
 187                 break;
 188         case MAN_HEAD:
 189                 assert(p->parent->type == MAN_BLOCK);
 190                 p->parent->head = p;
 191                 break;
 192         case MAN_BODY:
 193                 assert(p->parent->type == MAN_BLOCK);
 194                 p->parent->body = p;
 195                 break;
 196         default:
 197                 break;
 198         }
 199
 200         man->last = p;
 201
 202         switch (p->type) {
 203         case MAN_TBL:
 204                 /* FALLTHROUGH */
 205         case MAN_TEXT:
 206                 man_valid_post(man);
 207                 break;
 208         default:
 209                 break;
 210         }
 211 }
 212
 213 static struct man_node *
 214 man_node_alloc(struct man *man, int line, int pos,
 215                 enum man_type type, enum mant tok)
 216 {
 217         struct man_node *p;
 218
 219         p = mandoc_calloc(1, sizeof(struct man_node));
 220         p->line = line;
 221         p->pos = pos;
 222         p->type = type;
 223         p->tok = tok;
 224
 225         if (man->flags & MAN_NEWLINE)
 226                 p->flags |= MAN_LINE;
 227         man->flags &= ~MAN_NEWLINE;
 228         return(p);
 229 }
 230
 231 void
 232 man_elem_alloc(struct man *man, int line, int pos, enum mant tok)
 233 {
 234         struct man_node *p;
 235
 236         p = man_node_alloc(man, line, pos, MAN_ELEM, tok);
 237         man_node_append(man, p);
 238         man->next = MAN_NEXT_CHILD;
 239 }
 240
 241 void
 242 man_head_alloc(struct man *man, int line, int pos, enum mant tok)
 243 {
 244         struct man_node *p;
 245
 246         p = man_node_alloc(man, line, pos, MAN_HEAD, tok);
 247         man_node_append(man, p);
 248         man->next = MAN_NEXT_CHILD;
 249 }
 250
 251 void
 252 man_body_alloc(struct man *man, int line, int pos, enum mant tok)
 253 {
 254         struct man_node *p;
 255
 256         p = man_node_alloc(man, line, pos, MAN_BODY, tok);
 257         man_node_append(man, p);
 258         man->next = MAN_NEXT_CHILD;
 259 }
 260
 261 void
 262 man_block_alloc(struct man *man, int line, int pos, enum mant tok)
 263 {
 264         struct man_node *p;
 265
 266         p = man_node_alloc(man, line, pos, MAN_BLOCK, tok);
 267         man_node_append(man, p);
 268         man->next = MAN_NEXT_CHILD;
 269 }
 270
 271 void
 272 man_word_alloc(struct man *man, int line, int pos, const char *word)
 273 {
 274         struct man_node *n;
 275
 276         n = man_node_alloc(man, line, pos, MAN_TEXT, MAN_MAX);
 277         n->string = roff_strdup(man->roff, word);
 278         man_node_append(man, n);
 279         man->next = MAN_NEXT_SIBLING;
 280 }
 281
 282 void
 283 man_word_append(struct man *man, const char *word)
 284 {
 285         struct man_node *n;
 286         char            *addstr, *newstr;
 287
 288         n = man->last;
 289         addstr = roff_strdup(man->roff, word);
 290         mandoc_asprintf(&newstr, "%s %s", n->string, addstr);
 291         free(addstr);
 292         free(n->string);
 293         n->string = newstr;
 294         man->next = MAN_NEXT_SIBLING;
 295 }
 296
 297 /*
 298  * Free all of the resources held by a node.  This does NOT unlink a
 299  * node from its context; for that, see man_node_unlink().
 300  */
 301 static void
 302 man_node_free(struct man_node *p)
 303 {
 304
 305         free(p->string);
 306         free(p);
 307 }
 308
 309 void
 310 man_node_delete(struct man *man, struct man_node *p)
 311 {
 312
 313         while (p->child)
 314                 man_node_delete(man, p->child);
 315
 316         man_node_unlink(man, p);
 317         man_node_free(p);
 318 }
 319
 320 void
 321 man_addeqn(struct man *man, const struct eqn *ep)
 322 {
 323         struct man_node *n;
 324
 325         n = man_node_alloc(man, ep->ln, ep->pos, MAN_EQN, MAN_MAX);
 326         n->eqn = ep;
 327         if (ep->ln > man->last->line)
 328                 n->flags |= MAN_LINE;
 329         man_node_append(man, n);
 330         man->next = MAN_NEXT_SIBLING;
 331         man_descope(man, ep->ln, ep->pos);
 332 }
 333
 334 void
 335 man_addspan(struct man *man, const struct tbl_span *sp)
 336 {
 337         struct man_node *n;
 338
 339         n = man_node_alloc(man, sp->line, 0, MAN_TBL, MAN_MAX);
 340         n->span = sp;
 341         man_node_append(man, n);
 342         man->next = MAN_NEXT_SIBLING;
 343         man_descope(man, sp->line, 0);
 344 }
 345
 346 static void
 347 man_descope(struct man *man, int line, int offs)
 348 {
 349         /*
 350          * Co-ordinate what happens with having a next-line scope open:
 351          * first close out the element scope (if applicable), then close
 352          * out the block scope (also if applicable).
 353          */
 354
 355         if (man->flags & MAN_ELINE) {
 356                 man->flags &= ~MAN_ELINE;
 357                 man_unscope(man, man->last->parent);
 358         }
 359         if ( ! (man->flags & MAN_BLINE))
 360                 return;
 361         man->flags &= ~MAN_BLINE;
 362         man_unscope(man, man->last->parent);
 363         man_body_alloc(man, line, offs, man->last->tok);
 364 }
 365
 366 static int
 367 man_ptext(struct man *man, int line, char *buf, int offs)
 368 {
 369         int              i;
 370
 371         /* Literal free-form text whitespace is preserved. */
 372
 373         if (man->flags & MAN_LITERAL) {
 374                 man_word_alloc(man, line, offs, buf + offs);
 375                 man_descope(man, line, offs);
 376                 return(1);
 377         }
 378
 379         for (i = offs; buf[i] == ' '; i++)
 380                 /* Skip leading whitespace. */ ;
 381
 382         /*
 383          * Blank lines are ignored right after headings
 384          * but add a single vertical space elsewhere.
 385          */
 386
 387         if (buf[i] == '\0') {
 388                 /* Allocate a blank entry. */
 389                 if (man->last->tok != MAN_SH &&
 390                     man->last->tok != MAN_SS) {
 391                         man_elem_alloc(man, line, offs, MAN_sp);
 392                         man->next = MAN_NEXT_SIBLING;
 393                 }
 394                 return(1);
 395         }
 396
 397         /*
 398          * Warn if the last un-escaped character is whitespace. Then
 399          * strip away the remaining spaces (tabs stay!).
 400          */
 401
 402         i = (int)strlen(buf);
 403         assert(i);
 404
 405         if (' ' == buf[i - 1] || '\t' == buf[i - 1]) {
 406                 if (i > 1 && '\\' != buf[i - 2])
 407                         mandoc_msg(MANDOCERR_SPACE_EOL, man->parse,
 408                             line, i - 1, NULL);
 409
 410                 for (--i; i && ' ' == buf[i]; i--)
 411                         /* Spin back to non-space. */ ;
 412
 413                 /* Jump ahead of escaped whitespace. */
 414                 i += '\\' == buf[i] ? 2 : 1;
 415
 416                 buf[i] = '\0';
 417         }
 418         man_word_alloc(man, line, offs, buf + offs);
 419
 420         /*
 421          * End-of-sentence check.  If the last character is an unescaped
 422          * EOS character, then flag the node as being the end of a
 423          * sentence.  The front-end will know how to interpret this.
 424          */
 425
 426         assert(i);
 427         if (mandoc_eos(buf, (size_t)i))
 428                 man->last->flags |= MAN_EOS;
 429
 430         man_descope(man, line, offs);
 431         return(1);
 432 }
 433
 434 static int
 435 man_pmacro(struct man *man, int ln, char *buf, int offs)
 436 {
 437         struct man_node *n;
 438         const char      *cp;
 439         enum mant        tok;
 440         int              i, ppos;
 441         int              bline;
 442         char             mac[5];
 443
 444         ppos = offs;
 445
 446         /*
 447          * Copy the first word into a nil-terminated buffer.
 448          * Stop when a space, tab, escape, or eoln is encountered.
 449          */
 450
 451         i = 0;
 452         while (i < 4 && strchr(" \t\\", buf[offs]) == NULL)
 453                 mac[i++] = buf[offs++];
 454
 455         mac[i] = '\0';
 456
 457         tok = (i > 0 && i < 4) ? man_hash_find(mac) : MAN_MAX;
 458
 459         if (tok == MAN_MAX) {
 460                 mandoc_msg(MANDOCERR_MACRO, man->parse,
 461                     ln, ppos, buf + ppos - 1);
 462                 return(1);
 463         }
 464
 465         /* Skip a leading escape sequence or tab. */
 466
 467         switch (buf[offs]) {
 468         case '\\':
 469                 cp = buf + offs + 1;
 470                 mandoc_escape(&cp, NULL, NULL);
 471                 offs = cp - buf;
 472                 break;
 473         case '\t':
 474                 offs++;
 475                 break;
 476         default:
 477                 break;
 478         }
 479
 480         /* Jump to the next non-whitespace word. */
 481
 482         while (buf[offs] && buf[offs] == ' ')
 483                 offs++;
 484
 485         /*
 486          * Trailing whitespace.  Note that tabs are allowed to be passed
 487          * into the parser as "text", so we only warn about spaces here.
 488          */
 489
 490         if (buf[offs] == '\0' && buf[offs - 1] == ' ')
 491                 mandoc_msg(MANDOCERR_SPACE_EOL, man->parse,
 492                     ln, offs - 1, NULL);
 493
 494         /*
 495          * Remove prior ELINE macro, as it's being clobbered by a new
 496          * macro.  Note that NSCOPED macros do not close out ELINE
 497          * macros---they don't print text---so we let those slip by.
 498          */
 499
 500         if ( ! (man_macros[tok].flags & MAN_NSCOPED) &&
 501                         man->flags & MAN_ELINE) {
 502                 n = man->last;
 503                 assert(MAN_TEXT != n->type);
 504
 505                 /* Remove repeated NSCOPED macros causing ELINE. */
 506
 507                 if (man_macros[n->tok].flags & MAN_NSCOPED)
 508                         n = n->parent;
 509
 510                 mandoc_vmsg(MANDOCERR_BLK_LINE, man->parse, n->line,
 511                     n->pos, "%s breaks %s", man_macronames[tok],
 512                     man_macronames[n->tok]);
 513
 514                 man_node_delete(man, n);
 515                 man->flags &= ~MAN_ELINE;
 516         }
 517
 518         /*
 519          * Remove prior BLINE macro that is being clobbered.
 520          */
 521         if ((man->flags & MAN_BLINE) &&
 522             (man_macros[tok].flags & MAN_BSCOPE)) {
 523                 n = man->last;
 524
 525                 /* Might be a text node like 8 in
 526                  * .TP 8
 527                  * .SH foo
 528                  */
 529                 if (n->type == MAN_TEXT)
 530                         n = n->parent;
 531
 532                 /* Remove element that didn't end BLINE, if any. */
 533                 if ( ! (man_macros[n->tok].flags & MAN_BSCOPE))
 534                         n = n->parent;
 535
 536                 assert(n->type == MAN_HEAD);
 537                 n = n->parent;
 538                 assert(n->type == MAN_BLOCK);
 539                 assert(man_macros[n->tok].flags & MAN_SCOPED);
 540
 541                 mandoc_vmsg(MANDOCERR_BLK_LINE, man->parse, n->line,
 542                     n->pos, "%s breaks %s", man_macronames[tok],
 543                     man_macronames[n->tok]);
 544
 545                 man_node_delete(man, n);
 546                 man->flags &= ~MAN_BLINE;
 547         }
 548
 549         /* Remember whether we are in next-line scope for a block head. */
 550
 551         bline = man->flags & MAN_BLINE;
 552
 553         /* Call to handler... */
 554
 555         assert(man_macros[tok].fp);
 556         (*man_macros[tok].fp)(man, tok, ln, ppos, &offs, buf);
 557
 558         /* In quick mode (for mandocdb), abort after the NAME section. */
 559
 560         if (man->quick && tok == MAN_SH) {
 561                 n = man->last;
 562                 if (n->type == MAN_BODY &&
 563                     strcmp(n->prev->child->string, "NAME"))
 564                         return(2);
 565         }
 566
 567         /*
 568          * If we are in a next-line scope for a block head,
 569          * close it out now and switch to the body,
 570          * unless the next-line scope is allowed to continue.
 571          */
 572
 573         if ( ! bline || man->flags & MAN_ELINE ||
 574             man_macros[tok].flags & MAN_NSCOPED)
 575                 return(1);
 576
 577         assert(man->flags & MAN_BLINE);
 578         man->flags &= ~MAN_BLINE;
 579
 580         man_unscope(man, man->last->parent);
 581         man_body_alloc(man, ln, ppos, man->last->tok);
 582         return(1);
 583 }
 584
 585 /*
 586  * Unlink a node from its context.  If "man" is provided, the last parse
 587  * point will also be adjusted accordingly.
 588  */
 589 static void
 590 man_node_unlink(struct man *man, struct man_node *n)
 591 {
 592
 593         /* Adjust siblings. */
 594
 595         if (n->prev)
 596                 n->prev->next = n->next;
 597         if (n->next)
 598                 n->next->prev = n->prev;
 599
 600         /* Adjust parent. */
 601
 602         if (n->parent) {
 603                 n->parent->nchild--;
 604                 if (n->parent->child == n)
 605                         n->parent->child = n->prev ? n->prev : n->next;
 606         }
 607
 608         /* Adjust parse point, if applicable. */
 609
 610         if (man && man->last == n) {
 611                 /*XXX: this can occur when bailing from validation. */
 612                 /*assert(NULL == n->next);*/
 613                 if (n->prev) {
 614                         man->last = n->prev;
 615                         man->next = MAN_NEXT_SIBLING;
 616                 } else {
 617                         man->last = n->parent;
 618                         man->next = MAN_NEXT_CHILD;
 619                 }
 620         }
 621
 622         if (man && man->first == n)
 623                 man->first = NULL;
 624 }
 625
 626 const struct mparse *
 627 man_mparse(const struct man *man)
 628 {
 629
 630         assert(man && man->parse);
 631         return(man->parse);
 632 }
 633
 634 void
 635 man_deroff(char **dest, const struct man_node *n)
 636 {
 637         char    *cp;
 638         size_t   sz;
 639
 640         if (n->type != MAN_TEXT) {
 641                 for (n = n->child; n; n = n->next)
 642                         man_deroff(dest, n);
 643                 return;
 644         }
 645
 646         /* Skip leading whitespace and escape sequences. */
 647
 648         cp = n->string;
 649         while ('\0' != *cp) {
 650                 if ('\\' == *cp) {
 651                         cp++;
 652                         mandoc_escape((const char **)&cp, NULL, NULL);
 653                 } else if (isspace((unsigned char)*cp))
 654                         cp++;
 655                 else
 656                         break;
 657         }
 658
 659         /* Skip trailing whitespace. */
 660
 661         for (sz = strlen(cp); sz; sz--)
 662                 if (0 == isspace((unsigned char)cp[sz-1]))
 663                         break;
 664
 665         /* Skip empty strings. */
 666
 667         if (0 == sz)
 668                 return;
 669
 670         if (NULL == *dest) {
 671                 *dest = mandoc_strndup(cp, sz);
 672                 return;
 673         }
 674
 675         mandoc_asprintf(&cp, "%s %*s", *dest, (int)sz, cp);
 676         free(*dest);
 677         *dest = cp;
 678 }