]> CyberLeo.Net >> Repos - FreeBSD/FreeBSD.git/blob - usr.bin/sed/compile.c
Upgrade Unbound to 1.6.4. More to follow.
[FreeBSD/FreeBSD.git] / usr.bin / sed / compile.c
1 /*-
2  * SPDX-License-Identifier: BSD-3-Clause
3  *
4  * Copyright (c) 1992 Diomidis Spinellis.
5  * Copyright (c) 1992, 1993
6  *      The Regents of the University of California.  All rights reserved.
7  *
8  * This code is derived from software contributed to Berkeley by
9  * Diomidis Spinellis of Imperial College, University of London.
10  *
11  * Redistribution and use in source and binary forms, with or without
12  * modification, are permitted provided that the following conditions
13  * are met:
14  * 1. Redistributions of source code must retain the above copyright
15  *    notice, this list of conditions and the following disclaimer.
16  * 2. Redistributions in binary form must reproduce the above copyright
17  *    notice, this list of conditions and the following disclaimer in the
18  *    documentation and/or other materials provided with the distribution.
19  * 3. Neither the name of the University nor the names of its contributors
20  *    may be used to endorse or promote products derived from this software
21  *    without specific prior written permission.
22  *
23  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
24  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
25  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
26  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
27  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
28  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
29  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
30  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
31  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
32  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
33  * SUCH DAMAGE.
34  */
35
36 #include <sys/cdefs.h>
37 __FBSDID("$FreeBSD$");
38
39 #ifndef lint
40 static const char sccsid[] = "@(#)compile.c     8.1 (Berkeley) 6/6/93";
41 #endif
42
43 #include <sys/types.h>
44 #include <sys/stat.h>
45
46 #include <ctype.h>
47 #include <err.h>
48 #include <errno.h>
49 #include <fcntl.h>
50 #include <limits.h>
51 #include <regex.h>
52 #include <stdio.h>
53 #include <stdlib.h>
54 #include <string.h>
55 #include <wchar.h>
56
57 #include "defs.h"
58 #include "extern.h"
59
60 #define LHSZ    128
61 #define LHMASK  (LHSZ - 1)
62 static struct labhash {
63         struct  labhash *lh_next;
64         u_int   lh_hash;
65         struct  s_command *lh_cmd;
66         int     lh_ref;
67 } *labels[LHSZ];
68
69 static char      *compile_addr(char *, struct s_addr *);
70 static char      *compile_ccl(char **, char *);
71 static char      *compile_delimited(char *, char *, int);
72 static char      *compile_flags(char *, struct s_subst *);
73 static regex_t   *compile_re(char *, int);
74 static char      *compile_subst(char *, struct s_subst *);
75 static char      *compile_text(void);
76 static char      *compile_tr(char *, struct s_tr **);
77 static struct s_command
78                 **compile_stream(struct s_command **);
79 static char      *duptoeol(char *, const char *);
80 static void       enterlabel(struct s_command *);
81 static struct s_command
82                  *findlabel(char *);
83 static void       fixuplabel(struct s_command *, struct s_command *);
84 static void       uselabel(void);
85
86 /*
87  * Command specification.  This is used to drive the command parser.
88  */
89 struct s_format {
90         char code;                              /* Command code */
91         int naddr;                              /* Number of address args */
92         enum e_args args;                       /* Argument type */
93 };
94
95 static struct s_format cmd_fmts[] = {
96         {'{', 2, GROUP},
97         {'}', 0, ENDGROUP},
98         {'a', 1, TEXT},
99         {'b', 2, BRANCH},
100         {'c', 2, TEXT},
101         {'d', 2, EMPTY},
102         {'D', 2, EMPTY},
103         {'g', 2, EMPTY},
104         {'G', 2, EMPTY},
105         {'h', 2, EMPTY},
106         {'H', 2, EMPTY},
107         {'i', 1, TEXT},
108         {'l', 2, EMPTY},
109         {'n', 2, EMPTY},
110         {'N', 2, EMPTY},
111         {'p', 2, EMPTY},
112         {'P', 2, EMPTY},
113         {'q', 1, EMPTY},
114         {'r', 1, RFILE},
115         {'s', 2, SUBST},
116         {'t', 2, BRANCH},
117         {'w', 2, WFILE},
118         {'x', 2, EMPTY},
119         {'y', 2, TR},
120         {'!', 2, NONSEL},
121         {':', 0, LABEL},
122         {'#', 0, COMMENT},
123         {'=', 1, EMPTY},
124         {'\0', 0, COMMENT},
125 };
126
127 /* The compiled program. */
128 struct s_command *prog;
129
130 /*
131  * Compile the program into prog.
132  * Initialise appends.
133  */
134 void
135 compile(void)
136 {
137         *compile_stream(&prog) = NULL;
138         fixuplabel(prog, NULL);
139         uselabel();
140         if (appendnum == 0)
141                 appends = NULL;
142         else if ((appends = malloc(sizeof(struct s_appends) * appendnum)) ==
143             NULL)
144                 err(1, "malloc");
145         if ((match = malloc((maxnsub + 1) * sizeof(regmatch_t))) == NULL)
146                 err(1, "malloc");
147 }
148
149 #define EATSPACE() do {                                                 \
150         if (p)                                                          \
151                 while (*p && isspace((unsigned char)*p))                \
152                         p++;                                            \
153         } while (0)
154
155 static struct s_command **
156 compile_stream(struct s_command **link)
157 {
158         char *p;
159         static char lbuf[_POSIX2_LINE_MAX + 1]; /* To save stack */
160         struct s_command *cmd, *cmd2, *stack;
161         struct s_format *fp;
162         char re[_POSIX2_LINE_MAX + 1];
163         int naddr;                              /* Number of addresses */
164
165         stack = NULL;
166         for (;;) {
167                 if ((p = cu_fgets(lbuf, sizeof(lbuf), NULL)) == NULL) {
168                         if (stack != NULL)
169                                 errx(1, "%lu: %s: unexpected EOF (pending }'s)",
170                                                         linenum, fname);
171                         return (link);
172                 }
173
174 semicolon:      EATSPACE();
175                 if (p) {
176                         if (*p == '#' || *p == '\0')
177                                 continue;
178                         else if (*p == ';') {
179                                 p++;
180                                 goto semicolon;
181                         }
182                 }
183                 if ((*link = cmd = malloc(sizeof(struct s_command))) == NULL)
184                         err(1, "malloc");
185                 link = &cmd->next;
186                 cmd->startline = cmd->nonsel = 0;
187                 /* First parse the addresses */
188                 naddr = 0;
189
190 /* Valid characters to start an address */
191 #define addrchar(c)     (strchr("0123456789/\\$", (c)))
192                 if (addrchar(*p)) {
193                         naddr++;
194                         if ((cmd->a1 = malloc(sizeof(struct s_addr))) == NULL)
195                                 err(1, "malloc");
196                         p = compile_addr(p, cmd->a1);
197                         EATSPACE();                             /* EXTENSION */
198                         if (*p == ',') {
199                                 p++;
200                                 EATSPACE();                     /* EXTENSION */
201                                 naddr++;
202                                 if ((cmd->a2 = malloc(sizeof(struct s_addr)))
203                                     == NULL)
204                                         err(1, "malloc");
205                                 p = compile_addr(p, cmd->a2);
206                                 EATSPACE();
207                         } else
208                                 cmd->a2 = NULL;
209                 } else
210                         cmd->a1 = cmd->a2 = NULL;
211
212 nonsel:         /* Now parse the command */
213                 if (!*p)
214                         errx(1, "%lu: %s: command expected", linenum, fname);
215                 cmd->code = *p;
216                 for (fp = cmd_fmts; fp->code; fp++)
217                         if (fp->code == *p)
218                                 break;
219                 if (!fp->code)
220                         errx(1, "%lu: %s: invalid command code %c", linenum, fname, *p);
221                 if (naddr > fp->naddr)
222                         errx(1,
223                                 "%lu: %s: command %c expects up to %d address(es), found %d",
224                                 linenum, fname, *p, fp->naddr, naddr);
225                 switch (fp->args) {
226                 case NONSEL:                    /* ! */
227                         p++;
228                         EATSPACE();
229                         cmd->nonsel = 1;
230                         goto nonsel;
231                 case GROUP:                     /* { */
232                         p++;
233                         EATSPACE();
234                         cmd->next = stack;
235                         stack = cmd;
236                         link = &cmd->u.c;
237                         if (*p)
238                                 goto semicolon;
239                         break;
240                 case ENDGROUP:
241                         /*
242                          * Short-circuit command processing, since end of
243                          * group is really just a noop.
244                          */
245                         cmd->nonsel = 1;
246                         if (stack == NULL)
247                                 errx(1, "%lu: %s: unexpected }", linenum, fname);
248                         cmd2 = stack;
249                         stack = cmd2->next;
250                         cmd2->next = cmd;
251                         /*FALLTHROUGH*/
252                 case EMPTY:             /* d D g G h H l n N p P q x = \0 */
253                         p++;
254                         EATSPACE();
255                         if (*p == ';') {
256                                 p++;
257                                 link = &cmd->next;
258                                 goto semicolon;
259                         }
260                         if (*p)
261                                 errx(1, "%lu: %s: extra characters at the end of %c command",
262                                                 linenum, fname, cmd->code);
263                         break;
264                 case TEXT:                      /* a c i */
265                         p++;
266                         EATSPACE();
267                         if (*p != '\\')
268                                 errx(1,
269 "%lu: %s: command %c expects \\ followed by text", linenum, fname, cmd->code);
270                         p++;
271                         EATSPACE();
272                         if (*p)
273                                 errx(1,
274                                 "%lu: %s: extra characters after \\ at the end of %c command",
275                                 linenum, fname, cmd->code);
276                         cmd->t = compile_text();
277                         break;
278                 case COMMENT:                   /* \0 # */
279                         break;
280                 case WFILE:                     /* w */
281                         p++;
282                         EATSPACE();
283                         if (*p == '\0')
284                                 errx(1, "%lu: %s: filename expected", linenum, fname);
285                         cmd->t = duptoeol(p, "w command");
286                         if (aflag)
287                                 cmd->u.fd = -1;
288                         else if ((cmd->u.fd = open(p,
289                             O_WRONLY|O_APPEND|O_CREAT|O_TRUNC,
290                             DEFFILEMODE)) == -1)
291                                 err(1, "%s", p);
292                         break;
293                 case RFILE:                     /* r */
294                         p++;
295                         EATSPACE();
296                         if (*p == '\0')
297                                 errx(1, "%lu: %s: filename expected", linenum, fname);
298                         else
299                                 cmd->t = duptoeol(p, "read command");
300                         break;
301                 case BRANCH:                    /* b t */
302                         p++;
303                         EATSPACE();
304                         if (*p == '\0')
305                                 cmd->t = NULL;
306                         else
307                                 cmd->t = duptoeol(p, "branch");
308                         break;
309                 case LABEL:                     /* : */
310                         p++;
311                         EATSPACE();
312                         cmd->t = duptoeol(p, "label");
313                         if (strlen(p) == 0)
314                                 errx(1, "%lu: %s: empty label", linenum, fname);
315                         enterlabel(cmd);
316                         break;
317                 case SUBST:                     /* s */
318                         p++;
319                         if (*p == '\0' || *p == '\\')
320                                 errx(1,
321 "%lu: %s: substitute pattern can not be delimited by newline or backslash",
322                                         linenum, fname);
323                         if ((cmd->u.s = calloc(1, sizeof(struct s_subst))) == NULL)
324                                 err(1, "malloc");
325                         p = compile_delimited(p, re, 0);
326                         if (p == NULL)
327                                 errx(1,
328                                 "%lu: %s: unterminated substitute pattern", linenum, fname);
329
330                         /* Compile RE with no case sensitivity temporarily */
331                         if (*re == '\0')
332                                 cmd->u.s->re = NULL;
333                         else
334                                 cmd->u.s->re = compile_re(re, 0);
335                         --p;
336                         p = compile_subst(p, cmd->u.s);
337                         p = compile_flags(p, cmd->u.s);
338
339                         /* Recompile RE with case sensitivity from "I" flag if any */
340                         if (*re == '\0')
341                                 cmd->u.s->re = NULL;
342                         else
343                                 cmd->u.s->re = compile_re(re, cmd->u.s->icase);
344                         EATSPACE();
345                         if (*p == ';') {
346                                 p++;
347                                 link = &cmd->next;
348                                 goto semicolon;
349                         }
350                         break;
351                 case TR:                        /* y */
352                         p++;
353                         p = compile_tr(p, &cmd->u.y);
354                         EATSPACE();
355                         if (*p == ';') {
356                                 p++;
357                                 link = &cmd->next;
358                                 goto semicolon;
359                         }
360                         if (*p)
361                                 errx(1,
362 "%lu: %s: extra text at the end of a transform command", linenum, fname);
363                         break;
364                 }
365         }
366 }
367
368 /*
369  * Get a delimited string.  P points to the delimiter of the string; d points
370  * to a buffer area.  Newline and delimiter escapes are processed; other
371  * escapes are ignored.
372  *
373  * Returns a pointer to the first character after the final delimiter or NULL
374  * in the case of a non-terminated string.  The character array d is filled
375  * with the processed string.
376  */
377 static char *
378 compile_delimited(char *p, char *d, int is_tr)
379 {
380         char c;
381
382         c = *p++;
383         if (c == '\0')
384                 return (NULL);
385         else if (c == '\\')
386                 errx(1, "%lu: %s: \\ can not be used as a string delimiter",
387                                 linenum, fname);
388         else if (c == '\n')
389                 errx(1, "%lu: %s: newline can not be used as a string delimiter",
390                                 linenum, fname);
391         while (*p) {
392                 if (*p == '[' && *p != c) {
393                         if ((d = compile_ccl(&p, d)) == NULL)
394                                 errx(1, "%lu: %s: unbalanced brackets ([])", linenum, fname);
395                         continue;
396                 } else if (*p == '\\' && p[1] == '[') {
397                         *d++ = *p++;
398                 } else if (*p == '\\' && p[1] == c)
399                         p++;
400                 else if (*p == '\\' && p[1] == 'n') {
401                         *d++ = '\n';
402                         p += 2;
403                         continue;
404                 } else if (*p == '\\' && p[1] == '\\') {
405                         if (is_tr)
406                                 p++;
407                         else
408                                 *d++ = *p++;
409                 } else if (*p == c) {
410                         *d = '\0';
411                         return (p + 1);
412                 }
413                 *d++ = *p++;
414         }
415         return (NULL);
416 }
417
418
419 /* compile_ccl: expand a POSIX character class */
420 static char *
421 compile_ccl(char **sp, char *t)
422 {
423         int c, d;
424         char *s = *sp;
425
426         *t++ = *s++;
427         if (*s == '^')
428                 *t++ = *s++;
429         if (*s == ']')
430                 *t++ = *s++;
431         for (; *s && (*t = *s) != ']'; s++, t++)
432                 if (*s == '[' && ((d = *(s+1)) == '.' || d == ':' || d == '=')) {
433                         *++t = *++s, t++, s++;
434                         for (c = *s; (*t = *s) != ']' || c != d; s++, t++)
435                                 if ((c = *s) == '\0')
436                                         return NULL;
437                 }
438         return (*s == ']') ? *sp = ++s, ++t : NULL;
439 }
440
441 /*
442  * Compiles the regular expression in RE and returns a pointer to the compiled
443  * regular expression.
444  * Cflags are passed to regcomp.
445  */
446 static regex_t *
447 compile_re(char *re, int case_insensitive)
448 {
449         regex_t *rep;
450         int eval, flags;
451
452
453         flags = rflags;
454         if (case_insensitive)
455                 flags |= REG_ICASE;
456         if ((rep = malloc(sizeof(regex_t))) == NULL)
457                 err(1, "malloc");
458         if ((eval = regcomp(rep, re, flags)) != 0)
459                 errx(1, "%lu: %s: RE error: %s",
460                                 linenum, fname, strregerror(eval, rep));
461         if (maxnsub < rep->re_nsub)
462                 maxnsub = rep->re_nsub;
463         return (rep);
464 }
465
466 /*
467  * Compile the substitution string of a regular expression and set res to
468  * point to a saved copy of it.  Nsub is the number of parenthesized regular
469  * expressions.
470  */
471 static char *
472 compile_subst(char *p, struct s_subst *s)
473 {
474         static char lbuf[_POSIX2_LINE_MAX + 1];
475         int asize, size;
476         u_char ref;
477         char c, *text, *op, *sp;
478         int more = 1, sawesc = 0;
479
480         c = *p++;                       /* Terminator character */
481         if (c == '\0')
482                 return (NULL);
483
484         s->maxbref = 0;
485         s->linenum = linenum;
486         asize = 2 * _POSIX2_LINE_MAX + 1;
487         if ((text = malloc(asize)) == NULL)
488                 err(1, "malloc");
489         size = 0;
490         do {
491                 op = sp = text + size;
492                 for (; *p; p++) {
493                         if (*p == '\\' || sawesc) {
494                                 /*
495                                  * If this is a continuation from the last
496                                  * buffer, we won't have a character to
497                                  * skip over.
498                                  */
499                                 if (sawesc)
500                                         sawesc = 0;
501                                 else
502                                         p++;
503
504                                 if (*p == '\0') {
505                                         /*
506                                          * This escaped character is continued
507                                          * in the next part of the line.  Note
508                                          * this fact, then cause the loop to
509                                          * exit w/ normal EOL case and reenter
510                                          * above with the new buffer.
511                                          */
512                                         sawesc = 1;
513                                         p--;
514                                         continue;
515                                 } else if (strchr("123456789", *p) != NULL) {
516                                         *sp++ = '\\';
517                                         ref = *p - '0';
518                                         if (s->re != NULL &&
519                                             ref > s->re->re_nsub)
520                                                 errx(1, "%lu: %s: \\%c not defined in the RE",
521                                                                 linenum, fname, *p);
522                                         if (s->maxbref < ref)
523                                                 s->maxbref = ref;
524                                 } else if (*p == '&' || *p == '\\')
525                                         *sp++ = '\\';
526                         } else if (*p == c) {
527                                 if (*++p == '\0' && more) {
528                                         if (cu_fgets(lbuf, sizeof(lbuf), &more))
529                                                 p = lbuf;
530                                 }
531                                 *sp++ = '\0';
532                                 size += sp - op;
533                                 if ((s->new = realloc(text, size)) == NULL)
534                                         err(1, "realloc");
535                                 return (p);
536                         } else if (*p == '\n') {
537                                 errx(1,
538 "%lu: %s: unescaped newline inside substitute pattern", linenum, fname);
539                                 /* NOTREACHED */
540                         }
541                         *sp++ = *p;
542                 }
543                 size += sp - op;
544                 if (asize - size < _POSIX2_LINE_MAX + 1) {
545                         asize *= 2;
546                         if ((text = realloc(text, asize)) == NULL)
547                                 err(1, "realloc");
548                 }
549         } while (cu_fgets(p = lbuf, sizeof(lbuf), &more) != NULL);
550         errx(1, "%lu: %s: unterminated substitute in regular expression",
551                         linenum, fname);
552         /* NOTREACHED */
553 }
554
555 /*
556  * Compile the flags of the s command
557  */
558 static char *
559 compile_flags(char *p, struct s_subst *s)
560 {
561         int gn;                 /* True if we have seen g or n */
562         unsigned long nval;
563         char wfile[_POSIX2_LINE_MAX + 1], *q, *eq;
564
565         s->n = 1;                               /* Default */
566         s->p = 0;
567         s->wfile = NULL;
568         s->wfd = -1;
569         s->icase = 0;
570         for (gn = 0;;) {
571                 EATSPACE();                     /* EXTENSION */
572                 switch (*p) {
573                 case 'g':
574                         if (gn)
575                                 errx(1,
576 "%lu: %s: more than one number or 'g' in substitute flags", linenum, fname);
577                         gn = 1;
578                         s->n = 0;
579                         break;
580                 case '\0':
581                 case '\n':
582                 case ';':
583                         return (p);
584                 case 'p':
585                         s->p = 1;
586                         break;
587                 case 'i':
588                 case 'I':
589                         s->icase = 1;
590                         break;
591                 case '1': case '2': case '3':
592                 case '4': case '5': case '6':
593                 case '7': case '8': case '9':
594                         if (gn)
595                                 errx(1,
596 "%lu: %s: more than one number or 'g' in substitute flags", linenum, fname);
597                         gn = 1;
598                         errno = 0;
599                         nval = strtol(p, &p, 10);
600                         if (errno == ERANGE || nval > INT_MAX)
601                                 errx(1,
602 "%lu: %s: overflow in the 'N' substitute flag", linenum, fname);
603                         s->n = nval;
604                         p--;
605                         break;
606                 case 'w':
607                         p++;
608 #ifdef HISTORIC_PRACTICE
609                         if (*p != ' ') {
610                                 warnx("%lu: %s: space missing before w wfile", linenum, fname);
611                                 return (p);
612                         }
613 #endif
614                         EATSPACE();
615                         q = wfile;
616                         eq = wfile + sizeof(wfile) - 1;
617                         while (*p) {
618                                 if (*p == '\n')
619                                         break;
620                                 if (q >= eq)
621                                         err(1, "wfile too long");
622                                 *q++ = *p++;
623                         }
624                         *q = '\0';
625                         if (q == wfile)
626                                 errx(1, "%lu: %s: no wfile specified", linenum, fname);
627                         s->wfile = strdup(wfile);
628                         if (!aflag && (s->wfd = open(wfile,
629                             O_WRONLY|O_APPEND|O_CREAT|O_TRUNC,
630                             DEFFILEMODE)) == -1)
631                                 err(1, "%s", wfile);
632                         return (p);
633                 default:
634                         errx(1, "%lu: %s: bad flag in substitute command: '%c'",
635                                         linenum, fname, *p);
636                         break;
637                 }
638                 p++;
639         }
640 }
641
642 /*
643  * Compile a translation set of strings into a lookup table.
644  */
645 static char *
646 compile_tr(char *p, struct s_tr **py)
647 {
648         struct s_tr *y;
649         int i;
650         const char *op, *np;
651         char old[_POSIX2_LINE_MAX + 1];
652         char new[_POSIX2_LINE_MAX + 1];
653         size_t oclen, oldlen, nclen, newlen;
654         mbstate_t mbs1, mbs2;
655
656         if ((*py = y = malloc(sizeof(*y))) == NULL)
657                 err(1, NULL);
658         y->multis = NULL;
659         y->nmultis = 0;
660
661         if (*p == '\0' || *p == '\\')
662                 errx(1,
663         "%lu: %s: transform pattern can not be delimited by newline or backslash",
664                         linenum, fname);
665         p = compile_delimited(p, old, 1);
666         if (p == NULL)
667                 errx(1, "%lu: %s: unterminated transform source string",
668                                 linenum, fname);
669         p = compile_delimited(p - 1, new, 1);
670         if (p == NULL)
671                 errx(1, "%lu: %s: unterminated transform target string",
672                                 linenum, fname);
673         EATSPACE();
674         op = old;
675         oldlen = mbsrtowcs(NULL, &op, 0, NULL);
676         if (oldlen == (size_t)-1)
677                 err(1, NULL);
678         np = new;
679         newlen = mbsrtowcs(NULL, &np, 0, NULL);
680         if (newlen == (size_t)-1)
681                 err(1, NULL);
682         if (newlen != oldlen)
683                 errx(1, "%lu: %s: transform strings are not the same length",
684                                 linenum, fname);
685         if (MB_CUR_MAX == 1) {
686                 /*
687                  * The single-byte encoding case is easy: generate a
688                  * lookup table.
689                  */
690                 for (i = 0; i <= UCHAR_MAX; i++)
691                         y->bytetab[i] = (char)i;
692                 for (; *op; op++, np++)
693                         y->bytetab[(u_char)*op] = *np;
694         } else {
695                 /*
696                  * Multi-byte encoding case: generate a lookup table as
697                  * above, but only for single-byte characters. The first
698                  * bytes of multi-byte characters have their lookup table
699                  * entries set to 0, which causes do_tr() to search through
700                  * an auxiliary vector of multi-byte mappings.
701                  */
702                 memset(&mbs1, 0, sizeof(mbs1));
703                 memset(&mbs2, 0, sizeof(mbs2));
704                 for (i = 0; i <= UCHAR_MAX; i++)
705                         y->bytetab[i] = (btowc(i) != WEOF) ? i : 0;
706                 while (*op != '\0') {
707                         oclen = mbrlen(op, MB_LEN_MAX, &mbs1);
708                         if (oclen == (size_t)-1 || oclen == (size_t)-2)
709                                 errc(1, EILSEQ, NULL);
710                         nclen = mbrlen(np, MB_LEN_MAX, &mbs2);
711                         if (nclen == (size_t)-1 || nclen == (size_t)-2)
712                                 errc(1, EILSEQ, NULL);
713                         if (oclen == 1 && nclen == 1)
714                                 y->bytetab[(u_char)*op] = *np;
715                         else {
716                                 y->bytetab[(u_char)*op] = 0;
717                                 y->multis = realloc(y->multis,
718                                     (y->nmultis + 1) * sizeof(*y->multis));
719                                 if (y->multis == NULL)
720                                         err(1, NULL);
721                                 i = y->nmultis++;
722                                 y->multis[i].fromlen = oclen;
723                                 memcpy(y->multis[i].from, op, oclen);
724                                 y->multis[i].tolen = nclen;
725                                 memcpy(y->multis[i].to, np, nclen);
726                         }
727                         op += oclen;
728                         np += nclen;
729                 }
730         }
731         return (p);
732 }
733
734 /*
735  * Compile the text following an a, c, or i command.
736  */
737 static char *
738 compile_text(void)
739 {
740         int asize, esc_nl, size;
741         char *text, *p, *op, *s;
742         char lbuf[_POSIX2_LINE_MAX + 1];
743
744         asize = 2 * _POSIX2_LINE_MAX + 1;
745         if ((text = malloc(asize)) == NULL)
746                 err(1, "malloc");
747         size = 0;
748         while (cu_fgets(lbuf, sizeof(lbuf), NULL) != NULL) {
749                 op = s = text + size;
750                 p = lbuf;
751 #ifdef LEGACY_BSDSED_COMPAT
752                 EATSPACE();
753 #endif
754                 for (esc_nl = 0; *p != '\0'; p++) {
755                         if (*p == '\\' && p[1] != '\0' && *++p == '\n')
756                                 esc_nl = 1;
757                         *s++ = *p;
758                 }
759                 size += s - op;
760                 if (!esc_nl) {
761                         *s = '\0';
762                         break;
763                 }
764                 if (asize - size < _POSIX2_LINE_MAX + 1) {
765                         asize *= 2;
766                         if ((text = realloc(text, asize)) == NULL)
767                                 err(1, "realloc");
768                 }
769         }
770         text[size] = '\0';
771         if ((p = realloc(text, size + 1)) == NULL)
772                 err(1, "realloc");
773         return (p);
774 }
775
776 /*
777  * Get an address and return a pointer to the first character after
778  * it.  Fill the structure pointed to according to the address.
779  */
780 static char *
781 compile_addr(char *p, struct s_addr *a)
782 {
783         char *end, re[_POSIX2_LINE_MAX + 1];
784         int icase;
785
786         icase = 0;
787
788         a->type = 0;
789         switch (*p) {
790         case '\\':                              /* Context address */
791                 ++p;
792                 /* FALLTHROUGH */
793         case '/':                               /* Context address */
794                 p = compile_delimited(p, re, 0);
795                 if (p == NULL)
796                         errx(1, "%lu: %s: unterminated regular expression", linenum, fname);
797                 /* Check for case insensitive regexp flag */
798                 if (*p == 'I') {
799                         icase = 1;
800                         p++;
801                 }
802                 if (*re == '\0')
803                         a->u.r = NULL;
804                 else
805                         a->u.r = compile_re(re, icase);
806                 a->type = AT_RE;
807                 return (p);
808
809         case '$':                               /* Last line */
810                 a->type = AT_LAST;
811                 return (p + 1);
812
813         case '+':                               /* Relative line number */
814                 a->type = AT_RELLINE;
815                 p++;
816                 /* FALLTHROUGH */
817                                                 /* Line number */
818         case '0': case '1': case '2': case '3': case '4':
819         case '5': case '6': case '7': case '8': case '9':
820                 if (a->type == 0)
821                         a->type = AT_LINE;
822                 a->u.l = strtol(p, &end, 10);
823                 return (end);
824         default:
825                 errx(1, "%lu: %s: expected context address", linenum, fname);
826                 return (NULL);
827         }
828 }
829
830 /*
831  * duptoeol --
832  *      Return a copy of all the characters up to \n or \0.
833  */
834 static char *
835 duptoeol(char *s, const char *ctype)
836 {
837         size_t len;
838         int ws;
839         char *p, *start;
840
841         ws = 0;
842         for (start = s; *s != '\0' && *s != '\n'; ++s)
843                 ws = isspace((unsigned char)*s);
844         *s = '\0';
845         if (ws)
846                 warnx("%lu: %s: whitespace after %s", linenum, fname, ctype);
847         len = s - start + 1;
848         if ((p = malloc(len)) == NULL)
849                 err(1, "malloc");
850         return (memmove(p, start, len));
851 }
852
853 /*
854  * Convert goto label names to addresses, and count a and r commands, in
855  * the given subset of the script.  Free the memory used by labels in b
856  * and t commands (but not by :).
857  *
858  * TODO: Remove } nodes
859  */
860 static void
861 fixuplabel(struct s_command *cp, struct s_command *end)
862 {
863
864         for (; cp != end; cp = cp->next)
865                 switch (cp->code) {
866                 case 'a':
867                 case 'r':
868                         appendnum++;
869                         break;
870                 case 'b':
871                 case 't':
872                         /* Resolve branch target. */
873                         if (cp->t == NULL) {
874                                 cp->u.c = NULL;
875                                 break;
876                         }
877                         if ((cp->u.c = findlabel(cp->t)) == NULL)
878                                 errx(1, "%lu: %s: undefined label '%s'", linenum, fname, cp->t);
879                         free(cp->t);
880                         break;
881                 case '{':
882                         /* Do interior commands. */
883                         fixuplabel(cp->u.c, cp->next);
884                         break;
885                 }
886 }
887
888 /*
889  * Associate the given command label for later lookup.
890  */
891 static void
892 enterlabel(struct s_command *cp)
893 {
894         struct labhash **lhp, *lh;
895         u_char *p;
896         u_int h, c;
897
898         for (h = 0, p = (u_char *)cp->t; (c = *p) != 0; p++)
899                 h = (h << 5) + h + c;
900         lhp = &labels[h & LHMASK];
901         for (lh = *lhp; lh != NULL; lh = lh->lh_next)
902                 if (lh->lh_hash == h && strcmp(cp->t, lh->lh_cmd->t) == 0)
903                         errx(1, "%lu: %s: duplicate label '%s'", linenum, fname, cp->t);
904         if ((lh = malloc(sizeof *lh)) == NULL)
905                 err(1, "malloc");
906         lh->lh_next = *lhp;
907         lh->lh_hash = h;
908         lh->lh_cmd = cp;
909         lh->lh_ref = 0;
910         *lhp = lh;
911 }
912
913 /*
914  * Find the label contained in the command l in the command linked
915  * list cp.  L is excluded from the search.  Return NULL if not found.
916  */
917 static struct s_command *
918 findlabel(char *name)
919 {
920         struct labhash *lh;
921         u_char *p;
922         u_int h, c;
923
924         for (h = 0, p = (u_char *)name; (c = *p) != 0; p++)
925                 h = (h << 5) + h + c;
926         for (lh = labels[h & LHMASK]; lh != NULL; lh = lh->lh_next) {
927                 if (lh->lh_hash == h && strcmp(name, lh->lh_cmd->t) == 0) {
928                         lh->lh_ref = 1;
929                         return (lh->lh_cmd);
930                 }
931         }
932         return (NULL);
933 }
934
935 /*
936  * Warn about any unused labels.  As a side effect, release the label hash
937  * table space.
938  */
939 static void
940 uselabel(void)
941 {
942         struct labhash *lh, *next;
943         int i;
944
945         for (i = 0; i < LHSZ; i++) {
946                 for (lh = labels[i]; lh != NULL; lh = next) {
947                         next = lh->lh_next;
948                         if (!lh->lh_ref)
949                                 warnx("%lu: %s: unused label '%s'",
950                                     linenum, fname, lh->lh_cmd->t);
951                         free(lh);
952                 }
953         }
954 }