usr.sbin/services_mkdb/uniq.c

   1 /*      $NetBSD: uniq.c,v 1.4 2008/04/28 20:24:17 martin Exp $  */
   2
   3 /*-
   4  * SPDX-License-Identifier: BSD-2-Clause-NetBSD
   5  *
   6  * Copyright (c) 2007 The NetBSD Foundation, Inc.
   7  * All rights reserved.
   8  *
   9  * This code is derived from software contributed to The NetBSD Foundation
  10  * by Christos Zoulas.
  11  *
  12  * Redistribution and use in source and binary forms, with or without
  13  * modification, are permitted provided that the following conditions
  14  * are met:
  15  * 1. Redistributions of source code must retain the above copyright
  16  *    notice, this list of conditions and the following disclaimer.
  17  * 2. Redistributions in binary form must reproduce the above copyright
  18  *    notice, this list of conditions and the following disclaimer in the
  19  *    documentation and/or other materials provided with the distribution.
  20  *
  21  * THIS SOFTWARE IS PROVIDED BY THE NETBSD FOUNDATION, INC. AND CONTRIBUTORS
  22  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED
  23  * TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  24  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR CONTRIBUTORS
  25  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
  26  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
  27  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
  28  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
  29  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  30  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
  31  * POSSIBILITY OF SUCH DAMAGE.
  32  */
  33 #include <sys/cdefs.h>
  34 __FBSDID("$FreeBSD$");
  35
  36 #include <stdio.h>
  37 #include <string.h>
  38 #include <stdlib.h>
  39 #include <db.h>
  40 #include <err.h>
  41 #include <libutil.h>
  42 #include <ctype.h>
  43 #include <fcntl.h>
  44
  45 #include "extern.h"
  46
  47 static int comp(const char *, char **, size_t *);
  48
  49 /*
  50  * Preserve only unique content lines in a file. Input lines that have
  51  * content [alphanumeric characters before a comment] are white-space
  52  * normalized and have their comments removed. Then they are placed
  53  * in a hash table, and only the first instance of them is printed.
  54  * Comment lines without any alphanumeric content are always printed
  55  * since they are there to make the file "pretty". Comment lines with
  56  * alphanumeric content are also placed into the hash table and only
  57  * printed once.
  58  */
  59 void
  60 uniq(const char *fname)
  61 {
  62         DB *db;
  63         DBT key;
  64         static const DBT data = { NULL, 0 };
  65         FILE *fp;
  66         char *line;
  67         size_t len;
  68
  69         if ((db = dbopen(NULL, O_RDWR, 0, DB_HASH, &hinfo)) == NULL)
  70                 err(1, "Cannot create in memory database");
  71
  72         if ((fp = fopen(fname, "r")) == NULL)
  73                 err(1, "Cannot open `%s'", fname);
  74         while ((line = fgetln(fp, &len)) != NULL) {
  75                 size_t complen = len;
  76                 char *compline;
  77                 if (!comp(line, &compline, &complen)) {
  78                         (void)fprintf(stdout, "%*.*s", (int)len, (int)len,
  79                             line);
  80                         continue;
  81                 }
  82                 key.data = compline;
  83                 key.size = complen;
  84                 switch ((db->put)(db, &key, &data, R_NOOVERWRITE)) {
  85                 case 0:
  86                         (void)fprintf(stdout, "%*.*s", (int)len, (int)len,
  87                             line);
  88                         break;
  89                 case 1:
  90                         break;
  91                 case -1:
  92                         err(1, "put");
  93                 default:
  94                         abort();
  95                         break;
  96                 }
  97         }
  98         (void)fflush(stdout);
  99         exit(0);
 100 }
 101
 102 /*
 103  * normalize whitespace in the original line and place a new string
 104  * with whitespace converted to a single space in compline. If the line
 105  * contains just comments, we preserve them. If it contains data and
 106  * comments, we kill the comments. Return 1 if the line had actual
 107  * contents, or 0 if it was just a comment without alphanumeric characters.
 108  */
 109 static int
 110 comp(const char *origline, char **compline, size_t *len)
 111 {
 112         const unsigned char *p;
 113         unsigned char *q;
 114         char *cline;
 115         size_t l = *len, complen;
 116         int hasalnum, iscomment;
 117
 118         /* Eat leading space */
 119         for (p = (const unsigned char *)origline; l && *p && isspace(*p);
 120             p++, l--)
 121                 continue;
 122         if ((cline = malloc(l + 1)) == NULL)
 123                 err(1, "Cannot allocate %zu bytes", l + 1);
 124         (void)memcpy(cline, p, l);
 125         cline[l] = '\0';
 126         if (*cline == '\0')
 127                 return 0;
 128
 129         complen = 0;
 130         hasalnum = 0;
 131         iscomment = 0;
 132
 133         for (q = (unsigned char *)cline; l && *p; p++, l--) {
 134                 if (isspace(*p)) {
 135                         if (complen && isspace(q[-1]))
 136                                 continue;
 137                         *q++ = ' ';
 138                         complen++;
 139                 } else {
 140                         if (!iscomment && *p == '#') {
 141                                 if (hasalnum)
 142                                         break;
 143                                 iscomment = 1;
 144                         } else
 145                                 hasalnum |= isalnum(*p);
 146                         *q++ = *p;
 147                         complen++;
 148                 }
 149         }
 150
 151         /* Eat trailing space */
 152         while (complen && isspace(q[-1])) {
 153                 --q;
 154                 --complen;
 155         }
 156         *q = '\0';
 157         *compline = cline;
 158         *len = complen;
 159         return hasalnum;
 160 }