Update for tcpdump 3.7.1

Merge tcpdump 3.7.1

MFC after: 2 weeks

This commit was generated by cvs2svn to compensate for changes in r98524,
which included commits to RCS files with non-trunk default branches.

Import tcpdump 3.7.1, from
 http://www.tcpdump.org/release/tcpdump-3.7.1.tar.gz

Release note added:  rc.d.

MFCs noted:  fold(1) -b/-s, pwd(1) -L, renice(8) -n, unexpand(1) -t,
xargs(1) -I/-L.

Modified release note:  ncurses 5.2-20020615, added version number for
lukemftp.

Deleted release note:  gawk.

MFC noted:  lukemftpd.

Add some #define's for mbuf annotations.

As the comment in the code says, eventually there will be a proper
data structure (e.g NetBSD's struct m_tag) to store chains of
annotations, and mbuf-handling procedures will handle these chains
in the correct way.

Right now, these chains do not exist, and we just use the constants
defined here to implement simple ad-hoc solutions to remove some global
variables used so far to pass around informations about packets
being processed.

Global variables are not only ugly and make the code unreadable, they
also prevent from using parallelism in network stack processing.

(the 3-days MFC only refers to this commit, i.e. the PACKET_TAG_*
constants; the full mechanism will be committed and MFC'ed on a
longer timescale).

MFC after: 3 days

Provide a way to keep out old ("historic") release notes from bloating
the size of the rendered release notes.  By default, any element with
a role="historic" attribute won't get rendered in the output unless
the INCLUDE_HISTORIC Makefile variable is defined.

Add a few files which are needed to build "passwd" now that
the standard version of these files have been PAMified (and axed).

Remove GAWK.  I removed it from the build 2 weeks ago and the world
did not end.  So finish the deed.

{f,s}usword -> {f,s}uword16.  Implement {f,s}uword32.

Requested by: peter

Change the way we internally store the mount options to
a linked list.  This is to allow the merging of the mount
options in the MNT_UPDATE case, as the current data structure
is unsuitable for this.

There are no functional differences in this commit.

Reviewed by: phk

Fix a bug fixed by NetBSD in revision 1.42 of parse.c by christos which caused
an example Makefile I was showing someone just last night to report a variable
as being recursive.

Obtained from: NetBSD

More unsigned char casts to isupper(3).

Obtained from: NetBSD

Merge ncurses 5.2-20020615 changes onto mainline.

Provide a heuristic for RCS conflicts.

Obtained from: NetBSD

This commit was generated by cvs2svn to compensate for changes in r98503,
which included commits to RCS files with non-trunk default branches.

Import ncurses 5.2-20020615 to fix a first-column display bug.

Look for wildcards, and balanced meta-characters such as { and } like NetBSD
does.

Obtained from: NetBSD

Expand a buffer to reduce diffs to NetBSD.

Obtained from: NetBSD

Diff reduction for great justice against NetBSD, cast to unsigned char when
passing an argument to isspace(3).

Implement SO_NOSIGPIPE option for sockets.  This allows one to request that
an EPIPE error return not generate SIGPIPE on sockets.

Submitted by: lioux
Inspired by: Darwin

 o Remove an incorrect cast from obreak().  This cast would,
   for example, break an sbrk(>=4GB) on 64-bit architectures
   even if the resource limit allowed it.
 o Correct an off-by-one error.
 o Correct a spelling error in a comment.
 o Reorder an && expression so that the commonly FALSE expression
   comes first.

Submitted by: bde (bullets 1 and 2)

Don't leak resources if fdcheckstd() fails during exec.

Submitted by: Mike Makonnen <makonnen@pacbell.net>

Don't try to decode old-style options if the argv[1] begins with `-' and the
second character represents some option taking an argument. This fixes
problem when ps(1) is invoked for examply as follows:

$ ps -Ufoobar1234

the above example results in option string being interpreted as
-U foobarp1234 - note extra `p'.

Reported by: Vladimir Sotnikov <vovan@kyivstar.net>
MFC after: 2 weeks

Display the mutex name in the ^T status line if the selected thread
is blocked on a mutex. Prepend a '*' to distinguish this case as
is done in top(1).

Whitespace fixes to line-up EOL escapes whose right-most extraints changed in
the previous revision due to the biggest line changing.

Cast sp to uintptr_t when doing a compare of it to STACKMAX which is a size_t.

This messes up some indentation in mdef.h for some macros.

It seems the hard lock on m4(1) is viewed as superfluous.  Okay.  It's gone.

I'm sick of waiting on OpenBSD to make a number of changes anyway.  If someone
else wants to take over fixing m4(1), I'll be glad to make them aware of the
existing issues.

Quick fix for the type of the bitmap in sigset_t.  It was an array of
4 u_ints but needs to be an array of 4 uint32_t's to work, at least
if unsigned ints have less than 32 bits.  It should be a non-array of
1 uint128_t on 128-bit machines, especially if u_int has 128 bits.
The headers that declare uint32_t (actually __uint32_t) are intentionally
not included here since this header should only be included by other
headers.

Fixed some style bugs (space instead of tab after #ifndef and #endif).

Anonymize the "portmap" program to get better compatibility with
rpcbind in -current.

Submitted by: Alexander Kabaev <ak03@gte.com>

Update an 'XXX what is this?' type comment about suswintr and fuswintr.
These are 16 bit short values used only by the profiling code.

Style: put static qualifier on definition of static functions.

Use suword16/fuword16 instead of susword/fusword - this has two different
definitions so far.. 16 bit on x86 and appears to be 32 bit on sparc64.
Be explicit to avoid suprises.

Bogusness may have happened using a variable assignment here before, but
proper parens mean that fd is always set by open(2) [in any part of C],
and so we can accurately check for it returning -1, without feeling like
we need to initialise fd to -1 in its declaration.

In other words, fix a stylistic/bogus nit.

Deorbit suibyte().  It was only used for split address space systems
for supporting UIO_USERISPACE (ie: it wasn't used).

time(1) does not use the shell to execute the specified utility, remove
sentence stating it did.

Remove references to UIO_USERISPACE which no longer exists.

Remove UIO_USERISPACE - we do not support any split instruction/data
address space machines (eg: pdp-11) and are not likely to ever do so.
Nothing in our kernel sets this.

Make it obvious that command line arguments may be specified for the utility
that is to be invoked on the command line. Use "utility" instead of "command"
in manual page and usage message for consistency with POSIX.

That's right, you can shove your xargs(1) issues in my direction, and I'm
also glad to review changes to it.

ia32 %edx return comes from td_retval[1], not td_retval[0]

Obtained from: dfr

Use suword32/64 and fuword32/64 like elsewhere instead of inventing
suhword/fuhword.

Add boot_serial and boot_multicons variables to set RB_SERIAL and
RB_MULTIPLE since this seems to be the easiest way to add these flags
for non-forth loaders etc.

panic rather than fault and explode if we fail to contigmalloc a kernel
stack.  This is still bad(TM), but at least we have a clue when we get
hit when contigmalloc fails.

Use the canonical pmap_{new,dispose,swapin,swapout}_proc() functions,
in this case cut/pasted from sparc64 instead of messing with
contigmalloc where it is not needed.

Move the "- 1" into the RQB_FFS(mask) macro itself so that
implementations can provide a base zero ffs function if they wish.
This changes
  #define RQB_FFS(mask) (ffs64(mask))
  foo = RQB_FFS(mask) - 1;
to
  #define RQB_FFS(mask) (ffs64(mask) - 1)
  foo = RQB_FFS(mask);
On some platforms we can get the "- 1" for free, eg: those that use the
C code for ffs64().

Reviewed by: jake (in principle)

Use size_t consistently and complete some uncompleted code resulting in a
memory leak by assigning and freeing a variable appropriately as well as
keeping track of the amount of allocated ram properly.

MFC after: 1 month

A function which takes no arguments has an argument list spelled (void) in the
world of ANSI C.

We have a place for extern declarations of global variables in ed.h, do not
use main() to do it locally.

Remove two unused variables.

Minor const cleanup.

Don't discard qualifiers we don't need to discard.

Add a warning regarding the SENDMAIL_*_MC make.conf variable values.
Using /etc/mail/sendmail.mc will create /etc/mail/sendmail.cf during
a buildworld.

PR: misc/39397
MFC after: 3 days

Grrr, make the test for embedded variables in the left-hand-side actually do
the right thing in every case.  Yuck.

 o Acquire and release the vm_map lock instead of Giant in obreak().
   Consequently, use vm_map_insert() and vm_map_delete(), which expect
   the vm_map to be locked, instead of vm_map_find() and vm_map_remove(),
   which do not.

Solve the 'unregistered netisr 18' information notice with a sledgehammer.
Register the ISR early, but do not actually kick off the timer until we
see some activity.  This still saves us from running the arp timers on
a system with no network cards.

- Move the computation of pflags out of the page allocation loop in
  kmem_malloc()
- zero fill pages if PG_ZERO bit is not set after allocation in kmem_malloc()

Suggested by: alc, jake

- Remove the lock(9) protecting the kernel linker system.
- Added a mutex, kld_mtx, to protect the kernel_linker system.  Note that
  while ``classes'' is global (to that file), it is only read only after
  SI_SUB_KLD, SI_ORDER_ANY.
- Add a SYSINIT to flip a flag that disallows class registration after
  SI_SUB_KLD, SI_ORDER_ANY.

Idea for ``classes'' read only by: jake
Reviewed by: jake

- Remove bogus use of kmem_alloc that was inherited from the old zone
  allocator.
- Properly set M_ZERO when talking to the back end page allocators for
  non malloc zones.  This forces us to zero fill pages when they are first
  brought into a cache.
- Properly handle M_ZERO in uma_zalloc_internal.  This fixes a problem where
  per cpu buckets weren't always getting zeroed.

Teach kmem_malloc about M_ZERO.

Correct spelling of 'supplied'.

PR: misc/39528

We don't use this any more.

Sponsored by: DARPA, NAI Labs

Enable OPIE for sshd and telnetd.  I thought I'd done this a long time
ago...

Sponsored by: DARPA, NAI Labs

Make locate.updatedb tell about the security risk when it is run as root.

Change spelling of `u_char' to `unsigned char' to avoid requiring
<sys/types.h> as a prerequisite.

Add a test for what was fixed in revision 1.27 and 1.28 of make(1)'s var.c,
expansion of embedded variables in the left-hand-side of an assignment
expression, using the simplest case - hiding recursion using nil-expanded
variables.

Fix a memory leak from previous commit by freeing the possibly expanded
string at the first opportunity, being sure to now always allocate the
new string from VarPossiblyExpand.  Oops.

Add better mediaopt support for ibss and friends.

Now the driver is closer to matching the wi man page.

Submitted by: jhay (who obtained it from OpenBSD).

Possibly expand the variable name's embedded variables before using it, as
seen (somewhat) in NetBSD.  This catches a few extra recursion cases that
could be hidden by expanding a NIL variable causing an existing variable to
be returned (which caused infinite looping and climbing memory usage in at
least one case).

Obtained from: NetBSD (in principle)

Set PATH statically, and use 'env -i' to kick chroot(8).  As a result,
the second buildworld environment is fully isolated from parent's
environment variables.

Tested virtually on: snapshots.jp.FreeBSD.org
Approved by: arch@ (silently)
MFC after: 2 weeks

MFi386: revisions from 1.342 to 1.344

Backout previous change and merge from sys/dev/sio/sio.c revision 1.375.

Merged from sys/isa/fd.c revision 1.233.

Use si_iosize_max to tell the upper layers not to use more
than 32K chunks on ZIP drives instead of deblocking it in
the driver.

Add yet another (older) Promise chip

Bring documentation on CDPATH and its effects on cd(1) back into sync with
reality (and POSIX): current directory isn't searched unless CDPATH has
a "." element or is unset.

PR: 38442
Submitted by: oleg dashevskii <be9@be9.ru>
MFC after: 1 week

Fix duplicate % in %b format introduced in rev 1.22.

In rev 1.72 a situation related to write/mmap was fixed which could result
in a user process gaining visibility into the 'old' contents of a filesystem
block.  There were two cases:  (1) when uiomove() fails (user process issues
illegal write), and (2) when uiomove() overlaps a mmap() of the same file at
the same offset (fault -> recursive buffer I/O reads contents of old block).

Unfortunately 1.72 also had the unintended effect of forcing the filesystem
to do a read-before-write in the case of a full-block-write (non append case),
e.g. 'dd if=/dev/zero of=test.dat bs=1m count=256 conv=notrunc'.  This
destroys performance.. not only is a read forced for every write, but
clustering breaks as well.

The solution is to clear the buffer manually in the full-block case rather
then asking BALLOC to do it (BALLOC issues the read-before-write).  In the
partial-block case we want BALLOC to do it because the read-before-write
is necessary.  This patch should greatly improve database and news-feed
server performance.

Found by: MKI <mki@mozone.net>
MFC after: 3 days

Let printf(1) tell the difference between zero width/precision and
unspecified width/precision.

PR: 39116
Submitted by: Egil Brendsdal <egilb@ife.no>
MFC after: 1 week

Remove the compat bits for the mis-aligned struct disklabel on alpha,
people got three times longer than I promised.

Sponsored by: DARPA & NAI Labs.

Don't try to dereference conn when we know it's NULL.

Allow format strings containing "%%" to be reused.

PR: 39116
Submitted by: Egil Brendsdal <egilb@ife.no>
MFC after: 1 week

Allow `%' to be written out with an octal escape (\45 or \045).

PR: 39116
Submitted by: Egil Brendsdal <egilb@ife.no>
MFC after: 1 week

Indicate that env(1) allows you to supply arguments to the utility it
executes in the usage() message and manual page. Use "utility" instead of
"command" in both places to emphasise that shell builtins etc. will not work,
and to be consistent with the terminology used by POSIX.

PR: 39210
Submitted by: Danny J. Zerkel <dzerkel@columbus.rr.com>
MFC after: 1 week

Squish the "could sleep with process lock" messages caused by calling
uifind() with a proc lock held.

change_ruid() and change_euid() have been modified to take a uidinfo
structure which will be pre-allocated by callers, they will then
call uihold() on the uidinfo structure so that the caller's logic
is simplified.

This allows one to call uifind() before locking the proc struct and
thereby avoid a potential blocking allocation with the proc lock
held.

This may need revisiting, perhaps keeping a spare uidinfo allocated
per process to handle this situation or re-examining if the proc
lock needs to be held over the entire operation of changing real
or effective user id.

Submitted by: Don Lewis <dl-freebsd@catspoiler.org>

Guard definitions for use with C++ code.

Submitted by: Ed Hall <edhall@yahoo-inc.com>

 o Replace GIANT_REQUIRED in vm_object_coalesce() by the acquisition and
   release of Giant.
 o Reduce the scope of GIANT_REQUIRED in vm_map_insert().

These changes will enable us to remove the acquisition and release
of Giant from obreak().

Disconnect the docs until we figure out if there are any with v3.

Another good suggestion from Bruce, only create links if the
file doesn't exist already.

Don't convert a single space before a tab stop into a tab when the
-i option is used.

fix whitespace botch in previous commit.

Removed unneeded files.
if_em_fxhw.[c,h] and if_em_phy.[c,h]
have been merged into one [c,h] file.

MFC after: 3 days

setsugid() touches p->p_flag so assert that the proc is locked.

A node that creates a device entry in /dev (yay devfs)
so that /dev/mumble can be the entrypoint to some networking graph,
e.g. a tunnel or a remote tape drive or whatever...

Not fully tested (by me) yet.

Submitted by: Mark Santcroos <marks@ripe.net>
MFC after: 3 weeks

Make the speed used by gdb over serial settable in the kernel configuration.

This facilitates the use in circumstances where you are using a serial
console as well. GDB doesn't support anything higher than 9600 baud (19k2
if you are lucky), but the console does.

Fix a typo in the named startup options

Submitted by: sheldonh@

 o Remove LK_CANRECURSE from the vm_map lock.

FreeBSD is one of the OS's that does not require the use of libio with Gcc 3.1.

Fix style and wording bugs introduced in my last commit.

Sponsored by: DARPA, NAI Labs

Do vidcontrol -m on after starting moused for a usb mouse.

PR: conf/39125
Submitted by: Mike Makonnen <makonnen@pacbell.net>
Not objected to by: -current and -hackers