Makefile.inc1: remove old (2018) stale dependency hacks

We handle a number of stale dependency issues on an ad-hoc basis, in
order to support ongoing NO_CLEAN builds.  These hacks do not need to
be maintained indefinitely; now remove those for issues that are more
than a year old.

Sponsored by: The FreeBSD Foundation

ichwd: Add Atom C3000 watchdog ID.

MFC after: 3 days
Sponsored by: Juniper Networks, Inc

exec{l,v}{e,p} arrived in 7th Edition research Unix to support the Bourne Shell
which introduced environment variables. Document that here. Verified by
consulting the TUHS archive.

Fix PNP matching for iflib NIC drivers

The previous descriptor string specified that all fields were significant for
match.  However, the only significant fields for in-tree drivers are
vendor:devid, and the fictitious zero values constructed by PVID() did not
match real subvendor, subdevice, revision, and/or class values, resulting in no
automatic probe.

If a future iflib driver needs to match on other criteria, the descriptor
string can be updated accordingly.  (E.g., "V32" and ~0 for unspecified values
in PVID().)

Reported by: mav
Sponsored by: Dell EMC Isilon

Correct path in EXAMPLES ypldap.conf.5

PR: 244743
Submitted by: alex@i.org.ua
Patch by: alex@i.org.ua
Approved by: bcr@(mentor), 0mp
MFC after: 1 day
Differential Revision: https://reviews.freebsd.org/D24144

Remove the secondary_stacks array in arm64 and riscv kernels.

Instead, dynamically allocate a page for the boot stack of each AP when
starting them up, like we do on x86.  This shrinks the bss by
MAXCPU*KSTACK_PAGES pages, which corresponds to 4MB on arm64 and 256KB
on riscv.

Duplicate the logic used on x86 to free the bootstacks, by using a
sysinit to wait for each AP to switch to a thread before freeing its
stack.

While here, mark some static MD variables as such.

Reviewed by: kib
MFC after: 1 month
Sponsored by: Juniper Networks, Klara Inc.
Differential Revision: https://reviews.freebsd.org/D24158

ismt: Fix ISMT_DESC_ADDR_RW macro, slave addresses are already left-shifted

Reverts r293369.  The macro was orginally correct, since our SMBus
framework, unlike i2c, already requires addresses to be 8-bit, LSB-cleared.

MFC after: 3 days
Sponsored by: Juniper Networks, Inc

newsyslog: Add fallthrough comments to appease Coverity.

CID: 1008165, 1008166, 1008167
MFC after: 1 week
Sponsored by: The FreeBSD Foundation

Add regression tests for newsyslog.conf's p flag.

While here do a bit of cleanup:
- declare local variables as such,
- make tmpdir_create() clean up logfile directories, to handle a
  previously interrupt test run more gracefully.

MFC after: 2 weeks
Sponsored by: The FreeBSD Foundation

newsyslog: Fix stack corruption when initializing a zipwork structure.

This happens when compressing a previously uncompressed already-rotated
file, as happens when handling the 'p' flag in newsyslog.conf.  The file
name is stored in a flexible array member, so these structures cannot be
stack allocated.

Also make sure that we call change_attrs() and do_zipwork() in dry-run
mode; they handle this properly, contrary to the commit log message for
r327451.

CID: 1008168
Github PR: https://github.com/freebsd/freebsd/pull/427
MFC after: 2 weeks
Submitted by: Radek Brich (original version)

Disable rarely used architecture variants in make universe by default.

If EXTRA_TARGETS is defined, build all supported architecture
variants.  By default, build architecture variants needed to provide
code coverage or that are commonly used.

Use this to disable building of all the hard-float and little-endian
MIPS architecture variants along with n32 by default.

Reviewed by: rpokala
Discussed with: imp, emaste
Differential Revision: https://reviews.freebsd.org/D24178

iflib: simplify MPASS assertion

Submitted by: andrew

iflib: split compound assertion

ThunderX cluster systems are panicking on boot with a failed assertion
MPASS(gtask != NULL && gtask->gt_taskqueue != NULL).  Split the
assertion so that it's clear which part is failing.

kern_copy_file_range(): check the file type.

The syscall can only operate on valid vnode types.

Reported and tested by: pho
Sponsored by: The FreeBSD Foundation

Use IP_FW_NAT44_DESTROY opcode for IP_FW3 socket option to destroy
NAT instance.

The NAT44 group of opcodes for IP_FW3 socket option is modern way
to control NAT instances and this method can be used in future to
switch from numeric to named NAT instances, like was done for ipfw
tables.
The IP_FW_NAT_DEL opcode is the last remnant of old ipfw_ctl control
plane that doesn't support versioned operations. This interface will
be retired soon.

Reviewed by: melifaro
MFC after: 10 days
Sponsored by: Yandex LLC

auditdistd: Remove useless linking with libl

rescue: Remove useless linking with libl

Revert r359267.
This is not the correct solution and I should have done a clean buildworld.

bsd.lib.mk: Do not include bsd.incs.mk for INTERNALLIB

If we're building an internal lib do not bother including bsd.incs.mk so we
will not install the headers.
This also "solves" a problem with pkgbase where a libXXX-development package
is created and due to how packages are created we add a dependency to a
libXXX package that doesn't exists.

Reported by: pizzamig
Reviewed by: pizzamig bapt emaste
Differential Revision: https://reviews.freebsd.org/D24166

pkgbase: Move telnetd and ftpd pam file to the utilities package

Both programs are in this package so put the pam.d file in there too.

Reported by: emaste
Reviewed by: emaste
Differential Revision: https://reviews.freebsd.org/D24161

pkgbase: Move device.hints from the runtime to the bootloader package

Also mark it as config file so if a user changes this file pkg will attempt
to merge the new file upon an update.
device.hints is neither related to runtime or loader but it make more sense
to have it in loader in case some user delete /boot/ and wants to recreate it,
now only two packages are required FreeBSD-bootloader and the kernel package.
While here change where we override the package for files installed in /boot,
this allow us to keep other tags (such as config).

Reported by: pizzamig
Reviewed by: bapt pizzamig emaste
Differential Revision: https://reviews.freebsd.org/D24159

arm: Fix atomic long APIs to correct 'u_long' signedness

As defined in atomic(9) and implemented on other architectures, the
atomic(9) functions all act on unsigned pointers and types.  Prior to this
revision, arm implemented some atomic(9) 'long' sized routines with correct
unsigned type, but others were incorrectly signed.

Reviewed by: tinderbox
Sponsored by: Dell EMC Isilon

Use the newer EINTEGRITY error when authentication fails.

GELI used to fail with EINVAL when a read request spanned a disk
sector whose contents did not match the sector's authentication tag.
The recently-added EINTEGRITY more closely matches to the error in
this case.

Reviewed by: cem, mckusick
MFC after: 2 weeks
Sponsored by: Chelsio Communications
Differential Revision: https://reviews.freebsd.org/D24131

Improve LIBADD/_DP_* for kyua libraries.

This fixes build with ld.bfd as the linker (e.g. on powerpc).

This corrects a bug in D24103.

Sponsored by: DARPA

Bump for kyua import.

Reported by: cy
Sponsored by: DARPA

Import the kyua test framework.

Having kyua in the base system will simplify automated testing in CI and
eliminates bootstrapping issues on new platforms.

The build of kyua is controlled by WITH(OUT)_TESTS_SUPPORT.

Reviewed by: emaste
Obtained from: CheriBSD
Sponsored by: DARPA
Differential Revision: https://reviews.freebsd.org/D24103

Add liblutok a lightweight C++ API for lua.

It is added an INTERNALLIB and not installed.  It will be used by kyua.

This is a preparatory commit for D24103.

Reviewed by: emaste
Obtained from: CheriBSD
Sponsored by: DARPA

arch.7: remove Default Tool Chain footnote about xtoolchain

MIPS was the last arch to use external toolchain by default but uses
in-tree Clang and lld as of r359233, and now no table entries reference
the footnote.

arch.7: update Default Tool Chain intro text

All FreeBSD archs now use an in-tree toolchain - Clang and ELF Tool
Chain everywhere, and lld everywhere but 32-bit PowerPC (which still
uses ld.bfd).  No archs use external toolchain by default.

Sponsored by: The FreeBSD Foundation

Fix newvers.sh on macOS 10.15

It appears that the macOS /bin/sh echo now defaults to -e and therefore the
`#define VERSTR` included newline characters instead of \n. This caused compiler
errors due to unterminated strings. Fix by using printf instead of echo.
A less fragile solution might be to bootstrap the in-tree /bin/sh but that
requires more changes.

Reviewed By: brooks
Differential Revision: https://reviews.freebsd.org/D24136

Update arch.7 .Dd for r359233

Suggested by: lwhsu

Add STANDARDS and HISTORY to getcontext(3), makecontext(3), and ucontext(3).

Obtained from: NetBSD
MFC after: 2 weeks
Sponsored by: DARPA

Add the tests user, an unprivileged user from the default kyua config.

This is a preparatory commit for D24103.

Reviewed by: emaste
Obtained from: CheriBSD
MFC after: 3 days
Sponsored by: DARPA

Document when execl and execp entered unix.

For this, things are complicated. The first mention in the manual was in the 4th
edition manual (as an add on to exec(II)).  The 2nd and 3rd editions didn't have
these in the manual (either as a separate page, or as an add-on to exec(II)). We
don't have good 1st, 2nd or 3rd edition distributions to look in. However,
there's a tape labeled 'last1120c' that we do have. This tape contains the last
version of the V2 edition of the C compiler on it (just after C got struct). On
this tape there was a libc.sa archive that contains source for execl and
execp. This source is sufficiently different from the V5 sources (which are the
next ones we have sources for) and have a slightly different calling convention
than later sources, suggesting that the early date for the last1120c tape is
correct (in that era, the epoch changed every year, leading to a one or two year
ambiguity on when the files could have been modified) and it should be though of
as V2. Since this was also a time of compiler development, and the calling
convetions are known to be under evolution, and since the rest of the sources in
libc.sa are consistent, that's further evidence that V2 is likely. Finally, 2nd
edition was the last version to fully support the 11/20 because it lacked many
basic features and bell labs moved off it to the 11/45 as soon as they could
afford to buy one, around this time era. The unix manuals make it sound like V3
might have supported the 11/20, but the same intro could also be read to mean it
didn't, at all, and that V3 was the first rewrite for the 11/45 ahead of the
rewrite in C that came with V4.

Taken together, the evidence leans most heavily to V2 (90% IMHO), and slightly
to V3 (8%) or possibly V4 (2%). I've not put all this in the man page, but have
left it here in case someone notices in the future that V4 is the first manual
page for it.

Start sentences from new lines

Also, bump date after 359244.

Make ICMP redirect processing depend on routing daemon.

Submitted by:  lutz at donnerhacke.de
Reviewed by: melifaro,rgrimes
Differential Revision: https://reviews.freebsd.org/D23329

bsdbox: remove useless linking against libl

All is good without it; just remove it.

Requested by: bapt

Remove useless linking to libl

Remove the link to libl which only contains a stub function
on yywrap, if the flex is told yywrap is not in use, then this linkage becomes
unnecessary

Remove unneeded dependency on libl

Revove useless linking to yacc

Sort UMA macros and create MLINKS for them

This patch is a follow-up to r344518.

Reported by: ngie

Reviewed by: hselasky
Differential Revision: https://reviews.freebsd.org/D24165

Add tests verifying IPv4/IPv6 output for TCP/UDP/raw paths.

Reviewed by: kp
MFC after: 2 weeks
Differential Revision: https://reviews.freebsd.org/D24138

Cleanup the file and add two ASSERT variants for locks, which will be
used shortly.

MFC after: 1 week

Use Clang and LLD as the default toolchain for MIPS

Now that we have updated the in-tree version of LLVM to 10.0, we have all the
necessary LLVM changes to use Clang+LLD as the default toolchain for MIPS.

Relnotes: yes
Reviewed By: emaste, jhb, brooks, kevans
Differential Revision: https://reviews.freebsd.org/D23204

pw: do not removed home directories if not owned

When deleting a user, if its home directory does not belong to it, it should
not be removed. This is the promise that the manpage makes, the tool should
ensure that it respects that promise.

Add a regression test about it

PR: 244967
Submitted by: Eric Hanneken <eric@erichanneken.com>
MFC after: 3 days

Use a GCC-compatile compiler flag in files.xlp

Seems like GCC doesn't like -Qunused-arguments, so use
-Wno-unused-command-line-argument, which is supported by both GCC and Clang.

Fix linking OCTEON1 kernel with LLD

LLD complains that the type of .dynamic was changed. Fix this by copying
the approach used in the mips64 ldscript.
I do not have hardware to test this change so I only verified that the
kernel links and the section layout looks sensible.

Reviewed By: imp, emaste
Differential Revision: https://reviews.freebsd.org/D24093

Use -F instead of -f in tail(1) examples

There is an example in tail(1) manual page explaining how to use tail(1) to
track the contents of /var/log/messages. The example uses the -f flag to
follow the file. The problem with the -f flag is that it cannot handle the
situation where /var/log/messages is rotated. Hence, use -F instead in the
example.

Reviewed by: asomers
MFC after: 3 days
Differential Revision: https://reviews.freebsd.org/D24157

- sort according to scan code
- adapt some alt and alt shift keys to other standard keyboards
- fix ctrl-d to issue eot

Approved by: philip (implicit)

fix typo in exec man page

PR: 240258
Submitted by: gbergling@gmail.com
Reported by: kib@
Approved by: bcr@(mentor, implicit)
MFC after: 2 days
Differential Revision: https://reviews.freebsd.org/D24145

Fix an NFS mount attempt where VFS_STATFS() fails.

r353150 added mnt_rootvnode and this seems to have broken NFS mounts when the
VFS_STATFS() called just after VFS_MOUNT() returns an error.
Then the code calls VFS_UNMOUNT(), which calls vflush(), which returns EBUSY.
Then the thread get stuck sleeping on "mntref" in vfs_mount_destroy().
This patch fixes this problem.

Reviewed by: kib, mjg
Differential Revision: https://reviews.freebsd.org/D24022

Fix ordering of machine includes

Remove machine/asm.h since it is unused.

BSD.sendmail.dist: simplify mqueue group name setting

Submitted by: gshapiro

pkgbase: create sendmail directories only from BSD.sendmail.dist

Else when WITHOUT_SENDMAIL is set we still create a sendmail package
that contains (only) two directories.

Reviewed by: manu
Sponsored by: The FreeBSD Foundation
Differential Revision: https://reviews.freebsd.org/D24149

exec man page: Add HISTORY section

PR: 240258
Submitted by: gbergling@gmail.com
Patch by: gbergling@gmail.com
Approved by: bcr@(mentor)
MFC after: 2 days
Differential Revision: https://reviews.freebsd.org/D24145

Add new USB ID.

Submitted by: Konrad Jopek <kjopek@gmail.com>
Differential Revision: https://reviews.freebsd.org/D24142
MFC after: 1 week
Sponsored by: Mellanox Technologies

Makefile.inc1: set DB_FROM_SRC also for stageworld

stageworld, invoked from e.g. `make packages`, shouldn't rely on the
build host's users/groups.

Sponsored by: The FreeBSD Foundation

MFV r359197: xz 5.2.5.

MFC after: 2 weeks
Relnotes: yes

More timer cleanups, no functional change.

MFC after: 1 week

nlist(3): add elf(5) xref

Found while looking for a.out remnants; nlist should also xref the
binary format we currently use.

readelf: simplify Xen string note printing

Reviewed by: markj
Sponsored by: The FreeBSD Foundation
Differential Revision: https://reviews.freebsd.org/D24140

Redo r359164 now that it's baked : Eliminate misuse of $MACHINE for userland things.

Use TARGET_ARCH and/or MACHINE_ARCH exclusively. Change all __TT uses to __T
with appropriate translations. MACHINE/TARGET is to be used only for kernel
things, and this fixes the last few stragglers.

When printing out the contents of the VSEC, include the contents of the
headers.  Device documentation often times give offsets relative to the
start of the entire VSEC, not just the post-header data area, so this
change makes it easier to correlate offsets.

Introduce LINUXKPI_GENSRCS.

Centralize the list of generated files required by linuxkpi consumers,
into the common variable.  This way, consumers that use the variable
are insulated from possible changes in the list.

Reviewed by: hselasky, imp
Sponsored by: Mellanox Technologies
MFC after: 1 week
Differential revision: https://reviews.freebsd.org/D24137

Lock the socket in soo_stat().

Otherwise nothing synchronizes with a concurrent conversion of the
socket to a listening socket.

Only the PF_LOCAL protocols implement pru_sense, and it is safe to hold
the socket lock there, so do so for now.

Reported by: syzbot+4801f1b79ea40953ca8e@syzkaller.appspotmail.com
MFC after: 1 week
Sponsored by: The FreeBSD Foundation

Fix uselocale(3) to not leak a reference to the old locale.

In a single-threaded program pthread_getspecific() always returns NULL,
so the old locale would not end up being freed.

PR: 239520
MFC after: 2 weeks
Sponsored by: The FreeBSD Foundation

Remove cx module subdir, missed in r359178

Use a separate copy of machdep.h in cp and ce drivers

Previously they included sys/dev/cx/machdep.h, but the cx driver was
retired in r359178.  These drivers haven't had real development for
a decade or more so there's no real benefit in sharing this file; just
copy it to the ce and cp subdirs.

Remove ctau module subdir, missed in r359178

Add myself (nick) as a src committer

Reviewed by: philip (mentor)
Approved by: philip (mentor), kp (mentor)
Differential Revision: https://reviews.freebsd.org/D24130

retire cx,ctau drivers

The devices supported by these drivers are obsolete ISA cards, and the
sync serial protocols they supported are essentially obsolete too.

Sponsored by: The FreeBSD Foundation

ObsoleteFiles.inc: add blank line between some recent entries

We recently switched to including a blank line between ObsoleteFiles.inc
entries.  I missed this when adding GCC 4.2.1 (because the change was
prepared months ago in a WIP tree); add a space for GCC 4.2.1 now, as
well as for the other entry after the switch.

libelftc: Fix a memory leak in cpp_demangle_read_type().

CID: 1305425
MFC after: 1 week
Sponsored by: The FreeBSD Foundation

readelf: Fix another instance of the leak mentioned in r357542.

CID: 1292493
MFC after: 1 week
Sponsored by: The FreeBSD Foundation

readelf: Avoid leaking ELF descriptors for archive entries.

CID: 1292494
MFC after: 1 week
Sponsored by: The FreeBSD Foundation

libpe: Avoid a potential use-after-free in pe_update_symtab().

This function appears to be unused within FreeBSD and ELFToolChain.

CID: 1418982
MFC after: 1 week
Sponsored by: The FreeBSD Foundation

libdwarf: Make an out-pointer assignment unconditional.

There is no reason for diep to ever be NULL, since in that case we would
simply be leaking memory.

CID: 1418801
MFC after: 1 week
Sponsored by: The FreeBSD Foundation

Simplify uipc_detach() slightly.

Remove a goto and an unneeded local variable, and fix style.  No
functional change intended.

Tested by: pho
MFC after: 2 weeks
Sponsored by: The FreeBSD Foundation

Remove UNP_NASCENT, reverting r303855.

unp_connectat() no longer holds the link lock across calls to
sonewconn(), so the recursion described in r303855 can no longer occur.
No functional change intended.

Tested by: pho
MFC after: 2 weeks
Sponsored by: The FreeBSD Foundation

sys/cam: remove doubled ;s

remove ancient pre-2000 ObsoleteFiles.inc entries

We support 10.3 as the minimum version to install from, which was
released in the mid-2010s.  There's a lot of ancient ObsoleteFiles.inc
history that serves no purpose today; start by removing entries from
1999 and earlier.

Revert r359164.

This was in my staging tree by mistake when I pushed. Revert until it's ready.

objcopy: add new sections also when there is no .shstrtab

Previously objcopy (elfcopy) --add-sections inserted new sections before
.shstrtab, but omitted them if there was no .shstrtab.

Now, after processing existing sections add new sections if they were
not yet added.

PR: 241437
Reported by: arrowd
Submitted by: Tiger Gao <tig@FreeBSDFoundation.org>
Sponsored by: The FreeBSD Foundation
Differential Revision: https://reviews.freebsd.org/D23571

Implement a workaround for kms-drm modules

pci_iov_if.h was added to pci.h, but none of the kms-drm branches have
that. Rather than play whack a mole with the branches, move its inclusion to
linux_pci.c which is the only part of the code that needs it now.

Longer term, other solutions will be needed, but this gives us time to get those
deployed on all the supported versions.

Eliminate misuse of $MACHINE for userland things.

Use TARGET_ARCH and/or MACHINE_ARCH exclusively. Change all __TT uses to __T
with appropriate translations. MACHINE/TARGET is to be used only for kernel
things.

Remove sparc support from clang build infrastructure. Any remaining sparc files
will be mopped up in future imports.

Differential Revision: https://reviews.freebsd.org/D24128

Remove a set, but unused variable.

MFC after: 1 week

[PowerPC] fix panic reading /dev/kmem on !DMAP machines

This fixes /dev/kmem causing panic on machines not using DMAP.

Found when running libkvm Kyua test case on QEMU VM with no
Huge Pages support.

Reviewed by: jhibbits, luporl
Approved by: jhibbits (mentor)
Sponsored by: Eldorado Research Institute (eldorado.org.br)
Differential Revision: https://reviews.freebsd.org/D23776

cxgbe(4): Split sge_nm_rxq into three cachelines.

This reduces the lines bouncing around between the driver rx ithread and
the netmap rxsync thread.  There is no net change in the size of the
struct (it continues to waste a lot of space).

This kind of split was originally proposed in D17869 by Marc De La
Gueronniere @ Verisign, Inc.

MFC after: 1 week
Sponsored by: Chelsio Communications

Add new USB device ID for Elecom 802.11ac USB device.

MFC after: 2 weeks

Add DragonFly BSD 5.8 & 5.63

A a missing NET_EPOCH_ENTER/NET_EPOCH_EXIT pair. This was affecting
implicit connection setups via sendmsg().

Reported by: syzbot+febbe3383a0e9b700c1b@syzkaller.appspotmail.com
Reported by: syzbot+dca98631455d790223ca@syzkaller.appspotmail.com
Reported by: syzbot+5a71a7760d6bcf11b8cd@syzkaller.appspotmail.com
Reported by: syzbot+da64217e140444c49f00@syzkaller.appspotmail.com

Fix synchronization in the IPV6_2292PKTOPTIONS set handler.

The inpcb needs to be locked when we update output packet options.
Otherwise it is possible for the IPV6_2292PKTOPTIONS handler to free
packet option structures while another thread is reading or updating
them.

Note that the option handler is still kind of broken.  For instance it
frees all options before performing privilege checks for individual
options.  However, this can be fixed separately.

Reported by: syzbot+52eb0fd4ddc119787f9d@syzkaller.appspotmail.com
Reviewed by: bz, tuexen
MFC after: 2 weeks
Sponsored by: The FreeBSD Foundation
Differential Revision: https://reviews.freebsd.org/D24125

loader: remove libsa/crc32.c and use version from zlib

we have crc32(const void *, size_t) in libsa. Unfortunately zlib has
crc32(long, const unigned char *, unsigned) and we have conflict.

Since we do build libsa with zlib, we can use zlib version instead.

Reviewed by: allanjude
Differential Revision: https://reviews.freebsd.org/D24068

Consistently provide arguments for timer start and stop routines.
This is another step in cleaning up timer handling.
MFC after: 1 week

Cleanup the stream reset and asconf timer.

MFC after: 1 week

loader: misaligned access of dos_partition structure

armv7 crash due to misligned access of dos_partition dp_start field.

Allocate and make copy of dos_partition array to make sure the data
is aligned.

Reported by: marklmi at yahoo.com

Fix SES on device slots without phys after r349321.

Broadcom 9400-8i8e HBAs report virtual SES device, where slots representing
external connectors are reported having no phys.  Since sasdev_phys is NULL
there and proto_hdr is a union, ses_paths_iter() misinterpreted them as ATA.
Add explicit protocol check to properly differentiate them.

MFC after: 1 week
Sponsored by: iXsystems, Inc.

kern_dup(): Call filecaps_free_prep() in a write section.

filecaps_free_prep() bzeros the capabilities structure and we need to be
careful to synchronize with unlocked readers, which expect a consistent
rights structure.

Reviewed by: kib, mjg
Reported by: syzbot+5f30b507f91ddedded21@syzkaller.appspotmail.com
MFC after: 2 weeks
Sponsored by: The FreeBSD Foundation
Differential Revision: https://reviews.freebsd.org/D24120