sh: Allow unquoted newlines in word in ${param+word} etc.

POSIX requires accepting unquoted newlines in word in parameter expansions
like ${param+word}, ${param#word}, although the Bourne shell did not support
it, it is not commonly used and might make it harder to find a missing
closing brace.

It was also strange that something like

foo="${bar#
}"

was rejected.

Reported by: Martijn Dekker via Robert Elz

teken, vt(4): Parse the "Cursor style" escape sequence

The escape sequence (e.g. `^[[2 q`) was unsupported before and the
letter `q` was displayed as a typed character. The sequence is used by
Neovim for instance.

Now, it is properly parsed. However, it is ignored, so it won't change
the cursor style.

Because the escape sequence contains a space character, the
`gensequences` script had to be modified to support that. In the
`sequences` file, a space is represented as the string `SP`.

nfsclient: warnings cleanups

Style fixup:

A non-functional commit to make adjustment to an aesthetically
unpleasing long line.

Fix build post r333919.

This commit results in an aesthetically unpleasing long line
which will be fixed next commit.

AF_UNIX: fix LOR introduced by the locking rewrite

Add additional preinitialized cap_rights

MFV: file 5.33

Merge the latest file(1) in.

Relevent Changelog:
- extend the support for ${x?:} expansions for magic descriptions
- add support for ${x?:} in mime types to handle pie binaries.
- add support for negative offsets (offsets from the end of file)
- close the file on error when writing magic

Relnotes: yes

Vendor import of file 5.33

vfs: simplify vop_stdlock/unlock

The interlock pointer is non-NULL by definition and the compiler see through
that and eliminates the NULL checks. Just remove them from the code as they
play no role.

No difference in generated assembly.

inpcb: defer destruction of inpcb until after a grace period has elapsed

in_pcbfree will remove the incpb from the list and release the rtentry
while the vnet is set, but the actual destruction will be deferred
until any threads in a (not yet used) epoch section, no longer potentially
have references.

AF_UNIX: make unpcb lock name line up with what's in witness

epoch.h: hide proc.h->priority.h from user

Add support for the XIVE XICS emulation mode for POWER9 systems

Summary:
POWER9 systems use a new interrupt controller, XIVE, managed through OPAL
firmware calls.  The OPAL firmware includes support for emulating the previous
generation XICS presentation layer in addition to a new "XIVE Exploitation"
mode.  As a stopgap until we have XIVE exploitation mode, enable XICS emulation
mode so that we at least have an interrupt controller.

Since the CPPR is local to the current CPU, it cannot be updated for APs when
initializing on the BSP.  This adds a new function, directly called by the
powernv platform code, to initialize the CPPR on AP bringup.

Reviewed by: nwhitehorn
Differential Revision: https://reviews.freebsd.org/D15492

inpcb: consolidate possible deletion in pcblist functions in to epoch
deferred context.

in_pcb: add helper for deferring inpcb rele calls from list functions

top(1): Quiesce several warnings

This is all warnings at level six (6) that are not
char-subscripts, incompatible-pointer-types,
sign-compare, switch, int-conversion,
missing-variable-declarations, cast-qual, cast-align

Some warnings that are fixed by this commit are:
shadow, strict-prototypes, missing-prototypes, pointer-arith,
unused-parameter, unused-const-variable, and several others

top(1): remove use of 'register' keyword

This keyword is meaningless is obscures future diffs that help clear up
warnings in top.

top(1): be constant in a structure

This silences some warnings that are still hidden since the remainder of
top(1) does not build with higher WARNS yet.

epoch.h: move kernel only bits under _KERNEL

ip(6)_freemoptions: defer imo destruction to epoch callback task

Avoid the ugly unlock / lock of the inpcbinfo where we need to
figure out what kind of lock we hold by simply deferring the
operation to another context. (Also a small dependency for
converting the pcbinfo read lock to epoch)

Use the canonical check for reservation support.

top(1): unconditionally assume we are running on FreeBSD

This allows us to remove a special header and more specifically just the
system headers we want.

top(1): unconditionally provide 'FreeBSD' as a version

top(1): assume that we're building on FreeBSD

This allows us to avoid the ifdefs that we set unconditionally.

top(1): bump WARNS to 1

Nothing else builds without errors yet, but 1 is better than 0

top(1): Migrate top to usr.bin

We've been maintaining top(1) for a long time, and the upstream
hasn't existed/been used in similarly as long. Make it clear that we own
top(1)

Tested with 'make universe'. Everything passed except MIPS which failed
for unrelated reasons. Install also tested for amd64.

Reviewed by: sbruno
No objections: imp, mmacy
Differential Revision: https://reviews.freebsd.org/D15387

Avoid writing to the frame buffer in early boot on PowerPC if the CPU's
MMU is disabled.

This expands some earlier logic and avoids a number of potential problems:
1. The CPU may not be able to access the framebuffer in real mode (real
   mode does not necessarily encompass all available memory, especially
   under a hypervisor).
2. Real mode accesses generally assume cacheability, so it might not
   even have worked.
3. The difference in cacheability between real mode and later (and
   potentially earlier) points in the boot with the MMU on may cause
   ERAT parity problems, resulting in a machine check.

This fixes real-mode (usefdt=1) early boot on the G5 iMac, which was
previously broken as a result of issue #3. Late boot will require some
other fixups.

Style.

Sponsored by: The FreeBSD Foundation
MFC after: 3 days

Conform to Berne Convention.

Prompted by: Recent discussion
MFC after: 3 days

mtest: build with WARNS=3

my copyright: some minor adjustments

- remove "all rights reserved" from my copyright on my extensive
  contributions
- belatedly add my name to tuning.7 which I was a large contributor to
  several years ago

This commit can also serve as implicit permission for any formatting or
non-substantive changes that FreeBSD wishes to make in the future.

Fix PCID+PTI pmap operations on Xen/HVM.

Install appropriate pti-aware shootdown IPI handlers, otherwise user
page tables do not get enough invalidations.  The non-pti handlers
were used so far.

Reported and tested by: cperciva
Sponsored by: The FreeBSD Foundation
MFC after: 3 days

Fix IBRS handling around MWAIT.

The intent was to disable IBPB and IBRS around MWAIT, and re-enable on
the sleep end.

Reviewed by: emaste
Sponsored by: The FreeBSD Foundation
MFC after: 3 days

Enable kernel dump features in GENERIC for most platforms.

This turns on support for kernel dump encryption and compression, and
netdump. arm and mips platforms are omitted for now, since they are more
constrained and don't benefit as much from these features.

Reviewed by: cem, manu, rgrimes
Tested by: manu (arm64)
Relnotes: yes
Differential Revision: https://reviews.freebsd.org/D15465

ufs: remove cgbno variable where unused

net: fix uninitialized variable warning

ctf dwarf: don't report "no dwarf entry" as if it were an error

muge(4): chase r333813 if_addr_lock rwlock to epoch + mutex

muge was committed to the tree in r333713 but not yet connected to the
tree, and it crossed paths with the migration to using ck.

Sponsored by: The FreeBSD Foundation

disable printing value of SKEIN_LOOP during standard out,
not useful information

bhnd nvram map: don't write "variable records written" to standard out by default

Add -v (verbose) option for the developers. The rest of us
derive no value from this information.

Restore the all rights reserved language. Put it on each of the prior
two copyrights. The line originated with the Berkeely Regents, who
we have not approached about removing it (it's honestly too trivial
to be worth that fight). Restore it to rwatson's line as well. He
can decide if he wants it or not on his own. Matt clearly doesn't
want it, per project preference and his own statements on IRC.

Noticed by: rgrimes@

mp_ring: fix i386

Even though 64-bit atomics are supported on i386 there are panics
indicating that the code does not work correctly there. Switch
to mutex based variant (and fix that while we're here).

Reported by: pho, kib

Fix whitespace; no functional changes.

MFC after: 2 weeks
Sponsored by: The FreeBSD Foundation

Add #defines for vendor/product USB IDs.  No functional changes.

MFC after: 2 weeks
Sponsored by: The FreeBSD Foundation

Remove duplicate cap_no_rights from r333874

Archs using in-tree gcc were broken with `warning: redundant
redeclaration of 'cap_no_rights' [-Wredundant-decls]`.

Sponsored by: The FreeBSD Foundation

Permit "(", ")", ":", and "/" in USB string descriptors.
This way we can properly show descriptors with URLs in them.

Reviewed by: hselasky@
MFC after: 2 weeks
Sponsored by: The FreeBSD Foundation

Unbreak BeagleBone Black boot by collapsing 29 SYSINITs in to 1

Reported by: ilya at bakulin.de

intr unbreak KTR/LINT build

ctfconvert: silence useless enum has too many values warning

pmap: silence warnings

netmap and iflib drivers, silence unused var warnings

netinet silence warnings

tcp sysctl fix may be uninitialized

tcp fastopen: fix may be uninitialized

AF_UNIX: switch to annotations to avoid warnings

netmap: compare e1 with e2, not with itself

net: fix set but not used

capsicum: propagate const correctness

back out DBGSET macro

intr: eliminate / annotate unused stack locals

sendfile: annotate unused value and ensure that npages is actually initialized

umtx: don't call umtxq_getchain unless the value is needed

cpuset: revert and annotate instead

conf: revert last change and annotate unused var instead

kevent: annotate unused stack local

lockf: annotate LOCKF_DEBUG only var

capsicum: annotate variable only used by debug

turnstile / sleepqueue: annotate variables only used by debug builds

vfs: annotate variables only used by debug builds as __unused

Add SPR_HSRR0/SPR_HSRR1 definitions

Reported by: Mark Millard
Pointy-hat to: jhibbits

tty: use __unused annotation instead to silence warnings

epoch: avoid warning when INVARIANTS is not enabled

disable set but not used on code that can't be changed

malloc: avoid possibly returning stack garbage if MALLOC_DEBUG is defined

Add hypervisor trap handling, using HSRR0/HSRR1

Summary:
Some hypervisor exceptions on POWER architecture only save state to HSRR0/HSRR1.
Until we have bhyve on POWER, use a lightweight exception frontend which copies
HSRR0/HSRR1 into SRR0/SRR1, and run the normal trap handler.

The first user of this is the Hypervisor Virtualization Interrupt, which targets
the XIVE interrupt controller on POWER9.

Reviewed By: nwhitehorn
Differential Revision: https://reviews.freebsd.org/D15487

cpuset_thread0: avoid unused assignment on non debug build

make_dev: avoid unused assignments on non debug builds

mqueue: avoid unused variables

physio: avoid uninitialized variables

cache_lookup remove unused variable and initialize used

filt_timerdetach: only assign to old if we're going to check it in
a KASSERT

getnextevent: put variable only used by KTR under ifdef KTR

simplify control flow so that gcc knows we never pass save to curthread_pflags_restore
without initializing

tty: conditionally assign to ret value only used by MPASS statement

powerpc64: Add OPAL definitions

Summary:
Add additional OPAL PCI definitions and expand the code to use them in order to
ease the OPAL interface process for new comers.

These definitions came directly from the OPAL code and they are the same for
both PHB3 (POWER8) and PHB4 (POWER9).

Submitted by: Breno Leitao
Differential Revision: https://reviews.freebsd.org/D15432

remove unused locked variable in lockmgr_unlock_fast_path

signotify: don't create a stack local that isn't used on non-debug builds

sysv_msg initialize saved_msgsz

remove unused variable

fix uninitialized variable warning in reader locks

add DBGSET macro to conditionally assign to a variable depending on INVARIANTS

fix uninitialized variable warning

sys_process.c fix set but not used warning

subr_epoch.c fix unused variable warnings

Fix a manual copy from the original diff for r333825

The 'else' was in the original diff.

Submitted by: Breno Leitao

Add yet another option for gathering available memory

On some POWER9 systems, 'reg' denotes the full memory in the system, while
'linux,usable-memory' denotes the usable memory.  Some memory is reserved for
NVLink usage, so is partitioned off.

Submitted by: Breno Leitao

Add some Hypervisor interrupt definitions

This mostly completes the interrupt definitions.  There are still some left out,
less likely to be used in the near term.

pidctrl Actually use the variables that we assign to as seatbelts to prevent divide
by zero

Reviewed by: jeffr

fix gcc8 unused variable and set but not used variable in unix sockets
add copyright from lock rewrite while here