MFV: file 5.33

Merge the latest file(1) in.

Relevent Changelog:
- extend the support for ${x?:} expansions for magic descriptions
- add support for ${x?:} in mime types to handle pie binaries.
- add support for negative offsets (offsets from the end of file)
- close the file on error when writing magic

Relnotes: yes

Vendor import of file 5.33

vfs: simplify vop_stdlock/unlock

The interlock pointer is non-NULL by definition and the compiler see through
that and eliminates the NULL checks. Just remove them from the code as they
play no role.

No difference in generated assembly.

inpcb: defer destruction of inpcb until after a grace period has elapsed

in_pcbfree will remove the incpb from the list and release the rtentry
while the vnet is set, but the actual destruction will be deferred
until any threads in a (not yet used) epoch section, no longer potentially
have references.

AF_UNIX: make unpcb lock name line up with what's in witness

epoch.h: hide proc.h->priority.h from user

Add support for the XIVE XICS emulation mode for POWER9 systems

Summary:
POWER9 systems use a new interrupt controller, XIVE, managed through OPAL
firmware calls.  The OPAL firmware includes support for emulating the previous
generation XICS presentation layer in addition to a new "XIVE Exploitation"
mode.  As a stopgap until we have XIVE exploitation mode, enable XICS emulation
mode so that we at least have an interrupt controller.

Since the CPPR is local to the current CPU, it cannot be updated for APs when
initializing on the BSP.  This adds a new function, directly called by the
powernv platform code, to initialize the CPPR on AP bringup.

Reviewed by: nwhitehorn
Differential Revision: https://reviews.freebsd.org/D15492

inpcb: consolidate possible deletion in pcblist functions in to epoch
deferred context.

in_pcb: add helper for deferring inpcb rele calls from list functions

top(1): Quiesce several warnings

This is all warnings at level six (6) that are not
char-subscripts, incompatible-pointer-types,
sign-compare, switch, int-conversion,
missing-variable-declarations, cast-qual, cast-align

Some warnings that are fixed by this commit are:
shadow, strict-prototypes, missing-prototypes, pointer-arith,
unused-parameter, unused-const-variable, and several others

top(1): remove use of 'register' keyword

This keyword is meaningless is obscures future diffs that help clear up
warnings in top.

top(1): be constant in a structure

This silences some warnings that are still hidden since the remainder of
top(1) does not build with higher WARNS yet.

epoch.h: move kernel only bits under _KERNEL

ip(6)_freemoptions: defer imo destruction to epoch callback task

Avoid the ugly unlock / lock of the inpcbinfo where we need to
figure out what kind of lock we hold by simply deferring the
operation to another context. (Also a small dependency for
converting the pcbinfo read lock to epoch)

Use the canonical check for reservation support.

top(1): unconditionally assume we are running on FreeBSD

This allows us to remove a special header and more specifically just the
system headers we want.

top(1): unconditionally provide 'FreeBSD' as a version

top(1): assume that we're building on FreeBSD

This allows us to avoid the ifdefs that we set unconditionally.

top(1): bump WARNS to 1

Nothing else builds without errors yet, but 1 is better than 0

top(1): Migrate top to usr.bin

We've been maintaining top(1) for a long time, and the upstream
hasn't existed/been used in similarly as long. Make it clear that we own
top(1)

Tested with 'make universe'. Everything passed except MIPS which failed
for unrelated reasons. Install also tested for amd64.

Reviewed by: sbruno
No objections: imp, mmacy
Differential Revision: https://reviews.freebsd.org/D15387

Avoid writing to the frame buffer in early boot on PowerPC if the CPU's
MMU is disabled.

This expands some earlier logic and avoids a number of potential problems:
1. The CPU may not be able to access the framebuffer in real mode (real
   mode does not necessarily encompass all available memory, especially
   under a hypervisor).
2. Real mode accesses generally assume cacheability, so it might not
   even have worked.
3. The difference in cacheability between real mode and later (and
   potentially earlier) points in the boot with the MMU on may cause
   ERAT parity problems, resulting in a machine check.

This fixes real-mode (usefdt=1) early boot on the G5 iMac, which was
previously broken as a result of issue #3. Late boot will require some
other fixups.

Style.

Sponsored by: The FreeBSD Foundation
MFC after: 3 days

Conform to Berne Convention.

Prompted by: Recent discussion
MFC after: 3 days

mtest: build with WARNS=3

my copyright: some minor adjustments

- remove "all rights reserved" from my copyright on my extensive
  contributions
- belatedly add my name to tuning.7 which I was a large contributor to
  several years ago

This commit can also serve as implicit permission for any formatting or
non-substantive changes that FreeBSD wishes to make in the future.

Fix PCID+PTI pmap operations on Xen/HVM.

Install appropriate pti-aware shootdown IPI handlers, otherwise user
page tables do not get enough invalidations.  The non-pti handlers
were used so far.

Reported and tested by: cperciva
Sponsored by: The FreeBSD Foundation
MFC after: 3 days

Fix IBRS handling around MWAIT.

The intent was to disable IBPB and IBRS around MWAIT, and re-enable on
the sleep end.

Reviewed by: emaste
Sponsored by: The FreeBSD Foundation
MFC after: 3 days

Enable kernel dump features in GENERIC for most platforms.

This turns on support for kernel dump encryption and compression, and
netdump. arm and mips platforms are omitted for now, since they are more
constrained and don't benefit as much from these features.

Reviewed by: cem, manu, rgrimes
Tested by: manu (arm64)
Relnotes: yes
Differential Revision: https://reviews.freebsd.org/D15465

ufs: remove cgbno variable where unused

net: fix uninitialized variable warning

ctf dwarf: don't report "no dwarf entry" as if it were an error

muge(4): chase r333813 if_addr_lock rwlock to epoch + mutex

muge was committed to the tree in r333713 but not yet connected to the
tree, and it crossed paths with the migration to using ck.

Sponsored by: The FreeBSD Foundation

disable printing value of SKEIN_LOOP during standard out,
not useful information

bhnd nvram map: don't write "variable records written" to standard out by default

Add -v (verbose) option for the developers. The rest of us
derive no value from this information.

Restore the all rights reserved language. Put it on each of the prior
two copyrights. The line originated with the Berkeely Regents, who
we have not approached about removing it (it's honestly too trivial
to be worth that fight). Restore it to rwatson's line as well. He
can decide if he wants it or not on his own. Matt clearly doesn't
want it, per project preference and his own statements on IRC.

Noticed by: rgrimes@

mp_ring: fix i386

Even though 64-bit atomics are supported on i386 there are panics
indicating that the code does not work correctly there. Switch
to mutex based variant (and fix that while we're here).

Reported by: pho, kib

Fix whitespace; no functional changes.

MFC after: 2 weeks
Sponsored by: The FreeBSD Foundation

Add #defines for vendor/product USB IDs.  No functional changes.

MFC after: 2 weeks
Sponsored by: The FreeBSD Foundation

Remove duplicate cap_no_rights from r333874

Archs using in-tree gcc were broken with `warning: redundant
redeclaration of 'cap_no_rights' [-Wredundant-decls]`.

Sponsored by: The FreeBSD Foundation

Permit "(", ")", ":", and "/" in USB string descriptors.
This way we can properly show descriptors with URLs in them.

Reviewed by: hselasky@
MFC after: 2 weeks
Sponsored by: The FreeBSD Foundation

Unbreak BeagleBone Black boot by collapsing 29 SYSINITs in to 1

Reported by: ilya at bakulin.de

intr unbreak KTR/LINT build

ctfconvert: silence useless enum has too many values warning

pmap: silence warnings

netmap and iflib drivers, silence unused var warnings

netinet silence warnings

tcp sysctl fix may be uninitialized

tcp fastopen: fix may be uninitialized

AF_UNIX: switch to annotations to avoid warnings

netmap: compare e1 with e2, not with itself

net: fix set but not used

capsicum: propagate const correctness

back out DBGSET macro

intr: eliminate / annotate unused stack locals

sendfile: annotate unused value and ensure that npages is actually initialized

umtx: don't call umtxq_getchain unless the value is needed

cpuset: revert and annotate instead

conf: revert last change and annotate unused var instead

kevent: annotate unused stack local

lockf: annotate LOCKF_DEBUG only var

capsicum: annotate variable only used by debug

turnstile / sleepqueue: annotate variables only used by debug builds

vfs: annotate variables only used by debug builds as __unused

Add SPR_HSRR0/SPR_HSRR1 definitions

Reported by: Mark Millard
Pointy-hat to: jhibbits

tty: use __unused annotation instead to silence warnings

epoch: avoid warning when INVARIANTS is not enabled

disable set but not used on code that can't be changed

malloc: avoid possibly returning stack garbage if MALLOC_DEBUG is defined

Add hypervisor trap handling, using HSRR0/HSRR1

Summary:
Some hypervisor exceptions on POWER architecture only save state to HSRR0/HSRR1.
Until we have bhyve on POWER, use a lightweight exception frontend which copies
HSRR0/HSRR1 into SRR0/SRR1, and run the normal trap handler.

The first user of this is the Hypervisor Virtualization Interrupt, which targets
the XIVE interrupt controller on POWER9.

Reviewed By: nwhitehorn
Differential Revision: https://reviews.freebsd.org/D15487

cpuset_thread0: avoid unused assignment on non debug build

make_dev: avoid unused assignments on non debug builds

mqueue: avoid unused variables

physio: avoid uninitialized variables

cache_lookup remove unused variable and initialize used

filt_timerdetach: only assign to old if we're going to check it in
a KASSERT

getnextevent: put variable only used by KTR under ifdef KTR

simplify control flow so that gcc knows we never pass save to curthread_pflags_restore
without initializing

tty: conditionally assign to ret value only used by MPASS statement

powerpc64: Add OPAL definitions

Summary:
Add additional OPAL PCI definitions and expand the code to use them in order to
ease the OPAL interface process for new comers.

These definitions came directly from the OPAL code and they are the same for
both PHB3 (POWER8) and PHB4 (POWER9).

Submitted by: Breno Leitao
Differential Revision: https://reviews.freebsd.org/D15432

remove unused locked variable in lockmgr_unlock_fast_path

signotify: don't create a stack local that isn't used on non-debug builds

sysv_msg initialize saved_msgsz

remove unused variable

fix uninitialized variable warning in reader locks

add DBGSET macro to conditionally assign to a variable depending on INVARIANTS

fix uninitialized variable warning

sys_process.c fix set but not used warning

subr_epoch.c fix unused variable warnings

Fix a manual copy from the original diff for r333825

The 'else' was in the original diff.

Submitted by: Breno Leitao

Add yet another option for gathering available memory

On some POWER9 systems, 'reg' denotes the full memory in the system, while
'linux,usable-memory' denotes the usable memory.  Some memory is reserved for
NVLink usage, so is partitioned off.

Submitted by: Breno Leitao

Add some Hypervisor interrupt definitions

This mostly completes the interrupt definitions.  There are still some left out,
less likely to be used in the near term.

pidctrl Actually use the variables that we assign to as seatbelts to prevent divide
by zero

Reviewed by: jeffr

fix gcc8 unused variable and set but not used variable in unix sockets
add copyright from lock rewrite while here

Merge bmake-20180512

Skip polling job token pipe,
better handle sysV style includes with variables.

Silence non-actionable warnings in vendor code

We can't modify vendor code so there's no signal in warnings from it.
Similarly -Waddress-of-packed-member is not useful on networking code
as access to packed structures is fundamental to its operation.

Annotate td_pre_epoch_prio in struct thread

Reported by: jhb

lockmgr: avoid atomic on unlock in the slow path

The code is pretty much guaranteed not to be able to unlock.

This is a minor nit. The code still performs way too many reads.
The altered exclusive-locked condition is supposed to be always
true as well, to be cleaned up at a later date.

Stop claiming the device-side USB serial interfaces talk Hayes AT.

There should be no functional difference.

Reviewed by: hselasky@
MFC after: 2 weeks
Sponsored by: The FreeBSD Foundation

ifnet: Replace if_addr_lock rwlock with epoch + mutex

Run on LLNW canaries and tested by pho@

gallatin:
Using a 14-core, 28-HTT single socket E5-2697 v3 with a 40GbE MLX5
based ConnectX 4-LX NIC, I see an almost 12% improvement in received
packet rate, and a larger improvement in bytes delivered all the way
to userspace.

When the host receiving 64 streams of netperf -H $DUT -t UDP_STREAM -- -m 1,
I see, using nstat -I mce0 1 before the patch:

InMpps OMpps  InGbs  OGbs err TCP Est %CPU syscalls csw     irq GBfree
4.98   0.00   4.42   0.00 4235592     33   83.80 4720653 2149771   1235 247.32
4.73   0.00   4.20   0.00 4025260     33   82.99 4724900 2139833   1204 247.32
4.72   0.00   4.20   0.00 4035252     33   82.14 4719162 2132023   1264 247.32
4.71   0.00   4.21   0.00 4073206     33   83.68 4744973 2123317   1347 247.32
4.72   0.00   4.21   0.00 4061118     33   80.82 4713615 2188091   1490 247.32
4.72   0.00   4.21   0.00 4051675     33   85.29 4727399 2109011   1205 247.32
4.73   0.00   4.21   0.00 4039056     33   84.65 4724735 2102603   1053 247.32

After the patch

InMpps OMpps  InGbs  OGbs err TCP Est %CPU syscalls csw     irq GBfree
5.43   0.00   4.20   0.00 3313143     33   84.96 5434214 1900162   2656 245.51
5.43   0.00   4.20   0.00 3308527     33   85.24 5439695 1809382   2521 245.51
5.42   0.00   4.19   0.00 3316778     33   87.54 5416028 1805835   2256 245.51
5.42   0.00   4.19   0.00 3317673     33   90.44 5426044 1763056   2332 245.51
5.42   0.00   4.19   0.00 3314839     33   88.11 5435732 1792218   2499 245.52
5.44   0.00   4.19   0.00 3293228     33   91.84 5426301 1668597   2121 245.52

Similarly, netperf reports 230Mb/s before the patch, and 270Mb/s after the patch

Reviewed by: gallatin
Sponsored by: Limelight Networks
Differential Revision: https://reviews.freebsd.org/D15366

tag bmake-20180512