Split RPC pool threads into number of smaller semi-isolated groups.

Old design with unified thread pool was good from the point of thread
utilization.  But single pool-wide mutex became huge congestion point
for systems with many CPUs.  To reduce the congestion create several
thread groups within a pool (one group for every 6 CPUs and 12 threads),
each group with own mutex.  Each connection during its registration is
assigned to one of the groups in round-robin fashion.  File affinify
code may still move requests between the groups, but otherwise groups
are self-contained.

MFC after: 2 weeks
Sponsored by: iXsystems, Inc.

Remove write-only local variable.

Sponsored by: The FreeBSD Foundation
MFC after: 1 week

Initialize the pbuf counter for directio using SYSINIT, instead of
using a direct hook called from kern_vfs_bio_buffer_alloc().
Mark ffs_rawread.c as requiring both ffs and directio options to be
compiled into the kernel.  Add ffs_rawread.c to the list of ufs.ko
module' sources.

In addition to stopping breaking the layering violation, it also
allows to link kernel when FFS is configured as module and DIRECTIO is
enabled.

One consequence of the change is that ffs_rawread.o is always linked
into the module regardless of the DIRECTIO option.  This is similar to
the option QUOTA and ufs_quota.c.

Sponsored by: The FreeBSD Foundation
MFC after: 1 week

Remove st_idle variable, duplicating st_xprt.

MFC after: 2 weeks

Introduce new per-thread lock to protect the list of requests.

This allows to slightly simplify svc_run_internal() code: if we processed
all the requests in a queue, then we know that new one will not appear.

MFC after: 2 weeks

Remove unused variable.

Sponsored by: Yandex LLC

Add ioctl(VM_REINIT) to reinitialize the virtual machine state maintained
by vmm.ko. This allows the virtual machine to be restarted without having
to destroy it first.

Reviewed by: grehan

Add a page size field to struct vm_page.  Increase the page size field when
a partially populated reservation becomes fully populated, and decrease this
field when a fully populated reservation becomes partially populated.

Use this field to simplify the implementation of pmap_enter_object() on
amd64, arm, and i386.

On all architectures where we support superpages, the cost of creating a
superpage mapping is roughly the same as creating a base page mapping.  For
example, both kinds of mappings entail the creation of a single PTE and PV
entry.  With this in mind, use the page size field to make the
implementation of vm_map_pmap_enter(..., MAP_PREFAULT_PARTIAL) a little
smarter.  Previously, if MAP_PREFAULT_PARTIAL was specified to
vm_map_pmap_enter(), that function would only map base pages.  Now, it will
create up to 96 base page or superpage mappings.

Reviewed by: kib
Sponsored by: EMC / Isilon Storage Division

Make WITNESS happy by giving USB mutexes different names.

Reported by: trociny @
MFC after: 3 days

Fix for USB specification compliance. We need to accept both DATA0 and
DATA1 for INTERRUPT endpoints.

MFC after: 3 days

Some further DWC OTG improvements for full speed and low speed devices:
- Revert r265427. It appears we are halting the DWC OTG host
controller schedule if we process events only at every SOF. When doing
split transactions we rely on that events are processed quickly and
waiting too long might cause data loss.
- We are not always able to meet the timing requirements of interrupt
endpoint split transactions. Switch from INTERRUPT to CONTROL endpoint
type for interrupt endpoint events until further, hence CONTROL
endpoint events are more relaxed, reducing the chance of data
loss. See comment in code for more in-depth explanation.
- Simplify TT scheduling.

MFC after: 3 days

Mov p2041rdb.dts, p3041ds.dts, and p5020ds.dts to the powerpc directory.

Fix the script to run make_dtb.sh instead of just dtc.

Add Makefiles to automatically test all the DTS files.

There are several broken DTS files right now in the arm directory.

Add support for inspecting process flags set in p_flag2.

Reviewed by: jhb
MFC after: 1 week

Add Ukranian vt(4) keymaps as an example.

Sponsored by: The FreeBSD Foundation

The new NFS server would not allow a hard link to be
created to a symlink. This restriction (which was
inherited from OpenBSD) is not required by the NFS RFCs.
Since this is allowed by the old NFS server, it is a
POLA violation to not allow it. This patch modifies the
new NFS server to allow this.

Reported by: jhb
Reviewed by: jhb
MFC after: 3 days

make sure if_transmit returns 0 if the mbuf is enqueued.
ixgbe/ixv.c still needs a similar fix but it takes a little
more restructuring of the code.

MFC after: 3 days

Minor improvements.

MFC after: 1 week

Add vte(4) to the hardware notes.

MFC after: 3 days

Compilation fixes.

Minor mdoc improvements.

Move atf-sh from /usr/bin/ to /usr/libexec/

In r266650, we made libatf-c and libatf-c++ private libraries so that no
components outside of the source tree could unintendedly depend on them.

This change does the same for the "atf-sh library" by moving the atf-sh
interpreter from its public location in /usr/bin/ to the private location
in /usr/libexec/.  Our build system will ensure that our own test programs
use the right binary, but users won't be able to depend on atf-sh by
"mistake".

Committing this now to ride the UPDATING notice added with r267172 today.

better handling of netmap emulation over standard device drivers:
plug a potential mbuf leak, and detect bogus drivers that
return ENOBUFS even when the packet has been queued.

MFC after: 3 days

Clarify statement on font origin

Submitted by: Dimitar Zhekov

Support guest accesses to %cr8.

Reviewed by: neel

introduce mbq_lock() and mbq_unlock() for the mbq,
so it is easier to buil the same code on linux
(this generalizes the change in svn 267142)

MFC after: 3 days

Add the *_TESTS_SH_SED_* functionality to atf.test.mk.

This exists already in plain.test.mk and tap.test.mk and should have been
added to atf.test.mk too when the feature was first introduced.

(It is probably time to address the related TODOs but I will do that
separately.)

Fix some rpcgen sample file issues.

* -Sc was generating code without a return type on main.
* -Sm was generating an unusable clean target due to undefined RM.
* -Sm was generating clean target with extra preceding space.

PR: 185582
Submitted by: Pawel Biernacki <pawel.biernacki@gmail.com>
MFC after: 1 week

Update after r267011: use -h height and -w width args

Homogenize libatf-* version numbers with upstream.

The libatf-* major version numbers in FreeBSD were one version ahead of
upstream because, when atf was first imported into FreeBSD, the upstream
numbers were not respected.  This is just confusing and bound to cause
problems down the road.

Fix this by taking advantage of the fact that libatf-* are now private
and that atf is not yet built by default.  However, and unfortunately, a
clean build is needed for tests to continue working once "make
delete-old-libs" has been run; hence the note in UPDATING.

Remove extra semicolons.

move netmap_getna() to a freebsd-specific file

Some devices (e.g. Intel AHCI and NICs) support quad-word access to
register pairs where two 32-bit registers make up a larger logical
size.  Support those access by splitting the quad-word into two
double-words.

Reviewed by: grehan

misc bugfixes:
- stdio.h is needed for fprint()
- make memsize uint32_t to avoid errors due to overflow
- honor the *XPOLL flagg in NIOCREGIF requests
- mmap fails wit MAP_FAILED, not NULL.

MFC after: 3 days

whitespace change: fix one comment, remove a stale one.

align comments with the ones in our development trunk

rate limit some error messages

remove two debugging messages, align comments with the code
in our development trunk

ktrace: Use designated initializers for the data_lengths array.

In the .o file, this only changes some line numbers (head amd64) because
element 0 is no longer explicitly initialized.

This should make bugs like FreeBSD-SA-14:12.ktrace less likely.

Discussed with: des
MFC after: 1 week

Dereference portaudit(1), as it is now deprecated and its
functionality exists in pkg-audit(8).

Submitted by: Ronald Klop <ronald-lists@klop.ws>
MFC after: 3 days
Sponsored by: The FreeBSD Foundation

The 'create' subcommand doesn't have '-h' option.

Mdoc cleanup, typo and grammar fixes.

Add missing MLINKs.

Add Lb string for libcuse.

Replace deprecated M_DONTWAIT with M_NOWAIT.

Reviewed by: jfv

add checks for invalid buffer pointers and lengths

prevent a panic when the netdev/ifp is not set in attach
(internal  c63a7b85)

MFC after: 3 days

Minor mdoc nit.

Prevent arc commands from overwriting history

When building picobsd, define WITHOUT_OPENSSL and WITHOUT_KERBEROS and
remove the now-redundant checks for RELEASE_CRUNCH. This originally
was defined for building smaller sysinstall images, but was later also
used by picobsd builds for a similar purpose. Now that we've moved
away from sysinstall, picobsd is the only remaining consumer of this
interface. Adding these two options reduces the RELEASE_CRUNCH
special cases in the tree by half.

Restore comments accidentally removed.

MFC after: 3 days

- Fix the keyfile being cleared prematurely after r259428

PR: 185084
Submitted by: fk@fabiankeil.de
Reviewed by: pjd@

Use mtx_lock_spin/mtx_unlock_spin primitives on spin lock

Reviewed by: luigi
MFC after: 1 week

Style cleanups on ifconfig.8
fix igor warnings
uppercase all instances of Ethernet
replace bad e.g.

CR: D91
Approved by: wblock (mentor)

Document r266463, newsyslog.conf(5) includes in conf.d.

Sponsored by: The FreeBSD Foundation

Add support for arbitrary http requests

Submitted by: Alex Hornung <alex@alexhornung.com>
Reviewed by: des
Obtained from: Dragonfly
MFC after: 3 week

Remove unnecessary semicolons

Patch by Sascha Wildner <saw@online.de> for Dragonfly

Reviewed by: des
Obtained from: Dragonfly
MFC after: 1 week

Use NULL instead of 0

Patch by Sascha Wildner <saw@online.de> for Dragonfly

Reviewed by: des
Obtained from: Dragonfly
MFC after: 1 week

Avoid using hard-coded SoC's register address in mptramp code for Armada XP

SoC's registers base address may differ between boards
(0xf1000000 or 0xd0000000). Therefore, in order to use
the proper CPU Boot Address Redirect register during SMP
initialization in mptramp the real, physical address has
to be passed to mptramp based on the value from DT.

Reviewed by: gber

Fix broken SMP startup on Armada XP after r265694

During Armada's platform_mp_start_ap(), mptramp code
is being copied to the specific physical location (0xffff0000).
Before r265694 the address to which the code should be copied
was equal to the address of mpentry routine that followed the
mptramp in locore.S. Now the mptramp end address should be
exported and used as a copy limit.

Reviewed by: gber

whitespace change: remove trailing whitespace

If HTTP_USER_AGENT is defined but empty, don't send User-Agent at all.

PR: 184507
Submitted by: jbeich@tormail.org (with modifications)
MFC after: 1 week

vt fontcvt: Accept space after BITMAP in .bdf parser

The Unifont BDF generator incorrectly adds a space after BITMAP, and
and that error has been widely propagated.

Regen after r267124 for WITHOUT_VT_SUPPORT

Install VT support files

They can be disabled by setting WITHOUT_VT_SUPPORT=yes in src.conf.

Sponsored by: The FreeBSD Foundation

Support "GNU Unifont" format font data

The GNU Unifont .hex format is a text file.  Each line represents one
glyph and consists of a four-digit hex code point, a colon, and pairs of
hex digits representing the bitmap.  By default an 8x16 font is assumed,
with 16x16 double-width glyphs, resulting in either 32 or 64 hex digits
for the bitmap.

Our version of the file format supports comments at the top of the file
to set the height and width:

# Height: <decimal height>
# Width: <decimal width>

Each row of bitmap data is rounded up to byte width - for example, a
10-pixel wide font uses 4 characters per row.

See http://czyborra.com/unifont/ for more background on the original
format.

Sponsored by: The FreeBSD Foundation

- Verify that we don't load more data into a FIFO than it is
configured to handle.
- Add code to handle suspend and resume.

MFC after: 3 days

Need to check the transfer cache field in the device done function
to be sure all allocated channels are freed and not the transfer first
one.

Try to fix DWC OTG regression issues with full and low speed devices:
- Remove double buffering interrupt and isochronous traffic via the
transaction translator. It can be avoided because the DWC OTG will
always delay the start split transactions for interrupt and
isochronous traffic, but will not delay the complete split
transactions, if we set the odd frame bit correctly.
- Need to check the transfer cache field in the device done function
to be sure all allocated channels are freed and not the transfer first
one. This seems to resolve the control endpoint transfer type quirk
which is now removed.
- Make sure any received data upon TX is dumped else RX path will
stop.
- Transmit isochronous data before receiving isochronous data as a
means to optimise the TT schedule.
- Implement a simple TT bandwidth scheduler.
- Cleanup use of old "td->error" variable.
- On interrupt IN traffic via the transaction translator we simply
ignore missed transfer opportunities and silently retry the
transaction upon next available time slot.

MFC after: 3 days

vt fontcvt: -w sets the width, not height

The code that combines adjacent ranges for BIO_DELETEs to optimize
trims to the device assumes the list is sorted. Don't apply the
optimization of not sorting the queue when we have SSDs to the
delete_queue, since it causes more discard traffic to the drive. While
one could argue that the higher levels should coalesce the trims,
that's not done today, so some optimization at this level is needed.

CR: https://phabric.freebsd.org/D142

Update reported libusb version to 1.0.13

QEMU libusb host support needs at least libusbx-1.0.13, and our in-tree
libusb supports the required functionality.  Exp-run in PR.

PR: 181035

Update vt(4) "Terminus BSD Console" font

"Terminus BSD Console" is a derivative of Terminus that is provided
by Mr. Dimitar Zhekov under the 2-clause BSD license for use by the             FreeBSD vt(4) console.

Reviewed by: jhb
MFC after: 1 week
Sponsored by: The FreeBSD Foundation

Use ENOBUFS instead of ENOMEM in error situations related to m_uiotombuf().
This was suggested by kevlo@.

MFC after: 3 days

Fix OpenSSL multiple vulnerabilities.

Security: CVE-2014-0195, CVE-2014-0221, CVE-2014-0224,
CVE-2014-3470
Security: SA-14:14.openssl
Approved by: so

Mac OS X 10.10 is not released yet, removed.

Pointed out by: pluknet

mdoc: drop the trailing dot from the xref list.

OpenBSD 5.5, Mac OS X 10.10, Dragonfly BSD 3.8.0 added.

Convert functions to the new-style format.

Submitted by: Vijay Singh <vijju.singh@gmail.com> via -hackers

Catch up with recent changes...

Correct the document date for last change.

MFC after: 1 week

Remove D-Link DWA140 rev D1 by accident.

Pointed out by Anders Larsson in private email.

cxgbe(4):  Properly account for the freelist buffers used when returning
early from service_iq due to a budget restriction.  This fixes a potential
rx hang when using INTx.

MFC after: 3 days

Remove extra copy of old email address.

MFC after: 3 days

Update vt(4) console font author's email address

MFC after: 3 days

Cross-reference jot(1) and seq(1).

MFC after: 3 days

More RSU fixes:
- Properly align temporary buffer to 32-bit.
- Add an extra parenthesis to make expression clear.
- Range check the association ID received from hardware.

MFC after: 1 week

make sure ifp->if_transmit returns 0 if a buffer is enqueued.
A similar fix should be applied to vmxnet, ixgbe, igb, i40e.
(some of them previously reported by Michael Tuexen)

Drivers using if_transmit are correct, and so are most of the
other drivers that reassing if_transmit.

Among other things, this bug causes panics when using netmap emulation
on top of generic drivers.

Approved by: bryanv
MFC after: 3 days

Sadly, we do not actually live in the future.

Approved by: wblock (mentor)

Bulk document the kern.geom.label.*.enable sysctls and tunables.

For Xeon 7500 and 48XX (Nehalem EX and Westmere EX) variants of the
Core i7 and Westmere processors, the uncore PMC subsystem is
completely different from the uncore PMC on smaller versions of CPUs.
Disable existing uncore hwpmc code for EX, otherwise non-existing MSRs
are accessed.

The cores PMCs seems to be identical for non-EX and EX, according to
the SDM.

Reviewed by: davide, fabient
Sponsored by: The FreeBSD Foundation
MFC after: 2 weeks

Allow shared locking for the tmpfs vnodes.

Tested by: pho
Sponsored by: The FreeBSD Foundation
MFC after: 1 week

- Add support for SG_GET_SG_TABLESIZE IOCTL to report that we don't support
scatter/gather lists.
- Return error for still unsupported SG 3.x API read/write calls.

MFC after: 1 month

The external USB HUB in the RPI-B rejects control endpoint traffic
using the BULK endpoint type, while other USB HUBs do not. Disable
endpoint type workaround for TT traffic.

MFC after: 3 days

Fixes for the RSU driver:
- The R92S_TCR register is an 8-bit register. Don't access it like a
16-bit register.
- Disable parsing the delete station event, due to many false events.
- Ensure that there is only one transfer queue for each endpoint, so
that packets transmitted don't get out of order.

MFC after: 1 week

- Naively fix build by partially reverting r267029 to still use
  gethrtime() when building libzpool.

X-MFC-With: 267029

Further updates to the netstat(1) man page and usage message

- Reformat the entire man page
- Create a proper synopsis section
- Use itemized-lists to describe each flag, rather than paragraphs
- Cross-reference common flags to a 'general flags' sub-section with short
inline description of the flag
- Label 'general flags' sub-section
- Apply additional fixes suggested by wblock, brueffer, and bdrewery
- Update .Dd that got undone previously
- Change the order of the .Op Fl to be alphabetical
- Add the -i | -I interface flags to the description of 'interface
display mode'
- Fix missing parameters in man page
- Fix missing parameters in usage()
- Sync man page and usage()

MFC Note: stable/9 and stable/10 do not have -R, will need to be removed
when merged

CR: D58
Reviewed by: brueffer, bcr
Approved by: wblock (mentor)
MFC after: 7 days
Sponsored by: ScaleEngine Inc.

vt fontcvt: Use a hash to speed up glyph deduplication

Walking a linked list of all glyphs to look for a duplicate is very slow
for large fonts (e.g., for CJK character sets).  In my test the runtime
for a sample 40000 character font went from just over 80 seconds on
average to just over 2 seconds.

Sponsored by: The FreeBSD Foundation

Merge (unused) documentation of WITHOUT_TESTS into WITH_TESTS.

The description of WITH/WITHOUT tweaks should only document the non-default
option.  TESTS still defaults to no, so the option to be documented is
WITH_TESTS.