Merge resolve: skip helper when there's no DNS

testing: shuffle subnets= test output

ddns: skip helper when DNS isn't needed

main motivation is to make adding non-DNS connections more
deterministic

testing: tweak ikev2-ddns-03-manual-delayed output

Merge ddns: use unbound, when enabled, to resolve right=right.libreswan.org

notes:

- `ipsec whack --dns` expects an uncached resolve

  hence code is creating unbound context on every request
  the command should instead flush the cache (but how?)

  see #2559 ipsec ddns should flush cache

- the tests needed dnssec disabled (but still use unbound)

  else things didn't validate

- there's still unbound code for looking up dnskeys

  see #2560 merge resolve helper and ikev2_ipseckey?

- need to update ttoaddress_dns() to use unbound

  but this means somehow making ipsec.conf's dns* settings
  available to that code; for instance in showhostkey

  see #2333 should ttoaddress_dns() call unbound_resolve() when available?

close #2353 should a half resolved connection orient
close #1749 ikev2-ddns-02 fails intermittently

resolve: use UNBOUND when enabled

testing: update DDNS tests to demonstrate unbound pluto's behaviour

- update messages

- add -ready variant HOST and UNBOUND tests
  demonstrates behaviour when things can resolve

- shuffle to -delayed, HOST and UNBOUND tests
  the name only becomes available after conn is added

building: define both USE_UNBOUND and USE_DNSSEC

latter is a misnomer, it enables a feature

unbound: replace unbound_resolve() with unbound_sync_resolve()

... takes ub_ctx parameter; and return ub_ctx from
unbound_sync_init().

Drop static dns_ctx variable.

Also delete unbound_ctx_free(), and call from whack_shutdown.c.
No point trying to free the never set dns_ctx.

Merge ddns: separate out `ipsec whack --ddns ...`

Only manually perform ddns when connection has pending
CHECK_DDNS event.  Fix case when it wasn't.

testing kvm: pass (KVM_)USE_SYSTEMD_WATCHDOG to KVM builds

testing: use ipsec whack --ddns --name named

ipsec whack --ddns: move command to whack_ddns.[hc] ....

support:
   ipsec whack --ddns --name connection
only trigger a DNS check on connections when an outstanding
CHECK_DDNS event

orient: don't delete CHECK_DDNS event when successfull

follow-up
  connections: try to orient partially resolved connections

Merge orient: fix stray space in log message

testing: update orient output

orient: fix stray space in orient details

... and always show when DNS is needed

Merge connections: more debug logging of events

testing: update connection event logs

esp the IMPAIR

connection: more event debug-logging

resolver: merge resolve_extracted_host_addrs() into resolve_helper()

Merge connections: try to orient partially resolved connections

for instance, when the peer needs DNS but not the local end
see #2556 dns hostnames never looked up again during revive

testing: expect ikev2-ddns-03 to still need DNS

connections: log when loaded+oriented connection still needs DNS

connections: try to orient when DNS failed

connections: compute the need for DNS

instead of setting a bit

Merge connections: include "oriented" when logging a successfull conection add

This means:
oriented: all is good
unoriented: left/right didn't match
<blank>: can't orient as not listening
close #1625 when adding a connection, log successfull orientation
(more details can come later)

testing: expect "oriented" when adding connection

... which means lack of oriented hints at a problem

orient: always log when a connection is oriented

creating three clear cases:
- oriented
- unoriented (but listening)
- (blank) not listening, hence not oriented

Merge resolve: add .needs.dns and .needs.route bits

to indicate that the host address needs further work

Per #2556 dns hostnames never looked up again during revive
just note that the code still needs to be changed so that
needing DDNS and/or default route isn't a reason to not attempt
orientation.

resolve: move defaultroute call out of helper

resolve: copy extracted host_addrs to resolved host_addrs

resolve: merge struct resolved_host_addrs and struct host_addrs

extract: add .needs{dns,route} to extracted struct host_addrs

extract: rename struct extracted_host_addrs et.al.

struct extracted_host_addrs -> host_addrs
extract_host_addrs() -> host_addrs_from_whack_message()
extrat_host_addrs_from_configs() -> host_addrs_from_connection_config()

Merge addconn: add --quite, pass in during startup

so that addconn doesn't echo any normal pluto messages
back to pluto

as suggested by Wofferl
see #2553 ipsec start hangs with addconn when having many tunnels

close #1119 pluto logs as addconn double

addconn: add --quiet parameter

when set suppress normal logs from pluto; during
startup invoke addconn --quiet to stop a logging
loop

server: give global events, notably EVENT_SD_WATCHDOG, highest priority

Two things:
- global timers get their own priority
- dispatch is limited to 1s so that low priority tasks
  can't lock out high priority events
There's a suspicion that, under load, the SYSTEMD watchdog event
was being drowned out by all the other events - libevent
makes no ordering guarentees.

libipsecconf: move starterwhack.[hc] to addconn.c

not much left, and only caller

Merge server: sprinkle timing over all events

server: use vdbg_{start,stop}() to time timeout events

... and pass verbose+inception to callback

Merge addconn: move startup "listen" into pluto

During startup-addconn's listen, Pluto sends orientation
logs to addconn while ignoring addconn's attempts to
output those same messages.

see #1119 pluto logs as addconn double

There's no good reason for addconn to duplicate this output
during startup.  Later.

see #2553 ipsec start hangs with addconn when having many tunnels

Should be mitigated by this change.

pluto: move startup "listen" into pluto

run after addconn exits; and drop from --autoall code
path

pluto: move whack_listen{} to whack_listen.[hc]

Merge logging: log IGNORING when pluto isn't listening

close #2555 listening doesn't appear in the status

testing: in basic-pluto-08-misc, load ipsec.conf

was missing it, failing to properly start, and not telling anyone

server: use vdbg_{start,stop}() to time accept listeners

... and pass verbose to callback

server: use vdbg_{start,stop}() to time read listeners

and pass verbose to callback

server: use vdbg_{start,stop}() to time signal handlers

and pass verbose to callback

server: use vdbg_{start,stop}() to track global event times

ddns: fix compile error from new vdbg_stop() signature

Merge ddns: offload to resolve_helper.[hc]

ddns: move build_connection_host_and_proposals_from_resolve() et.al. calls to resolve_helper.c

et.al. being orient()

testing: in wait-until-pluto-started, wait for pluto to start listening

... as in "Accepting new ..."

ipsec briefstatus: show IGNORING when !listening

ddns: make resolve_extracted_host_addrs() static to resolve_helper.c

ddns: use resolve_helper() in connection_check_ddns()

... only detach whack after the helper returns

Merge logging: add log prefix to to vdbg_{start,stop}(), use in updown

updown: use vdbg_{start,stop}()

timing: replace pri_cpu_usage() with jam_cpu_usage()

logging: change vdbg_{start,stop}() to function wrappers

... and make output more like logtime

Merge connections: move resolve offload to after extract

... closer to ddns

testing: shuffle subnets=... output

connections: resolve connection after extract

... closer to how ddns wants to do it

defaultroute: make logging more robust

logging: add verbose param to pri_verbose macro

... and replace pri_verbose with VERBOSE_JAMBUF(), when possible

Merge updown: add timing

updown: add timing to all updown commands

updown: replace do_updown() with updown_connection_spd()

drop child parameter, expect SPD to be member of connection

Note: log param can't be dropped as function is called
both with a connection and a state logger

updown: factor updown_child_spd() out of updown_child_spds()

nee do_updown_child()

and replace do_updown() calls with updown_child_spd() where
applicable

orient: pass verbose, make caller responsible for whack attach/detach

orient() doesn't have enough context to known when
detach is warrented.

Merge systemd: log messages being sent to systemd

testing: expect systemd messages when stderr logger

systemd: log messages sent to systemd

Merge connections: replace global PENDING_DDNS with per-conn CHECK_DDNS

testing: update check-02-enumcheck

doing the enum shuffle

events: drop EVENT_PENDING_DDNS, replaced by CONNECTION_CHECK_DDNS

connections: use per-connection CHECK_DDNS

Merge connections: don't try to orient a conn with invalid DNS

Merge server: sprinkle verbose over callbacks

server: pass verbose to event callback

testing: expect conn with DNS fail to not orient

connections: during load, don't try orienting a connection with unresolved addresses

kernel: sprinkle verbose over shunt code

logging: drop const from verbose's logger

hard to add references when it's const

documentation: entity tweaks

for instance, use | not , for alternatives

ipsecconf: rename ipsecconf/config_{conn,setup}.[hc] to ipsecconf/{conn,setup}.[hc]

matching short name used in ipsec.conf.5's sources; and assumes
ipsec.conf will only have these two sections

Merge connections: add per-connection CHECK_DDNS event

currently unused

testing: update check-02-enumcheck

connections: add definitions for CONNECTION_CHECK_DDNS_EVENT

and split:
  schedule_connection_event()
into
  schedule_connection_revival()
  schedule_connection_check_ddns()
the latter isn't yet used

documentation: sprinkle IDs (anchors) over ipsec.conf.5

documentation: filling in defaults for "config setup"

documentation: sprinkle allowed values over many ipsec.conf.5 options

For instance:

   leftcat={yes,no}
   rightcat={yes,no}

Unburry the default value, moving it to its own paragraph:

  The default value is <option>no</option>.

Drop the sentence:

  Accepted values are <option>no</option> (the default) and
  <option>yes</option>.

building: fix ipsec.conf.5 depenencies

documentation: split d.ipsec.conf/ into setup/, conn/, and sect/ subdirs

matching conn and setup options, and sect/ for section files

logging: let VERBOSE() be used as a parameter

Merge resolve: move event based ub_ctx to ikev2_ipseckey.c

and away from the blocking code

resolve: move ub_ctx_create_event() call to ikev2_ipseckey.c

and isolate the event ub_ctx to just that file

Merge resolve: move ipsec-add resolve code to resolve_helper.[hc]

extract: move resolve+dns code to resolve_helper.[hc]