]> CyberLeo.Net >> Repos - FreeBSD/releng/10.3.git/blob - contrib/unbound/iterator/iter_utils.c
- Copy stable/10@296371 to releng/10.3 in preparation for 10.3-RC1
[FreeBSD/releng/10.3.git] / contrib / unbound / iterator / iter_utils.c
1 /*
2  * iterator/iter_utils.c - iterative resolver module utility functions.
3  *
4  * Copyright (c) 2007, NLnet Labs. All rights reserved.
5  *
6  * This software is open source.
7  * 
8  * Redistribution and use in source and binary forms, with or without
9  * modification, are permitted provided that the following conditions
10  * are met:
11  * 
12  * Redistributions of source code must retain the above copyright notice,
13  * this list of conditions and the following disclaimer.
14  * 
15  * Redistributions in binary form must reproduce the above copyright notice,
16  * this list of conditions and the following disclaimer in the documentation
17  * and/or other materials provided with the distribution.
18  * 
19  * Neither the name of the NLNET LABS nor the names of its contributors may
20  * be used to endorse or promote products derived from this software without
21  * specific prior written permission.
22  * 
23  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
24  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
25  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
26  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
27  * HOLDER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
28  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED
29  * TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
30  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
31  * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
32  * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
33  * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
34  */
35
36 /**
37  * \file
38  *
39  * This file contains functions to assist the iterator module.
40  * Configuration options. Forward zones. 
41  */
42 #include "config.h"
43 #include "iterator/iter_utils.h"
44 #include "iterator/iterator.h"
45 #include "iterator/iter_hints.h"
46 #include "iterator/iter_fwd.h"
47 #include "iterator/iter_donotq.h"
48 #include "iterator/iter_delegpt.h"
49 #include "iterator/iter_priv.h"
50 #include "services/cache/infra.h"
51 #include "services/cache/dns.h"
52 #include "services/cache/rrset.h"
53 #include "util/net_help.h"
54 #include "util/module.h"
55 #include "util/log.h"
56 #include "util/config_file.h"
57 #include "util/regional.h"
58 #include "util/data/msgparse.h"
59 #include "util/data/dname.h"
60 #include "util/random.h"
61 #include "util/fptr_wlist.h"
62 #include "validator/val_anchor.h"
63 #include "validator/val_kcache.h"
64 #include "validator/val_kentry.h"
65 #include "validator/val_utils.h"
66 #include "validator/val_sigcrypt.h"
67 #include "sldns/sbuffer.h"
68 #include "sldns/str2wire.h"
69
70 /** time when nameserver glue is said to be 'recent' */
71 #define SUSPICION_RECENT_EXPIRY 86400
72 /** penalty to validation failed blacklisted IPs */
73 #define BLACKLIST_PENALTY (USEFUL_SERVER_TOP_TIMEOUT*4)
74
75 /** fillup fetch policy array */
76 static void
77 fetch_fill(struct iter_env* ie, const char* str)
78 {
79         char* s = (char*)str, *e;
80         int i;
81         for(i=0; i<ie->max_dependency_depth+1; i++) {
82                 ie->target_fetch_policy[i] = strtol(s, &e, 10);
83                 if(s == e)
84                         fatal_exit("cannot parse fetch policy number %s", s);
85                 s = e;
86         }
87 }
88
89 /** Read config string that represents the target fetch policy */
90 static int
91 read_fetch_policy(struct iter_env* ie, const char* str)
92 {
93         int count = cfg_count_numbers(str);
94         if(count < 1) {
95                 log_err("Cannot parse target fetch policy: \"%s\"", str);
96                 return 0;
97         }
98         ie->max_dependency_depth = count - 1;
99         ie->target_fetch_policy = (int*)calloc(
100                 (size_t)ie->max_dependency_depth+1, sizeof(int));
101         if(!ie->target_fetch_policy) {
102                 log_err("alloc fetch policy: out of memory");
103                 return 0;
104         }
105         fetch_fill(ie, str);
106         return 1;
107 }
108
109 /** apply config caps whitelist items to name tree */
110 static int
111 caps_white_apply_cfg(rbtree_t* ntree, struct config_file* cfg)
112 {
113         struct config_strlist* p;
114         for(p=cfg->caps_whitelist; p; p=p->next) {
115                 struct name_tree_node* n;
116                 size_t len;
117                 uint8_t* nm = sldns_str2wire_dname(p->str, &len);
118                 if(!nm) {
119                         log_err("could not parse %s", p->str);
120                         return 0;
121                 }
122                 n = (struct name_tree_node*)calloc(1, sizeof(*n));
123                 if(!n) {
124                         log_err("out of memory");
125                         free(nm);
126                         return 0;
127                 }
128                 n->node.key = n;
129                 n->name = nm;
130                 n->len = len;
131                 n->labs = dname_count_labels(nm);
132                 n->dclass = LDNS_RR_CLASS_IN;
133                 if(!name_tree_insert(ntree, n, nm, len, n->labs, n->dclass)) {
134                         /* duplicate element ignored, idempotent */
135                         free(n->name);
136                         free(n);
137                 }
138         }
139         name_tree_init_parents(ntree);
140         return 1;
141 }
142
143 int 
144 iter_apply_cfg(struct iter_env* iter_env, struct config_file* cfg)
145 {
146         int i;
147         /* target fetch policy */
148         if(!read_fetch_policy(iter_env, cfg->target_fetch_policy))
149                 return 0;
150         for(i=0; i<iter_env->max_dependency_depth+1; i++)
151                 verbose(VERB_QUERY, "target fetch policy for level %d is %d",
152                         i, iter_env->target_fetch_policy[i]);
153         
154         if(!iter_env->donotq)
155                 iter_env->donotq = donotq_create();
156         if(!iter_env->donotq || !donotq_apply_cfg(iter_env->donotq, cfg)) {
157                 log_err("Could not set donotqueryaddresses");
158                 return 0;
159         }
160         if(!iter_env->priv)
161                 iter_env->priv = priv_create();
162         if(!iter_env->priv || !priv_apply_cfg(iter_env->priv, cfg)) {
163                 log_err("Could not set private addresses");
164                 return 0;
165         }
166         if(cfg->caps_whitelist) {
167                 if(!iter_env->caps_white)
168                         iter_env->caps_white = rbtree_create(name_tree_compare);
169                 if(!iter_env->caps_white || !caps_white_apply_cfg(
170                         iter_env->caps_white, cfg)) {
171                         log_err("Could not set capsforid whitelist");
172                         return 0;
173                 }
174
175         }
176         iter_env->supports_ipv6 = cfg->do_ip6;
177         iter_env->supports_ipv4 = cfg->do_ip4;
178         return 1;
179 }
180
181 /** filter out unsuitable targets
182  * @param iter_env: iterator environment with ipv6-support flag.
183  * @param env: module environment with infra cache.
184  * @param name: zone name
185  * @param namelen: length of name
186  * @param qtype: query type (host order).
187  * @param now: current time
188  * @param a: address in delegation point we are examining.
189  * @return an integer that signals the target suitability.
190  *      as follows:
191  *      -1: The address should be omitted from the list.
192  *          Because:
193  *              o The address is bogus (DNSSEC validation failure).
194  *              o Listed as donotquery
195  *              o is ipv6 but no ipv6 support (in operating system).
196  *              o is ipv4 but no ipv4 support (in operating system).
197  *              o is lame
198  *      Otherwise, an rtt in milliseconds.
199  *      0 .. USEFUL_SERVER_TOP_TIMEOUT-1
200  *              The roundtrip time timeout estimate. less than 2 minutes.
201  *              Note that util/rtt.c has a MIN_TIMEOUT of 50 msec, thus
202  *              values 0 .. 49 are not used, unless that is changed.
203  *      USEFUL_SERVER_TOP_TIMEOUT
204  *              This value exactly is given for unresponsive blacklisted.
205  *      USEFUL_SERVER_TOP_TIMEOUT+1
206  *              For non-blacklisted servers: huge timeout, but has traffic.
207  *      USEFUL_SERVER_TOP_TIMEOUT*1 ..
208  *              parent-side lame servers get this penalty. A dispreferential
209  *              server. (lame in delegpt).
210  *      USEFUL_SERVER_TOP_TIMEOUT*2 ..
211  *              dnsseclame servers get penalty
212  *      USEFUL_SERVER_TOP_TIMEOUT*3 ..
213  *              recursion lame servers get penalty
214  *      UNKNOWN_SERVER_NICENESS 
215  *              If no information is known about the server, this is
216  *              returned. 376 msec or so.
217  *      +BLACKLIST_PENALTY (of USEFUL_TOP_TIMEOUT*4) for dnssec failed IPs.
218  *
219  * When a final value is chosen that is dnsseclame ; dnsseclameness checking
220  * is turned off (so we do not discard the reply).
221  * When a final value is chosen that is recursionlame; RD bit is set on query.
222  * Because of the numbers this means recursionlame also have dnssec lameness
223  * checking turned off. 
224  */
225 static int
226 iter_filter_unsuitable(struct iter_env* iter_env, struct module_env* env,
227         uint8_t* name, size_t namelen, uint16_t qtype, time_t now, 
228         struct delegpt_addr* a)
229 {
230         int rtt, lame, reclame, dnsseclame;
231         if(a->bogus)
232                 return -1; /* address of server is bogus */
233         if(donotq_lookup(iter_env->donotq, &a->addr, a->addrlen)) {
234                 log_addr(VERB_ALGO, "skip addr on the donotquery list",
235                         &a->addr, a->addrlen);
236                 return -1; /* server is on the donotquery list */
237         }
238         if(!iter_env->supports_ipv6 && addr_is_ip6(&a->addr, a->addrlen)) {
239                 return -1; /* there is no ip6 available */
240         }
241         if(!iter_env->supports_ipv4 && !addr_is_ip6(&a->addr, a->addrlen)) {
242                 return -1; /* there is no ip4 available */
243         }
244         /* check lameness - need zone , class info */
245         if(infra_get_lame_rtt(env->infra_cache, &a->addr, a->addrlen, 
246                 name, namelen, qtype, &lame, &dnsseclame, &reclame, 
247                 &rtt, now)) {
248                 log_addr(VERB_ALGO, "servselect", &a->addr, a->addrlen);
249                 verbose(VERB_ALGO, "   rtt=%d%s%s%s%s", rtt,
250                         lame?" LAME":"",
251                         dnsseclame?" DNSSEC_LAME":"",
252                         reclame?" REC_LAME":"",
253                         a->lame?" ADDR_LAME":"");
254                 if(lame)
255                         return -1; /* server is lame */
256                 else if(rtt >= USEFUL_SERVER_TOP_TIMEOUT)
257                         /* server is unresponsive,
258                          * we used to return TOP_TIMEOUT, but fairly useless,
259                          * because if == TOP_TIMEOUT is dropped because
260                          * blacklisted later, instead, remove it here, so
261                          * other choices (that are not blacklisted) can be
262                          * tried */
263                         return -1;
264                 /* select remainder from worst to best */
265                 else if(reclame)
266                         return rtt+USEFUL_SERVER_TOP_TIMEOUT*3; /* nonpref */
267                 else if(dnsseclame || a->dnsseclame)
268                         return rtt+USEFUL_SERVER_TOP_TIMEOUT*2; /* nonpref */
269                 else if(a->lame)
270                         return rtt+USEFUL_SERVER_TOP_TIMEOUT+1; /* nonpref */
271                 else    return rtt;
272         }
273         /* no server information present */
274         if(a->dnsseclame)
275                 return UNKNOWN_SERVER_NICENESS+USEFUL_SERVER_TOP_TIMEOUT*2; /* nonpref */
276         else if(a->lame)
277                 return USEFUL_SERVER_TOP_TIMEOUT+1+UNKNOWN_SERVER_NICENESS; /* nonpref */
278         return UNKNOWN_SERVER_NICENESS;
279 }
280
281 /** lookup RTT information, and also store fastest rtt (if any) */
282 static int
283 iter_fill_rtt(struct iter_env* iter_env, struct module_env* env,
284         uint8_t* name, size_t namelen, uint16_t qtype, time_t now, 
285         struct delegpt* dp, int* best_rtt, struct sock_list* blacklist)
286 {
287         int got_it = 0;
288         struct delegpt_addr* a;
289         if(dp->bogus)
290                 return 0; /* NS bogus, all bogus, nothing found */
291         for(a=dp->result_list; a; a = a->next_result) {
292                 a->sel_rtt = iter_filter_unsuitable(iter_env, env, 
293                         name, namelen, qtype, now, a);
294                 if(a->sel_rtt != -1) {
295                         if(sock_list_find(blacklist, &a->addr, a->addrlen))
296                                 a->sel_rtt += BLACKLIST_PENALTY;
297
298                         if(!got_it) {
299                                 *best_rtt = a->sel_rtt;
300                                 got_it = 1;
301                         } else if(a->sel_rtt < *best_rtt) {
302                                 *best_rtt = a->sel_rtt;
303                         }
304                 }
305         }
306         return got_it;
307 }
308
309 /** filter the address list, putting best targets at front,
310  * returns number of best targets (or 0, no suitable targets) */
311 static int
312 iter_filter_order(struct iter_env* iter_env, struct module_env* env,
313         uint8_t* name, size_t namelen, uint16_t qtype, time_t now, 
314         struct delegpt* dp, int* selected_rtt, int open_target, 
315         struct sock_list* blacklist)
316 {
317         int got_num = 0, low_rtt = 0, swap_to_front;
318         struct delegpt_addr* a, *n, *prev=NULL;
319
320         /* fillup sel_rtt and find best rtt in the bunch */
321         got_num = iter_fill_rtt(iter_env, env, name, namelen, qtype, now, dp, 
322                 &low_rtt, blacklist);
323         if(got_num == 0) 
324                 return 0;
325         if(low_rtt >= USEFUL_SERVER_TOP_TIMEOUT &&
326                 (delegpt_count_missing_targets(dp) > 0 || open_target > 0)) {
327                 verbose(VERB_ALGO, "Bad choices, trying to get more choice");
328                 return 0; /* we want more choice. The best choice is a bad one.
329                              return 0 to force the caller to fetch more */
330         }
331
332         got_num = 0;
333         a = dp->result_list;
334         while(a) {
335                 /* skip unsuitable targets */
336                 if(a->sel_rtt == -1) {
337                         prev = a;
338                         a = a->next_result;
339                         continue;
340                 }
341                 /* classify the server address and determine what to do */
342                 swap_to_front = 0;
343                 if(a->sel_rtt >= low_rtt && a->sel_rtt - low_rtt <= RTT_BAND) {
344                         got_num++;
345                         swap_to_front = 1;
346                 } else if(a->sel_rtt<low_rtt && low_rtt-a->sel_rtt<=RTT_BAND) {
347                         got_num++;
348                         swap_to_front = 1;
349                 }
350                 /* swap to front if necessary, or move to next result */
351                 if(swap_to_front && prev) {
352                         n = a->next_result;
353                         prev->next_result = n;
354                         a->next_result = dp->result_list;
355                         dp->result_list = a;
356                         a = n;
357                 } else {
358                         prev = a;
359                         a = a->next_result;
360                 }
361         }
362         *selected_rtt = low_rtt;
363         return got_num;
364 }
365
366 struct delegpt_addr* 
367 iter_server_selection(struct iter_env* iter_env, 
368         struct module_env* env, struct delegpt* dp, 
369         uint8_t* name, size_t namelen, uint16_t qtype, int* dnssec_lame,
370         int* chase_to_rd, int open_target, struct sock_list* blacklist)
371 {
372         int sel;
373         int selrtt;
374         struct delegpt_addr* a, *prev;
375         int num = iter_filter_order(iter_env, env, name, namelen, qtype,
376                 *env->now, dp, &selrtt, open_target, blacklist);
377
378         if(num == 0)
379                 return NULL;
380         verbose(VERB_ALGO, "selrtt %d", selrtt);
381         if(selrtt > BLACKLIST_PENALTY) {
382                 if(selrtt-BLACKLIST_PENALTY > USEFUL_SERVER_TOP_TIMEOUT*3) {
383                         verbose(VERB_ALGO, "chase to "
384                                 "blacklisted recursion lame server");
385                         *chase_to_rd = 1;
386                 }
387                 if(selrtt-BLACKLIST_PENALTY > USEFUL_SERVER_TOP_TIMEOUT*2) {
388                         verbose(VERB_ALGO, "chase to "
389                                 "blacklisted dnssec lame server");
390                         *dnssec_lame = 1;
391                 }
392         } else {
393                 if(selrtt > USEFUL_SERVER_TOP_TIMEOUT*3) {
394                         verbose(VERB_ALGO, "chase to recursion lame server");
395                         *chase_to_rd = 1;
396                 }
397                 if(selrtt > USEFUL_SERVER_TOP_TIMEOUT*2) {
398                         verbose(VERB_ALGO, "chase to dnssec lame server");
399                         *dnssec_lame = 1;
400                 }
401                 if(selrtt == USEFUL_SERVER_TOP_TIMEOUT) {
402                         verbose(VERB_ALGO, "chase to blacklisted lame server");
403                         return NULL;
404                 }
405         }
406
407         if(num == 1) {
408                 a = dp->result_list;
409                 if(++a->attempts < OUTBOUND_MSG_RETRY)
410                         return a;
411                 dp->result_list = a->next_result;
412                 return a;
413         }
414
415         /* randomly select a target from the list */
416         log_assert(num > 1);
417         /* grab secure random number, to pick unexpected server.
418          * also we need it to be threadsafe. */
419         sel = ub_random_max(env->rnd, num); 
420         a = dp->result_list;
421         prev = NULL;
422         while(sel > 0 && a) {
423                 prev = a;
424                 a = a->next_result;
425                 sel--;
426         }
427         if(!a)  /* robustness */
428                 return NULL;
429         if(++a->attempts < OUTBOUND_MSG_RETRY)
430                 return a;
431         /* remove it from the delegation point result list */
432         if(prev)
433                 prev->next_result = a->next_result;
434         else    dp->result_list = a->next_result;
435         return a;
436 }
437
438 struct dns_msg* 
439 dns_alloc_msg(sldns_buffer* pkt, struct msg_parse* msg, 
440         struct regional* region)
441 {
442         struct dns_msg* m = (struct dns_msg*)regional_alloc(region,
443                 sizeof(struct dns_msg));
444         if(!m)
445                 return NULL;
446         memset(m, 0, sizeof(*m));
447         if(!parse_create_msg(pkt, msg, NULL, &m->qinfo, &m->rep, region)) {
448                 log_err("malloc failure: allocating incoming dns_msg");
449                 return NULL;
450         }
451         return m;
452 }
453
454 struct dns_msg* 
455 dns_copy_msg(struct dns_msg* from, struct regional* region)
456 {
457         struct dns_msg* m = (struct dns_msg*)regional_alloc(region,
458                 sizeof(struct dns_msg));
459         if(!m)
460                 return NULL;
461         m->qinfo = from->qinfo;
462         if(!(m->qinfo.qname = regional_alloc_init(region, from->qinfo.qname,
463                 from->qinfo.qname_len)))
464                 return NULL;
465         if(!(m->rep = reply_info_copy(from->rep, NULL, region)))
466                 return NULL;
467         return m;
468 }
469
470 void 
471 iter_dns_store(struct module_env* env, struct query_info* msgqinf,
472         struct reply_info* msgrep, int is_referral, time_t leeway, int pside,
473         struct regional* region, uint16_t flags)
474 {
475         if(!dns_cache_store(env, msgqinf, msgrep, is_referral, leeway,
476                 pside, region, flags))
477                 log_err("out of memory: cannot store data in cache");
478 }
479
480 int 
481 iter_ns_probability(struct ub_randstate* rnd, int n, int m)
482 {
483         int sel;
484         if(n == m) /* 100% chance */
485                 return 1;
486         /* we do not need secure random numbers here, but
487          * we do need it to be threadsafe, so we use this */
488         sel = ub_random_max(rnd, m); 
489         return (sel < n);
490 }
491
492 /** detect dependency cycle for query and target */
493 static int
494 causes_cycle(struct module_qstate* qstate, uint8_t* name, size_t namelen,
495         uint16_t t, uint16_t c)
496 {
497         struct query_info qinf;
498         qinf.qname = name;
499         qinf.qname_len = namelen;
500         qinf.qtype = t;
501         qinf.qclass = c;
502         fptr_ok(fptr_whitelist_modenv_detect_cycle(
503                 qstate->env->detect_cycle));
504         return (*qstate->env->detect_cycle)(qstate, &qinf, 
505                 (uint16_t)(BIT_RD|BIT_CD), qstate->is_priming,
506                 qstate->is_valrec);
507 }
508
509 void 
510 iter_mark_cycle_targets(struct module_qstate* qstate, struct delegpt* dp)
511 {
512         struct delegpt_ns* ns;
513         for(ns = dp->nslist; ns; ns = ns->next) {
514                 if(ns->resolved)
515                         continue;
516                 /* see if this ns as target causes dependency cycle */
517                 if(causes_cycle(qstate, ns->name, ns->namelen, 
518                         LDNS_RR_TYPE_AAAA, qstate->qinfo.qclass) ||
519                    causes_cycle(qstate, ns->name, ns->namelen, 
520                         LDNS_RR_TYPE_A, qstate->qinfo.qclass)) {
521                         log_nametypeclass(VERB_QUERY, "skipping target due "
522                                 "to dependency cycle (harden-glue: no may "
523                                 "fix some of the cycles)", 
524                                 ns->name, LDNS_RR_TYPE_A, 
525                                 qstate->qinfo.qclass);
526                         ns->resolved = 1;
527                 }
528         }
529 }
530
531 void 
532 iter_mark_pside_cycle_targets(struct module_qstate* qstate, struct delegpt* dp)
533 {
534         struct delegpt_ns* ns;
535         for(ns = dp->nslist; ns; ns = ns->next) {
536                 if(ns->done_pside4 && ns->done_pside6)
537                         continue;
538                 /* see if this ns as target causes dependency cycle */
539                 if(causes_cycle(qstate, ns->name, ns->namelen, 
540                         LDNS_RR_TYPE_A, qstate->qinfo.qclass)) {
541                         log_nametypeclass(VERB_QUERY, "skipping target due "
542                                 "to dependency cycle", ns->name,
543                                 LDNS_RR_TYPE_A, qstate->qinfo.qclass);
544                         ns->done_pside4 = 1;
545                 }
546                 if(causes_cycle(qstate, ns->name, ns->namelen, 
547                         LDNS_RR_TYPE_AAAA, qstate->qinfo.qclass)) {
548                         log_nametypeclass(VERB_QUERY, "skipping target due "
549                                 "to dependency cycle", ns->name,
550                                 LDNS_RR_TYPE_AAAA, qstate->qinfo.qclass);
551                         ns->done_pside6 = 1;
552                 }
553         }
554 }
555
556 int 
557 iter_dp_is_useless(struct query_info* qinfo, uint16_t qflags, 
558         struct delegpt* dp)
559 {
560         struct delegpt_ns* ns;
561         /* check:
562          *      o RD qflag is on.
563          *      o no addresses are provided.
564          *      o all NS items are required glue.
565          * OR
566          *      o RD qflag is on.
567          *      o no addresses are provided.
568          *      o the query is for one of the nameservers in dp,
569          *        and that nameserver is a glue-name for this dp.
570          */
571         if(!(qflags&BIT_RD))
572                 return 0;
573         /* either available or unused targets */
574         if(dp->usable_list || dp->result_list)
575                 return 0;
576         
577         /* see if query is for one of the nameservers, which is glue */
578         if( (qinfo->qtype == LDNS_RR_TYPE_A ||
579                 qinfo->qtype == LDNS_RR_TYPE_AAAA) &&
580                 dname_subdomain_c(qinfo->qname, dp->name) &&
581                 delegpt_find_ns(dp, qinfo->qname, qinfo->qname_len))
582                 return 1;
583         
584         for(ns = dp->nslist; ns; ns = ns->next) {
585                 if(ns->resolved) /* skip failed targets */
586                         continue;
587                 if(!dname_subdomain_c(ns->name, dp->name))
588                         return 0; /* one address is not required glue */
589         }
590         return 1;
591 }
592
593 int 
594 iter_indicates_dnssec(struct module_env* env, struct delegpt* dp,
595         struct dns_msg* msg, uint16_t dclass)
596 {
597         struct trust_anchor* a;
598         /* information not available, !env->anchors can be common */
599         if(!env || !env->anchors || !dp || !dp->name)
600                 return 0;
601         /* a trust anchor exists with this name, RRSIGs expected */
602         if((a=anchor_find(env->anchors, dp->name, dp->namelabs, dp->namelen,
603                 dclass))) {
604                 lock_basic_unlock(&a->lock);
605                 return 1;
606         }
607         /* see if DS rrset was given, in AUTH section */
608         if(msg && msg->rep &&
609                 reply_find_rrset_section_ns(msg->rep, dp->name, dp->namelen,
610                 LDNS_RR_TYPE_DS, dclass))
611                 return 1;
612         /* look in key cache */
613         if(env->key_cache) {
614                 struct key_entry_key* kk = key_cache_obtain(env->key_cache,
615                         dp->name, dp->namelen, dclass, env->scratch, *env->now);
616                 if(kk) {
617                         if(query_dname_compare(kk->name, dp->name) == 0) {
618                           if(key_entry_isgood(kk) || key_entry_isbad(kk)) {
619                                 regional_free_all(env->scratch);
620                                 return 1;
621                           } else if(key_entry_isnull(kk)) {
622                                 regional_free_all(env->scratch);
623                                 return 0;
624                           }
625                         }
626                         regional_free_all(env->scratch);
627                 }
628         }
629         return 0;
630 }
631
632 int 
633 iter_msg_has_dnssec(struct dns_msg* msg)
634 {
635         size_t i;
636         if(!msg || !msg->rep)
637                 return 0;
638         for(i=0; i<msg->rep->an_numrrsets + msg->rep->ns_numrrsets; i++) {
639                 if(((struct packed_rrset_data*)msg->rep->rrsets[i]->
640                         entry.data)->rrsig_count > 0)
641                         return 1;
642         }
643         /* empty message has no DNSSEC info, with DNSSEC the reply is
644          * not empty (NSEC) */
645         return 0;
646 }
647
648 int iter_msg_from_zone(struct dns_msg* msg, struct delegpt* dp,
649         enum response_type type, uint16_t dclass)
650 {
651         if(!msg || !dp || !msg->rep || !dp->name)
652                 return 0;
653         /* SOA RRset - always from reply zone */
654         if(reply_find_rrset_section_an(msg->rep, dp->name, dp->namelen,
655                 LDNS_RR_TYPE_SOA, dclass) ||
656            reply_find_rrset_section_ns(msg->rep, dp->name, dp->namelen,
657                 LDNS_RR_TYPE_SOA, dclass))
658                 return 1;
659         if(type == RESPONSE_TYPE_REFERRAL) {
660                 size_t i;
661                 /* if it adds a single label, i.e. we expect .com,
662                  * and referral to example.com. NS ... , then origin zone
663                  * is .com. For a referral to sub.example.com. NS ... then
664                  * we do not know, since example.com. may be in between. */
665                 for(i=0; i<msg->rep->an_numrrsets+msg->rep->ns_numrrsets; 
666                         i++) {
667                         struct ub_packed_rrset_key* s = msg->rep->rrsets[i];
668                         if(ntohs(s->rk.type) == LDNS_RR_TYPE_NS &&
669                                 ntohs(s->rk.rrset_class) == dclass) {
670                                 int l = dname_count_labels(s->rk.dname);
671                                 if(l == dp->namelabs + 1 &&
672                                         dname_strict_subdomain(s->rk.dname,
673                                         l, dp->name, dp->namelabs))
674                                         return 1;
675                         }
676                 }
677                 return 0;
678         }
679         log_assert(type==RESPONSE_TYPE_ANSWER || type==RESPONSE_TYPE_CNAME);
680         /* not a referral, and not lame delegation (upwards), so, 
681          * any NS rrset must be from the zone itself */
682         if(reply_find_rrset_section_an(msg->rep, dp->name, dp->namelen,
683                 LDNS_RR_TYPE_NS, dclass) ||
684            reply_find_rrset_section_ns(msg->rep, dp->name, dp->namelen,
685                 LDNS_RR_TYPE_NS, dclass))
686                 return 1;
687         /* a DNSKEY set is expected at the zone apex as well */
688         /* this is for 'minimal responses' for DNSKEYs */
689         if(reply_find_rrset_section_an(msg->rep, dp->name, dp->namelen,
690                 LDNS_RR_TYPE_DNSKEY, dclass))
691                 return 1;
692         return 0;
693 }
694
695 /**
696  * check equality of two rrsets 
697  * @param k1: rrset
698  * @param k2: rrset
699  * @return true if equal
700  */
701 static int
702 rrset_equal(struct ub_packed_rrset_key* k1, struct ub_packed_rrset_key* k2)
703 {
704         struct packed_rrset_data* d1 = (struct packed_rrset_data*)
705                 k1->entry.data;
706         struct packed_rrset_data* d2 = (struct packed_rrset_data*)
707                 k2->entry.data;
708         size_t i, t;
709         if(k1->rk.dname_len != k2->rk.dname_len ||
710                 k1->rk.flags != k2->rk.flags ||
711                 k1->rk.type != k2->rk.type ||
712                 k1->rk.rrset_class != k2->rk.rrset_class ||
713                 query_dname_compare(k1->rk.dname, k2->rk.dname) != 0)
714                 return 0;
715         if(     /* do not check ttl: d1->ttl != d2->ttl || */
716                 d1->count != d2->count ||
717                 d1->rrsig_count != d2->rrsig_count ||
718                 d1->trust != d2->trust ||
719                 d1->security != d2->security)
720                 return 0;
721         t = d1->count + d1->rrsig_count;
722         for(i=0; i<t; i++) {
723                 if(d1->rr_len[i] != d2->rr_len[i] ||
724                         /* no ttl check: d1->rr_ttl[i] != d2->rr_ttl[i] ||*/
725                         memcmp(d1->rr_data[i], d2->rr_data[i], 
726                                 d1->rr_len[i]) != 0)
727                         return 0;
728         }
729         return 1;
730 }
731
732 int 
733 reply_equal(struct reply_info* p, struct reply_info* q, struct regional* region)
734 {
735         size_t i;
736         if(p->flags != q->flags ||
737                 p->qdcount != q->qdcount ||
738                 /* do not check TTL, this may differ */
739                 /*
740                 p->ttl != q->ttl ||
741                 p->prefetch_ttl != q->prefetch_ttl ||
742                 */
743                 p->security != q->security ||
744                 p->an_numrrsets != q->an_numrrsets ||
745                 p->ns_numrrsets != q->ns_numrrsets ||
746                 p->ar_numrrsets != q->ar_numrrsets ||
747                 p->rrset_count != q->rrset_count)
748                 return 0;
749         for(i=0; i<p->rrset_count; i++) {
750                 if(!rrset_equal(p->rrsets[i], q->rrsets[i])) {
751                         if(!rrset_canonical_equal(region, p->rrsets[i],
752                                 q->rrsets[i])) {
753                                 regional_free_all(region);
754                                 return 0;
755                         }
756                         regional_free_all(region);
757                 }
758         }
759         return 1;
760 }
761
762 void 
763 caps_strip_reply(struct reply_info* rep)
764 {
765         size_t i;
766         if(!rep) return;
767         /* see if message is a referral, in which case the additional and
768          * NS record cannot be removed */
769         /* referrals have the AA flag unset (strict check, not elsewhere in
770          * unbound, but for 0x20 this is very convenient). */
771         if(!(rep->flags&BIT_AA))
772                 return;
773         /* remove the additional section from the reply */
774         if(rep->ar_numrrsets != 0) {
775                 verbose(VERB_ALGO, "caps fallback: removing additional section");
776                 rep->rrset_count -= rep->ar_numrrsets;
777                 rep->ar_numrrsets = 0;
778         }
779         /* is there an NS set in the authority section to remove? */
780         /* the failure case (Cisco firewalls) only has one rrset in authsec */
781         for(i=rep->an_numrrsets; i<rep->an_numrrsets+rep->ns_numrrsets; i++) {
782                 struct ub_packed_rrset_key* s = rep->rrsets[i];
783                 if(ntohs(s->rk.type) == LDNS_RR_TYPE_NS) {
784                         /* remove NS rrset and break from loop (loop limits
785                          * have changed) */
786                         /* move last rrset into this position (there is no
787                          * additional section any more) */
788                         verbose(VERB_ALGO, "caps fallback: removing NS rrset");
789                         if(i < rep->rrset_count-1)
790                                 rep->rrsets[i]=rep->rrsets[rep->rrset_count-1];
791                         rep->rrset_count --;
792                         rep->ns_numrrsets --;
793                         break;
794                 }
795         }
796 }
797
798 int caps_failed_rcode(struct reply_info* rep)
799 {
800         return !(FLAGS_GET_RCODE(rep->flags) == LDNS_RCODE_NOERROR ||
801                 FLAGS_GET_RCODE(rep->flags) == LDNS_RCODE_NXDOMAIN);
802 }
803
804 void 
805 iter_store_parentside_rrset(struct module_env* env, 
806         struct ub_packed_rrset_key* rrset)
807 {
808         struct rrset_ref ref;
809         rrset = packed_rrset_copy_alloc(rrset, env->alloc, *env->now);
810         if(!rrset) {
811                 log_err("malloc failure in store_parentside_rrset");
812                 return;
813         }
814         rrset->rk.flags |= PACKED_RRSET_PARENT_SIDE;
815         rrset->entry.hash = rrset_key_hash(&rrset->rk);
816         ref.key = rrset;
817         ref.id = rrset->id;
818         /* ignore ret: if it was in the cache, ref updated */
819         (void)rrset_cache_update(env->rrset_cache, &ref, env->alloc, *env->now);
820 }
821
822 /** fetch NS record from reply, if any */
823 static struct ub_packed_rrset_key*
824 reply_get_NS_rrset(struct reply_info* rep)
825 {
826         size_t i;
827         for(i=0; i<rep->rrset_count; i++) {
828                 if(rep->rrsets[i]->rk.type == htons(LDNS_RR_TYPE_NS)) {
829                         return rep->rrsets[i];
830                 }
831         }
832         return NULL;
833 }
834
835 void
836 iter_store_parentside_NS(struct module_env* env, struct reply_info* rep)
837 {
838         struct ub_packed_rrset_key* rrset = reply_get_NS_rrset(rep);
839         if(rrset) {
840                 log_rrset_key(VERB_ALGO, "store parent-side NS", rrset);
841                 iter_store_parentside_rrset(env, rrset);
842         }
843 }
844
845 void iter_store_parentside_neg(struct module_env* env, 
846         struct query_info* qinfo, struct reply_info* rep)
847 {
848         /* TTL: NS from referral in iq->deleg_msg,
849          *      or first RR from iq->response,
850          *      or servfail5secs if !iq->response */ 
851         time_t ttl = NORR_TTL;
852         struct ub_packed_rrset_key* neg;
853         struct packed_rrset_data* newd;
854         if(rep) {
855                 struct ub_packed_rrset_key* rrset = reply_get_NS_rrset(rep);
856                 if(!rrset && rep->rrset_count != 0) rrset = rep->rrsets[0];
857                 if(rrset) ttl = ub_packed_rrset_ttl(rrset);
858         }
859         /* create empty rrset to store */
860         neg = (struct ub_packed_rrset_key*)regional_alloc(env->scratch,
861                         sizeof(struct ub_packed_rrset_key));
862         if(!neg) {
863                 log_err("out of memory in store_parentside_neg");
864                 return;
865         }
866         memset(&neg->entry, 0, sizeof(neg->entry));
867         neg->entry.key = neg;
868         neg->rk.type = htons(qinfo->qtype);
869         neg->rk.rrset_class = htons(qinfo->qclass);
870         neg->rk.flags = 0;
871         neg->rk.dname = regional_alloc_init(env->scratch, qinfo->qname, 
872                 qinfo->qname_len);
873         if(!neg->rk.dname) {
874                 log_err("out of memory in store_parentside_neg");
875                 return;
876         }
877         neg->rk.dname_len = qinfo->qname_len;
878         neg->entry.hash = rrset_key_hash(&neg->rk);
879         newd = (struct packed_rrset_data*)regional_alloc_zero(env->scratch, 
880                 sizeof(struct packed_rrset_data) + sizeof(size_t) +
881                 sizeof(uint8_t*) + sizeof(time_t) + sizeof(uint16_t));
882         if(!newd) {
883                 log_err("out of memory in store_parentside_neg");
884                 return;
885         }
886         neg->entry.data = newd;
887         newd->ttl = ttl;
888         /* entry must have one RR, otherwise not valid in cache.
889          * put in one RR with empty rdata: those are ignored as nameserver */
890         newd->count = 1;
891         newd->rrsig_count = 0;
892         newd->trust = rrset_trust_ans_noAA;
893         newd->rr_len = (size_t*)((uint8_t*)newd +
894                 sizeof(struct packed_rrset_data));
895         newd->rr_len[0] = 0 /* zero len rdata */ + sizeof(uint16_t);
896         packed_rrset_ptr_fixup(newd);
897         newd->rr_ttl[0] = newd->ttl;
898         sldns_write_uint16(newd->rr_data[0], 0 /* zero len rdata */);
899         /* store it */
900         log_rrset_key(VERB_ALGO, "store parent-side negative", neg);
901         iter_store_parentside_rrset(env, neg);
902 }
903
904 int 
905 iter_lookup_parent_NS_from_cache(struct module_env* env, struct delegpt* dp,
906         struct regional* region, struct query_info* qinfo)
907 {
908         struct ub_packed_rrset_key* akey;
909         akey = rrset_cache_lookup(env->rrset_cache, dp->name, 
910                 dp->namelen, LDNS_RR_TYPE_NS, qinfo->qclass, 
911                 PACKED_RRSET_PARENT_SIDE, *env->now, 0);
912         if(akey) {
913                 log_rrset_key(VERB_ALGO, "found parent-side NS in cache", akey);
914                 dp->has_parent_side_NS = 1;
915                 /* and mark the new names as lame */
916                 if(!delegpt_rrset_add_ns(dp, region, akey, 1)) {
917                         lock_rw_unlock(&akey->entry.lock);
918                         return 0;
919                 }
920                 lock_rw_unlock(&akey->entry.lock);
921         }
922         return 1;
923 }
924
925 int iter_lookup_parent_glue_from_cache(struct module_env* env,
926         struct delegpt* dp, struct regional* region, struct query_info* qinfo)
927 {
928         struct ub_packed_rrset_key* akey;
929         struct delegpt_ns* ns;
930         size_t num = delegpt_count_targets(dp);
931         for(ns = dp->nslist; ns; ns = ns->next) {
932                 /* get cached parentside A */
933                 akey = rrset_cache_lookup(env->rrset_cache, ns->name, 
934                         ns->namelen, LDNS_RR_TYPE_A, qinfo->qclass, 
935                         PACKED_RRSET_PARENT_SIDE, *env->now, 0);
936                 if(akey) {
937                         log_rrset_key(VERB_ALGO, "found parent-side", akey);
938                         ns->done_pside4 = 1;
939                         /* a negative-cache-element has no addresses it adds */
940                         if(!delegpt_add_rrset_A(dp, region, akey, 1))
941                                 log_err("malloc failure in lookup_parent_glue");
942                         lock_rw_unlock(&akey->entry.lock);
943                 }
944                 /* get cached parentside AAAA */
945                 akey = rrset_cache_lookup(env->rrset_cache, ns->name, 
946                         ns->namelen, LDNS_RR_TYPE_AAAA, qinfo->qclass, 
947                         PACKED_RRSET_PARENT_SIDE, *env->now, 0);
948                 if(akey) {
949                         log_rrset_key(VERB_ALGO, "found parent-side", akey);
950                         ns->done_pside6 = 1;
951                         /* a negative-cache-element has no addresses it adds */
952                         if(!delegpt_add_rrset_AAAA(dp, region, akey, 1))
953                                 log_err("malloc failure in lookup_parent_glue");
954                         lock_rw_unlock(&akey->entry.lock);
955                 }
956         }
957         /* see if new (but lame) addresses have become available */
958         return delegpt_count_targets(dp) != num;
959 }
960
961 int 
962 iter_get_next_root(struct iter_hints* hints, struct iter_forwards* fwd, 
963         uint16_t* c)
964 {
965         uint16_t c1 = *c, c2 = *c;
966         int r1 = hints_next_root(hints, &c1);
967         int r2 = forwards_next_root(fwd, &c2);
968         if(!r1 && !r2) /* got none, end of list */
969                 return 0;
970         else if(!r1) /* got one, return that */
971                 *c = c2;
972         else if(!r2)
973                 *c = c1;
974         else if(c1 < c2) /* got both take smallest */
975                 *c = c1;
976         else    *c = c2;
977         return 1;
978 }
979
980 void
981 iter_scrub_ds(struct dns_msg* msg, struct ub_packed_rrset_key* ns, uint8_t* z)
982 {
983         /* Only the DS record for the delegation itself is expected.
984          * We allow DS for everything between the bailiwick and the 
985          * zonecut, thus DS records must be at or above the zonecut.
986          * And the DS records must be below the server authority zone.
987          * The answer section is already scrubbed. */
988         size_t i = msg->rep->an_numrrsets;
989         while(i < (msg->rep->an_numrrsets + msg->rep->ns_numrrsets)) {
990                 struct ub_packed_rrset_key* s = msg->rep->rrsets[i];
991                 if(ntohs(s->rk.type) == LDNS_RR_TYPE_DS &&
992                         (!ns || !dname_subdomain_c(ns->rk.dname, s->rk.dname)
993                         || query_dname_compare(z, s->rk.dname) == 0)) {
994                         log_nametypeclass(VERB_ALGO, "removing irrelevant DS",
995                                 s->rk.dname, ntohs(s->rk.type),
996                                 ntohs(s->rk.rrset_class));
997                         memmove(msg->rep->rrsets+i, msg->rep->rrsets+i+1,
998                                 sizeof(struct ub_packed_rrset_key*) * 
999                                 (msg->rep->rrset_count-i-1));
1000                         msg->rep->ns_numrrsets--;
1001                         msg->rep->rrset_count--;
1002                         /* stay at same i, but new record */
1003                         continue;
1004                 }
1005                 i++;
1006         }
1007 }
1008
1009 void iter_dec_attempts(struct delegpt* dp, int d)
1010 {
1011         struct delegpt_addr* a;
1012         for(a=dp->target_list; a; a = a->next_target) {
1013                 if(a->attempts >= OUTBOUND_MSG_RETRY) {
1014                         /* add back to result list */
1015                         a->next_result = dp->result_list;
1016                         dp->result_list = a;
1017                 }
1018                 if(a->attempts > d)
1019                         a->attempts -= d;
1020                 else a->attempts = 0;
1021         }
1022 }
1023
1024 void iter_merge_retry_counts(struct delegpt* dp, struct delegpt* old)
1025 {
1026         struct delegpt_addr* a, *o, *prev;
1027         for(a=dp->target_list; a; a = a->next_target) {
1028                 o = delegpt_find_addr(old, &a->addr, a->addrlen);
1029                 if(o) {
1030                         log_addr(VERB_ALGO, "copy attempt count previous dp",
1031                                 &a->addr, a->addrlen);
1032                         a->attempts = o->attempts;
1033                 }
1034         }
1035         prev = NULL;
1036         a = dp->usable_list;
1037         while(a) {
1038                 if(a->attempts >= OUTBOUND_MSG_RETRY) {
1039                         log_addr(VERB_ALGO, "remove from usable list dp",
1040                                 &a->addr, a->addrlen);
1041                         /* remove from result list */
1042                         if(prev)
1043                                 prev->next_usable = a->next_usable;
1044                         else    dp->usable_list = a->next_usable;
1045                         /* prev stays the same */
1046                         a = a->next_usable;
1047                         continue;
1048                 }
1049                 prev = a;
1050                 a = a->next_usable;
1051         }
1052 }
1053
1054 int
1055 iter_ds_toolow(struct dns_msg* msg, struct delegpt* dp)
1056 {
1057         /* if for query example.com, there is example.com SOA or a subdomain
1058          * of example.com, then we are too low and need to fetch NS. */
1059         size_t i;
1060         /* if we have a DNAME or CNAME we are probably wrong */
1061         /* if we have a qtype DS in the answer section, its fine */
1062         for(i=0; i < msg->rep->an_numrrsets; i++) {
1063                 struct ub_packed_rrset_key* s = msg->rep->rrsets[i];
1064                 if(ntohs(s->rk.type) == LDNS_RR_TYPE_DNAME ||
1065                         ntohs(s->rk.type) == LDNS_RR_TYPE_CNAME) {
1066                         /* not the right answer, maybe too low, check the
1067                          * RRSIG signer name (if there is any) for a hint
1068                          * that it is from the dp zone anyway */
1069                         uint8_t* sname;
1070                         size_t slen;
1071                         val_find_rrset_signer(s, &sname, &slen);
1072                         if(sname && query_dname_compare(dp->name, sname)==0)
1073                                 return 0; /* it is fine, from the right dp */
1074                         return 1;
1075                 }
1076                 if(ntohs(s->rk.type) == LDNS_RR_TYPE_DS)
1077                         return 0; /* fine, we have a DS record */
1078         }
1079         for(i=msg->rep->an_numrrsets;
1080                 i < msg->rep->an_numrrsets + msg->rep->ns_numrrsets; i++) {
1081                 struct ub_packed_rrset_key* s = msg->rep->rrsets[i];
1082                 if(ntohs(s->rk.type) == LDNS_RR_TYPE_SOA) {
1083                         if(dname_subdomain_c(s->rk.dname, msg->qinfo.qname))
1084                                 return 1; /* point is too low */
1085                         if(query_dname_compare(s->rk.dname, dp->name)==0)
1086                                 return 0; /* right dp */
1087                 }
1088                 if(ntohs(s->rk.type) == LDNS_RR_TYPE_NSEC ||
1089                         ntohs(s->rk.type) == LDNS_RR_TYPE_NSEC3) {
1090                         uint8_t* sname;
1091                         size_t slen;
1092                         val_find_rrset_signer(s, &sname, &slen);
1093                         if(sname && query_dname_compare(dp->name, sname)==0)
1094                                 return 0; /* it is fine, from the right dp */
1095                         return 1;
1096                 }
1097         }
1098         /* we do not know */
1099         return 1;
1100 }
1101
1102 int iter_dp_cangodown(struct query_info* qinfo, struct delegpt* dp)
1103 {
1104         /* no delegation point, do not see how we can go down,
1105          * robust check, it should really exist */
1106         if(!dp) return 0;
1107
1108         /* see if dp equals the qname, then we cannot go down further */
1109         if(query_dname_compare(qinfo->qname, dp->name) == 0)
1110                 return 0;
1111         /* if dp is one label above the name we also cannot go down further */
1112         if(dname_count_labels(qinfo->qname) == dp->namelabs+1)
1113                 return 0;
1114         return 1;
1115 }