博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
用python自建一个DNS服务器
阅读量:5240 次
发布时间:2019-06-14

本文共 3235 字,大约阅读时间需要 10 分钟。

前段日子一直在做公司的DNS调度程序,不过由于性能比较差,方案最终废弃掉了。两个半月心血,不想白白浪费掉,于是改了改,把商业秘密相关的部分去掉,变成了一个公共的DNS服务器。其实说的简单点,就是一个可以做DNS解析和应答的程序(废话,DNS服务器不就是干这个的)。功能比较简单,只做了A地址和CNAME的解析,安全性不涉及,性能也没有测试过,因为本身是个玩具,测性能没有意义(理论上如果用pypy的话,水平一般的机器也能跑到1万以上的QPS)。本程序多处借鉴了 isnowfy 同学的程序(相关博客: , github: ),在此表示敬意。
介绍一下这个程序吧。
首先,服务器的基本思想是开通一个UDP服务器接收请求,等待接收包。如果接收到的包是DNS包,那么进行DNS包的解析,在数据库中查询域名,然后构造相应的DNS应答包,最后返回。不过这种方案就是单线程的接收->解析->应答过程,效率比较低。于是我对此进行了改造:接收到的包统一放进一个缓存中,然后,开通多条协程来取数据,进行并行处理。每条协程取一个包进行解析和应答。但是根据经(xiā)验(cāi)我知道,经常访问的域名只有那么一部分,同一个域名应该返回的是同一个应答包,那么,对所有包都解析是比较白痴的。因此,我又开了另一个缓存——一个LRU缓存。关于LRU缓存的原理和用法,可以见我之前的博客   。这样,获取到一个DNS包之后,就可以先在LRU缓存中进行查找,发现查询过,就直接返回(之前记得替换ID),没有查询过再进行解析、应答和存入LRU缓存。
在整个这个过程中,我使用到了:①gevent用来开协程;②gevent.Queue用来当做接收包的缓存队列;③dnslib库用来解析DNS包;④pylru库用来做LRU缓存;⑤仅使用了一个简单的文本文件作为数据库。
 
整体程序流程如下:
# 0、启动UDP服务。
class DNSServer(object):    @staticmethod    def start():        # 缓存队列,收到的请求都先放在这里,然后从这里拿数据处理        DNSServer.deq_cache = Queue(maxsize=deq_size) if deq_size > 0 else Queue()        # LRU Cache,使用近期最少使用覆盖原则        DNSServer.dns_cache = pylru.lrucache(lru_size)         # 启动协程,循环处理缓存队列        gevent.spawn(_init_cache_queue)         # 启动DNS服务器        print 'Start DNS server at %s:%d\n' % (ip, port)        dns_server = SocketServer.UDPServer((ip, port), DNSHandler)        dns_server.serve_forever()

 

# 1、接收请求包,存入缓存队列。
class DNSHandler(SocketServer.BaseRequestHandler):    def handle(self):        # 若缓存队列没有存满,把接收到的包放进缓存队列中(存满则直接丢弃包)        if not DNSServer.deq_cache.full():            # 缓存队列保存元组:(请求包,请求地址,sock)            DNSServer.deq_cache.put((self.request[0], self.client_address, self.request[1]))

 

# 2、从缓存队列中取数据。
def _init_cache_queue():    while True:        data, addr, sock = DNSServer.deq_cache.get()        gevent.spawn(handler, data, addr, sock)

 

# 3、如果请求是DNS包,解析出其查询域名。
dns.header.set_qr(dnslib.QR.RESPONSE)qname = dns.q.qname try:    dns = dnslib.DNSRecord.parse(data)except Exception as e:    print 'Not a DNS packet.\n', e

 

# 4、判断是否存在于LRU缓存中。若存在,进行5;否则,进行6。
response = DNSServer.dns_cache.get(qname) if response:    # goto 5else:    # goto 6

 

# 5、获得LRU缓存中这条DNS的应答数据,将ID替换为本条DNS查询的ID,然后返回给客户端。
response[:2] = data[:2]sock.sendto(response, addr)

 

# 6、从数据库中查找这条DNS的应答,封装成DNS包,存入LRU缓存,然后返回给客户端。
answers, soa = query(str(qname).rstrip('.'))answer_dns = pack_dns(dns, answers, soa) DNSServer.dns_cache[qname] = answer_dns.pack()sock.sendto(answer_dns.pack(), addr)

 

反正大概过程就是酱婶的。我在“数据库”里面加了几条数据做实验(第一条是SOA) :
 
然后测试:
dig ccc.apple.tree @dns-ip -p dns-port
得到结果,成功解析,呕液~
 
有一点需要注意,作为数据库的文本文件如果是在windows下写的,拿到linux下用,可能会出现换行符恶心人的问题。需要先使用dos2unix这个工具转换一下,或者自己写代码。具体情况和解决办法见:
这里使用的csv文件仅仅是为了演示方便,
没有任何性能及安全方面的考虑。改进可以考虑:

第一、在开启服务器时将内容全部加载到内存,这样可以去掉LRUCache;

第二、使用redis或mysql之类的数据库;
第三、注意数据的验证,例如判断ip的正则,域名的内容等等。

 
其实作为一个DNS服务器来讲,这个程序欠缺的还很多,只能作为一个模型来参考,或者说一个玩具用来玩。大概就酱吧。本身用python来做DNS服务器就是个笑话。
完整的代码我放在github上面了,地址: ,有兴趣的同学可以拿去玩,有意见的同学可以提,反正我是不会改的。吾之懒癌逾重矣。
后记:(1)我司决定放弃powerdns,改投bind的怀抱了。虽然第二季度的绩效基本上就泡汤了,但是能用上bind还是极好的。毕竟bind用的人多,就算出问题也能有个地方问问题。而且,powerdns我已经快走投无路了。
(2)最近发现有网站转载了我的几篇博客,首先还是很高兴的,说明我写的东西还是比较有用的,得到了别人的认可,但是高兴之余觉得有点不对劲,转载不通知我一声,连转载的字样都没有出现,这令我有点不满。所以声明一下本人博客目前就只有一个,地址在:  以后如果开了其他博客或者微信公众号什么的,我也会在这个博客中告知。
(3)有无聊的同学可以帮我测试一下QPS,记得在数据库中添加好数据,还有用pypy来跑。测试工具queryperf的使用见: ,pypy的安装及使用见:

转载于:https://www.cnblogs.com/anpengapple/p/5664500.html

你可能感兴趣的文章
session与cookie
查看>>
算法阶段三总结
查看>>
MySQL之终端(Terminal)管理数据库、数据表、数据的基本操作
查看>>
[Lintcode]56. Two Sum
查看>>
汇编语言实验二
查看>>
Python基础练习-001-猜数字小游戏
查看>>
[转]curl的错误代码
查看>>
zbb20180913 java thread 死锁示例代码
查看>>
JS获取当前时间
查看>>
c# 正则表达式
查看>>
poj 2398 Toy Storage
查看>>
如何在手机上面安装iPA应用包
查看>>
Python基础第十二天——模块的分类、时间模块、随机数模块、摘要算法模块、os模块、时间形式轮换...
查看>>
JS总判断控件为null
查看>>
[置顶] Web开发工具
查看>>
SpringBoot自动配置的实现原理
查看>>
css实现垂直居中的几种方法
查看>>
第11章 缓存机制
查看>>
GDI与GDI+ 贴图性能对比
查看>>
线段树 (扫描线)
查看>>