中国地理区域IP库整理

一、前言

此文应朋友需求进行整理，内容为中国行政地理区域IP库整理第一步：根据apnic分配给中国的IPv4地址，进行whois信息筛选划分出ISP、及地域IP库，以及生成脚本。网上之前也有类似处理IP库的脚本，思路差不多，本文较深入根据IP划分成行政区域、运营商IP库及生成bind view 所需的acl ip库文件，第一步实现基础IP库还不算很准确，大家可以根据需求在修改定制。

第二步：使用whois3根据mnt-by关键字反向查询运营商IP段及运营商路由表，将第一步与第二步的IP库进行对比将差异的IP段加入完善IP库

第三步：利用生产中的DNS查询日志获取IP及view定义，使用第三方IP库查询校验结果与分配的view进行对比，如果匹配不做调整，如果不匹配，再进行人工使用多个第三方IP库查询核对，如果的确不匹配调整对应acl ip库文件。

一点整理思路，如此IP库相对比较完整、精确。有兴趣的同学可以一起进行研究，完善，交流，今天将第一步实现的脚本及简要说明。

二、ISP英文简称说明

1、cnc 联通

2、ctc 电信

3、cmn 移动

4、ctt 铁通

5、cer 教育网

6、other 其他ISP

三、脚本修改完善说明

1、对ISP及涉及文件按照规范命名

2、增加中国地理区域划分脚本，并自动生成view所需acl ip库文件

2、对whois出的netname进行筛选并找出主要ISP的名称，详见netname_isp文件

3、根据中国地理区域划分，将ISP划分成不同的区域

4、202.97.128.0/18这个IP段是划分给中国后的掩码，whois时得到的adress是“address: 6 Cordelia Street”，划区域时取关键字Cordelia，这个网段大部分在山西太原联通，所以划入华北联通

5、因为whois信息筛选的address一般有三段，大多数分配给地方的IP，第一段地址都含有Beijing，所以进行区域IP筛选时，先筛选地方，最后在筛选含有北京的华北地区。

四、文件说明

1、ip_apnic：为Apanic提供的亚太地区IPv4，IPv6，AS号分配的信息表

2、cn.net：apnic分配给中国的IPv4 IP段

3、ISP IP库文件为ISP名称，例如“ctc”即为为联通的IP库文件

4、ISP IP库及所属地址描述文件，例如“cnc.address ”

5、筛选后的ISP区域IP库文件，例如“cnc_zhb”即运营商_地理区域

6、acl IP库文件, acl_cnc_zdb格式为acl_运营商_区域命名（网通_中国_东北地区）

五、脚本说明

1、whois_ip.sh 为获取中国IPv4地址段及筛选ISP脚本，这个网上有，我根据需求稍微修改了一下，内容如下

<code>FILE=.</code><code>/ip_apnic</code>

<code>#rm -f cn.net UNICOM CHINANET CMNET CRTC CERNET OTHER</code>

<code>for</code> <code>ipfile </code><code>in</code> <code>cn.net cnc ctt cmn ctt cer other</code>

<code>mv</code> <code>$ipfile $ipfile-$(</code><code>date</code> <code>"+%F-%H:%M"</code><code>)</code>

<code>wget http:</code><code>//ftp</code><code>.apnic.net</code><code>/apnic/stats/apnic/delegated-apnic-latest</code> <code>-O $FILE</code>

<code>define log2(x) {</code>

<code>if</code> <code>(x<=1) </code><code>return</code> <code>(pow);</code>

<code>return</code><code>(log2(x</code><code>/2</code><code>));</code>

<code>#zone=`whois [email protected] | sed -e '/./{H;$!d;}' -e 'x;/netnum/!d' |grep ^netname | sed -e 's/.*:$.*$/\1/g'`</code>

<code>NETNAME=`whois [email protected] | </code><code>sed</code> <code>-e </code><code>'/./{H;$!d;}'</code> <code>-e </code><code>'x;/netnum/!d'</code> <code>|</code><code>grep</code> <code>^netname | </code><code>sed</code> <code>-e </code><code>'s/.*: $.*$/\1/g'</code><code>| </code><code>sed</code> <code>-e </code><code>'s/-.*//g'</code><code>|</code><code>sed</code> <code>'s: ::g'</code><code>`</code>

<code>echo</code> <code>"$NETNAME"</code> <code>>> netname</code>

<code>case</code> <code>$NETNAME </code><code>in</code>

<code>CNC|CNCGROUP|UNICOM|Chinaunicom)</code>

<code>CHINANET|CHINATELECOM)</code>

<code>CMNET)</code>

<code>*CERNET*)</code>

<code>echo</code> <code>"$ip/$mask"</code> <code>>> other</code>

<code>#echo "$ip/$mask $zone" >> other-zone</code>

2、gen_china_area.sh 根据中国地理区域划分生成的区域IP库，并生成view所需的acl ip库文件

<code>#update date:20130307</code>

<code>#generate china area ip</code>

<code>#rm -f $FILE.address</code>

<code>while</code> <code>read</code> <code>LINE;</code><code>do</code>

<code>echo</code> <code>-n </code><code>"$LINE @ "</code> <code>>> $FILE.address</code>

<code>whois $LINE @whois.apnic.net |</code><code>egrep</code> <code>"address|descr"</code><code>|</code><code>xargs</code> <code>echo</code> <code>>> $FILE.address</code>

<code>echo</code> <code>"-----------------"</code> <code>>> $FILE.address</code>

<code>sleep</code> <code>1</code>

<code>mv</code> <code>addtmp $FILE.address</code>

<code>sed</code> <code>-r -i </code><code>'/-----/d'</code> <code>$FILE.address</code>

<code>#cat $FILE.address >> cnc_zhb</code>

<code>sort</code> <code>-n -t. -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zhz | </code><code>awk</code> <code>'BEGIN{print "acl acl_cnc_zhz '</code><code>{</code><code>' "}{print $1";"}END{print "'</code><code>}</code><code>';"}'</code> <code>> acl_cnc_zhz</code>

<code>sort</code> <code>-n -t. -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zxn| </code><code>awk</code> <code>'BEGIN{print "acl acl_cnc_zxn '</code><code>{</code><code>' "}{print $1";"}END{print "'</code><code>}</code><code>';"}'</code> <code>>acl_cnc_zxn</code>

<code>sort</code> <code>-n -t. -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zhd | </code><code>awk</code> <code>'BEGIN{print "acl acl_cnc_zhd '</code><code>{</code><code>' "}{print $1";"}END{print "'</code><code>}</code><code>';"}'</code> <code>>acl_cnc_zhd</code>

<code>sort</code> <code>-n -t. -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zhn | </code><code>awk</code> <code>'BEGIN{print "acl acl_cnc_zhn '</code><code>{</code><code>' "}{print $1";"}END{print "'</code><code>}</code><code>';"}'</code> <code>>acl_cnc_zhn</code>

<code>sort</code> <code>-n -t. -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zdb | </code><code>awk</code> <code>'BEGIN{print "acl acl_cnc_zdb '</code><code>{</code><code>' "}{print $1";"}END{print "'</code><code>}</code><code>';"}'</code> <code>>acl_cnc_zdb</code>

<code>sort</code> <code>-n -t. -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zxb | </code><code>awk</code> <code>'BEGIN{print "acl acl_cnc_zxb '</code><code>{</code><code>' "}{print $1";"}END{print "'</code><code>}</code><code>';"}'</code> <code>>acl_cnc_zxb</code>

<code>sort</code> <code>-n -t. -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zhb | </code><code>awk</code> <code>'BEGIN{print "acl acl_cnc_zhb '</code><code>{</code><code>' "}{print $1";"}END{print "'</code><code>}</code><code>';"}'</code> <code>>acl_cnc_zhb</code>

<code>#其他五个运营商函数定义类似，详见脚本内容，脚本请下载http://down.51cto.com/data/873530</code>

<code>gen_other</code>

3、whois_mb.sh 获取mnt-by关键字，为第二步处理做准备

4、主要主要根据中共区域划分生成的acl ip库文件，如果你根据运营商划分直接对筛选的ISP IP库文件（cnc ctt cer……）进行处理生成acl ip库文件即可，一般小企业DNS定义三个view（cnc，ctt，other）即可。

自动生成的acl ip文件内容

此文思路基本可以满足中小企业使用，还请大家指点、沟通，一起学习。

本文转自pandazhai 51CTO博客，原文链接:http://blog.51cto.com/dreamway/1250774

中国地理区域IP库整理

继续阅读

RMI vs Socket 比较

Rmi和Socket比较

RMI 和 Socket 区别简介

网络连接错误代码大全及解决方法

HTTP 错误 403.9 - 禁止访问：连接的用户过多 XP IIS服务器连接数的修改

TCP和UDP传输的深入浅析,MSN和QQ文件传输速度解析

UECapabilityInformation中bandEUTRA 64的含义

网络通信原理OSI参考模型TCP/IP协议簇数值转换IP地址分类子网掩码

QQ for Linux发布带来的感想。

事务（脏读，不可重复读，虚读）

华为交换机与中兴交换机结合配置MSTP实例

Socket套接字类 AS3

2.6内核netfilter包截获

网络协议之网页数据包到服务器的传输过程

图解HTTP八：确认访问用户身份的认证

在一个非套接字上尝试了一个操作