如何用shell命令从域名中提取主域名？

在日常的系统管理、日志分析或网络自动化任务中，我们经常需要从一串完整的域名（Fully Qualified Domain Name, FQDN）中提取出其“主域名”，从 www.example.com 中提取 example.com，或从 blog.news.co.uk 中提取 news.co.uk，这个过程看似简单，但由于顶级域名（TLD）的复杂性，一个鲁棒的解决方案需要考虑多种情况，本文将详细介绍在Shell环境下提取主域名的几种方法，从简单的字符串处理到使用专业工具，并分析各自的优劣。

什么是主域名？

在深入探讨之前,我们先明确“主域名”的定义，主域名通常指的是可注册的域名部分，它由一个域名标签和一个公共后缀组成，公共后缀不仅仅包括 .com、.org、.net 等传统顶级域名，还包括像 .co.uk、.com.cn、.gov.au 这样的国家代码顶级域名下的二级域名，以及新通用顶级域名如 .github.io，简单地用点号分割域名并取最后两部分在很多情况下是错误的。

使用基础文本处理工具（适用于简单场景）

对于结构非常固定的域名,例如只处理 .com、.net、.org 等顶级域名，我们可以使用 cut、awk 等基础工具。

使用 cut 命令

cut 命令可以按指定分隔符切割字符串，我们可以用点号 作为分隔符。

# 假设我们处理的是 www.example.com
domain="www.example.com"
echo $domain | cut -d '.' -f 2,3
# 输出: example.com

这个命令的逻辑是：以 为分隔符，提取第2和第3个字段。

局限性： 这种方法非常脆弱，如果域名是 sub.domain.co.uk，它将错误地输出 domain.co，而不是我们期望的 domain.co.uk。

使用 awk 命令

awk 提供了更强大的字段处理能力，但对于这个问题，其核心思路与 cut 类似。

domain="www.example.com"
echo $domain | awk -F '.' '{print $(NF-1)"."$NF}'
# 输出: example.com

这里,-F '.' 设置字段分隔符为点号，NF 是 awk 的内置变量，代表字段总数。$(NF-1) 和 $NF 分别代表倒数第二个和最后一个字段。

局限性： 与 cut 一样，这种方法无法正确处理多级公共后缀。

使用专业工具 tldextract（推荐的最佳实践）

为了准确、鲁棒地提取主域名，最佳方案是使用能够识别公共后缀列表（Public Suffix List, PSL）的工具。tldextract 就是这样一款优秀的工具，它是一个Python库，同时也提供了命令行接口。

PSL是由Mozilla维护的一个公共后缀列表,它包含了所有已知的公共后缀，是处理此类问题的黄金标准。

安装 tldextract

你需要确保系统已安装Python和pip,然后通过pip安装：

pip install tldextract

使用 tldextract

tldextract 的使用非常直观，它会将一个完整的域名分解为三个部分：子域名、主域名和后缀。

# 示例1：简单域名
tldextract "www.example.com"
# 输出:
# example.com
# www
# 示例2：复杂公共后缀
tldextract "blog.news.co.uk"
# 输出:
# news.co.uk
# blog
# 示例3：特殊后缀
tldextract "user.github.io"
# 输出:
# github.io
# user

tldextract 默认会输出三行，分别是主域名+后缀、子域名，为了得到我们想要的“主域名”（即主域名+后缀），我们可以这样组合命令：

domain="blog.news.co.uk"
tldextract $domain | head -n 1
# 输出: news.co.uk

或者,如果需要更精确的控制，可以获取其JSON格式的输出：

tldextract --json "blog.news.co.uk" | jq -r '.domain + "." .suffix'
# 输出: news.co.uk

（这里假设安装了 jq 来解析JSON）

使用纯Bash实现（无外部依赖）

在某些受限环境中,可能无法安装任何外部工具，我们可以尝试用纯Bash实现，但必须承认，一个完美的纯Bash实现几乎是不可能的，因为它无法动态获取PSL，以下是一个基于假设的函数，它假设后缀只有一级或两级。

function get_main_domain() {
    local domain="$1"
    # 移除端口号（如果存在）
    domain=$(echo $domain | cut -d ':' -f 1)
    # 按点号分割成数组
    IFS='.' read -ra parts <<< "$domain"
    local len=${#parts[@]}
    if [ $len -le 2 ]; then
        echo "$domain"
    elif [ $len -eq 3 ]; then
        # 简单判断，如果最后一个部分是两个字母（国家代码），则取后三部分
        if [[ ${parts[-1]} =~ ^[a-z]{2}$ ]]; then
            echo "${parts[-3]}.${parts[-2]}.${parts[-1]}"
        else
            echo "${parts[-2]}.${parts[-1]}"
        fi
    else
        # 对于更长的域名，这个逻辑就不准确了
        echo "${parts[-2]}.${parts[-1]}"
    fi
}
get_main_domain "www.example.com"     # 输出: example.com
get_main_domain "www.domain.co.uk"    # 输出: domain.co.uk
get_main_domain "sub.www.domain.com"  # 输出: domain.com (不准确，应为www.domain.com)

警告： 此方法仅作为演示，其逻辑非常简陋，不适用于生产环境，它无法处理 .github.io 或 .ac.za 等复杂情况。

方法对比

下表小编总结了上述几种方法的优缺点：

虽然使用基础的Shell工具可以解决部分简单问题,但为了确保在各种复杂域名下的准确性和可靠性，强烈推荐使用 tldextract，它通过维护和引用公共后缀列表，为我们提供了一个标准、权威且易于使用的解决方案，是处理域名提取任务的最佳选择。

相关问答FAQs

Q1: 如果我的服务器环境是隔离的，无法连接互联网安装 tldextract，我该怎么办？

A1: 在完全隔离的环境中，你无法使用 pip 安装，一个可行的替代方案是手动下载 tldextract 及其依赖（特别是PSL数据文件），然后将其打包到你的应用镜像或部署包中。tldextract 允许你通过环境变量 TLDEXTRACT_CACHE_FILE 指定一个本地的PSL缓存文件路径，你可以先在有网络的环境中运行一次 tldextract，它会下载并缓存PSL文件（通常在 ~/.cache/tldextract/ 目录下），然后将这个缓存目录连同你的脚本一起复制到隔离环境中，这样，tldextract 就能使用本地的缓存文件正常工作，而无需联网。

Q2: tldextract 和直接用正则表达式（如 sed）处理有什么本质区别？

A2: 本质区别在于“知识库”，正则表达式是基于模式匹配的，它本身“不知道”哪些字符串是公共后缀，你可以写一个非常复杂的正则表达式来匹配已知的公共后缀，但这个列表是不断变化的，你需要手动维护它，这既繁琐又容易出错，而 tldextract 的核心优势在于它依赖一个由社区维护的、权威的公共后缀列表（PSL），它不是在“猜测”后缀是什么，而是在“查询”一个已知的数据库。tldextract 的准确性和可维护性远超任何基于静态正则表达式的解决方案，能够正确处理新旧、各种类型的公共后缀。