让大模型「看见」你的站点：robots、llms.txt 与 JSON-LD 实体消歧的工程实践

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /*?s=

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Bytespider
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://www.example.com/sitemap.xml

curl -s -o /dev/null -w "%{http_code}\n" \
  -A "Mozilla/5.0 (compatible; GPTBot/1.0)" \
  https://www.example.com/

curl -s https://www.example.com/ | grep -c "你的正文关键词"

# 示例科技有限公司

> 20XX 年成立于某市，做某类 To B 服务，
> 主要交付形态为某类系统与某类咨询。

## 公司事实
- [公司介绍](https://www.example.com/about.html): 成立时间、注册地址、团队
- [联系我们](https://www.example.com/contact.html): 联系方式与办公地址

## 产品与服务
- [服务一](https://www.example.com/service-a.html): 用一句话说明交付什么
- [服务二](https://www.example.com/service-b.html): 用一句话说明交付什么
- [产品一](https://www.example.com/product-a.html): 用一句话说明解决什么问题

## 能力边界
- 不承诺买断模型推荐位或固定排名
- 不做超出自身资质范围的业务

{
  "@context": "https://schema.org",
  "@type": "Organization",
  "@id": "https://www.example.com/#organization",
  "name": "示例科技有限公司",
  "legalName": "示例科技有限公司",
  "alternateName": "示例科技",
  "url": "https://www.example.com/",
  "taxID": "91000000XXXXXXXXXX",
  "foundingDate": "20XX-01-01",
  "telephone": "+86-000-00000000",
  "email": "contact@example.com",
  "address": {
    "@type": "PostalAddress",
    "streetAddress": "某市某区某路 100 号",
    "addressLocality": "某市",
    "addressRegion": "某省",
    "addressCountry": "CN"
  },
  "sameAs": [
    "https://www.qcc.com/firm_XXXX.html",
    "https://www.tianyancha.com/company/XXXX",
    "https://www.zhihu.com/org/XXXX",
    "https://github.com/XXXX"
  ]
}

# 1. AI 爬虫是否真的能拿到 200
curl -s -o /dev/null -w "%{http_code}\n" \
  -A "Mozilla/5.0 (compatible; GPTBot/1.0)" https://www.example.com/

# 2. 正文是否在初始 HTML 里
curl -s https://www.example.com/ | grep -c "正文关键词"

# 3. llms.txt 是否可访问
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  https://www.example.com/llms.txt

# 4. JSON-LD 是否能被解析（需要 jq）
curl -s https://www.example.com/ \
  | grep -o '<script type="application/ld+json">[^<]*' \
  | sed 's/<script type="application\/ld+json">//' \
  | jq -r '.["@type"] // .["@graph"][]?["@type"]'

[ ] robots.txt 显式放行 6 类 AI 爬虫
[ ] 用真实 UA 实测返回 200，不是只看 robots 文本
[ ] 正文在初始 HTML 里（JS 渲染站点已做 SSR/预渲染）
[ ] 每个 H2 是完整问句
[ ] llms.txt 存在，H1 为公司全称，含边界段落
[ ] JSON-LD 含 legalName / taxID / sameAs
[ ] sameAs 至少 5 条第三方，不含自域
[ ] 老域名已 301，站长平台已提交改版
[ ] canonical 全站指向同一 URL
[ ] 企业信息库官网字段已同步