动态生成robots.txt和sitemap.xml可实时响应内容变化。通过路由定义，robots.txt按环境返回不同策略，生产环境允许爬虫并指定站点地图，其他环境禁止抓取；sitemap.xml从数据库读取最新文章与静态页面，结合缓存机制提升性能，确保搜索引擎及时索引更新内容。
在Laravel项目中，静态的robots.txt和sitemap.xml无法满足内容频繁更新的需求。比如新增文章、删除页面后，搜索引擎应尽快感知变化。因此，动态生成robots.txt和sitemap.xml是更优方案。以下是实现方法。
将robots.txt由静态文件转为路由响应，可基于环境或权限控制输出内容。
在 routes/web.php 中添加：
Route::get('robots.txt', function () {
$content = "User-agent: *\n";
if (app()->environment('production')) {
$content .= "Sitemap: " . url('sitemap.xml') . "\n";
$content .= "Disallow:\n";
} else {
$content .= "Disallow: /\n"; // 非生产环境禁止爬虫
}
return response($content)->header('Content-Type', 'text/plain');
});
这样，生产环境允许抓取并指定站点地图地址，其他环境则屏蔽所有爬虫，防止收录测试数据。
站点地图需包含最新页面链接及更新时间。以文章模型为例，从数据库读取数据实时生成XML。
在路由中定义：
Route::get('sitemap.xml', function () {
$posts = App\Models\Post::select('id', 'slug', 'updated_at')->where('published', true)->get();
$pages = ['/', '/about', '/contact']; // 静态页面
$now = now()->toAtomString();
$xml = '';
$xml .= '';
// 添加静态页面
foreach ($pages as $page) {
$xml .= '';
$xml .= '' . url($page) . ' ';
$xml .= '' . $now . ' ';
$xml .= 'weekly ';
$xml .= '0.8 ';
$xml .= ' ';
}
// 添加文章
foreach ($posts as $post) {
$xml .= '';
$xml .= '' . url("/post/{$post->slug}") . ' ';
$xml .= '' . $post->updated_at->toAtomString() . ' ';
$xml .= 'daily ';
$xml .= '0.9 ';
$xml .= ' ';
}
$xml .= ' ';
return response($xml)->header('Content-Type', 'application/xml');
});
此方式确保每次请求获取最新的URL列表，适合内容更新频繁的网站。
建议频繁查询数据库会影响性能，建议对sitemap.xml做缓存处理。
使用 Laravel 的缓存机制：
use Illuminate\Support\Facades\Cache;
Route::get('sitemap.xml', function () {
$xml = Cache::remember('sitemap.xml', 3600, function () { // 缓存1小时
// 上述生成逻辑...
return $xml;
});
return response($xml)->header('Content-Type', 'application/xml');
});
也可结合队列或命令，在内容变更时主动刷新缓存，提升访问速度。
基本上就这些。通过路由控制输出，既能灵活定制内容，又能适配不同环境需求，比静态文件更实用。注意清除 public 目录下原有的 robots.txt 和 sitemap.xml 文件，避免优先被服务器返回。
服务热线