使用场景:站群有100个小网站,在网站内容模板完全弄规矩前,可上线调试,但绝不允许此时蜘蛛来抓取这些网站的页面,因此给每个小网站根目录下制作一个robots.txt,内容:
User-agent: *
Disallow: /
如果用FTP上传就要上传100次,好在站群都在同一台服务器上,每个小网站分配了一个指定的目录,因此可以用linux命令,将这个文件复制到每个小网站根目录下。
cp -r /a/robots.txt /b/robots.txt
这是把A目录下robots.txt文件复制到B目录下的命令,如果我要把把A目录下robots.txt文件复制到B C D E F等等指定的目录下,这个命令怎么写呢?百度了半天没找到。
因此新建了一个文件robots.sh,放到root下,里面写到
cp -r /a/robots.txt /b/
cp -r /a/robots.txt /c/
cp -r /a/robots.txt /d/
cp -r /a/robots.txt /e/
......
以上内容注意路径,然后ssh登陆服务器执行命令:
./root/robots.sh