| 機器人排除協定 | REP | robots.txt | google

Google將推動REP成為正式標準，開源robots.txt解析器

Google要讓機器人排除協定REP發展成為官方的網路標準，同時釋出自家robots.txt解析器，協助開發人員打造客製化的解析工具

2019-07-03