* 由于大部分搜索引擎 Spider 查看网站的方式与文本浏览器一样,所以可使用诸如 Lynx 的文本浏览器来检查您的网站。如果因采用了 Javascript、Cookie、Session ID's、frames(框架)、DHTML 或 Flash 等复杂技术,而导致在文本浏览器中无法看到网站的所有网页,则搜索引擎 Spider 在收录您的网站时可能会遇到麻烦;
* 允许搜索漫游器 (search bots) 收录您的网站,同时不采用 Session ID 或其它参数来追踪它的浏览路径。这些跟踪技术对了解个别用户的行为很有用,但由于漫游器的访问模式完全不同,采用这些技术则可能会导致对网站的检索不完整,因为漫游器可能无法排除那些看上去不同但实际却指向同一个网页的网址;
* 确保您的网络服务器支持 If-Modified-Since HTTP 标题。通过该功能 Google 可以知道自上次收录以来您的网站内容是否有变化,这样可以节省您的带宽和开销;
* 使用网络服务器上的 robots.txt 文件。该文件会告诉 Crawler 可以收取哪些目录。请确保该文件内容的更新,以免 Googlebot Crawler 的收录意外中断。