网站建设的初始技术，即网站建立阶段的技术细节，必须综合考虑，因为在网站运营过程中的后续调整会涉及到太多的方面，甚至无法实施。1。站点地图设置和技术详细信息站点地图是一种通知机制，即通过创建一个文件将网站页面的URL提交到搜索引擎，并在站点地图中定义页面的URL地址、权重和更新频率。通过向搜索引擎提交站点地图，搜索引擎爬虫沿着站点地图中的链接爬行，这是站点地图的机制。通用站点地图文件创建如下。通过XML创建站点地图是最常见和最简单的方法。网站2015年1月03日04:20.08:00总是1.O网站2015年1月02日20:20:36Z每日O.81。百度地图网址2015-01-01达弗利1.02。重要字段含义changefreq：指定与页面内容对应的已提交URL的更新频率，如daily、weeidb、monthly、yearly。此参数用于设置搜索引擎中页面更改的频率，即考虑蜘蛛是否需要频繁爬行和更新页面内容。lastmod：上次修改当前页面内容的时间，这个参数可以给搜索引擎一个参照，也就是说参照的及时性。对于某些内容，特别是咨询类内容，搜索引擎将内容的更新时间作为排名的一个因素。优先级：定义页面的权重，权重越高，当前页面相对于其他页面的优先级越高。]：在描述特定的链接地址时，应当注意，链接地址中的一些特殊字符必须转换为XML（HTML）定义的转义字符，即简化版本。站点地图也可以使用记事本的方法，即直接打开记事本，然后填写URL，每个URL一行，然后直接提交到搜索引擎，这样可以达到同样的目的。三。超级区域的站点地图模式搜索引擎不限制每个站点提交的站点地图文件的数量，因此如果一个网页有许多URL条目，因此您可以提交新页面之间的差异。创建多个站点地图文件时，可以通过父站点地图文件链接多个子站点地图文件站点地图文件、子站点地图文件通过填充实际URL条目的模式来完成，从而确保每个站点地图文件的URL条目数不是特别大。建议不要使用站点地图文件的URL条目。1000多个。这里有一个例子。http://www.abc.com/sitemap1.xml.gzhttp://www.abc.com/sitemap2.xml.gzSitemapl：URLL2015-01-01每日1.0URL22015年1月1日1月1日每日1.0URL32015.01.01达弗利1.0URL420L5-01.01每日1.0提交站点地图的方法很多。通常的方法是创建一个百度或其他搜索引擎的网站管理员帐户，然后在网站管理员的背景下提交站点地图的uRL。在站长的背景中，您可以看到每个Sitemap的处理进度和数据。2。机器人文件设置和技术详细信息robots.txt文件放在网站的根目录中。主要用于通知蜘蛛网站上的爬行范围。在这个文件中，seo可以声明网站中不希望被搜索引擎包含的部分，或者指定搜索引擎只包含特定的部分。（1）频繁使用robots.txt文件*网站升级，许多网页的旧版本的网站已从新版本的网站。在这种情况下，可以通过Robots文件告诉爬行器不要爬行已经被删除的页面。网站中有许多重复的内容，如动态页面和静态页面。这些页面是完全重复的内容。为了解决复制问题，蜘蛛可以被禁止抓取机器人文件中的动态页面。网站中的某些内容不容易发布，但需要内部访问。在这种情况下，你可以告诉蜘蛛不要抓机器人。（2）机器人档案基础编写用户代理：允许：/cgi.bin/see允许：/tMP/HI允许：/~joe/看禁止：/cgi.bin/不允许：/T.MP/不允许：00E允许是一个允许蜘蛛爬行的页面，而不允许后接不允许蜘蛛访问的路径和文件。三。机器人的例子（1）只允许访问目录中带有后缀的文件。此处只允许使用“$”符号，如下所示。用户代理：*允许：ASP$不允许：（2）禁止对网站中的所有动态页面进行索引。这是限制访问带“？”地址，例如索引。ASP？ID＝1。用户代理：*不允许：/*？*（3）使用“*”限制对带有后缀的域名的访问。这将禁止访问管理目录中的所有HTM文件，如下所示。用户代理：*禁用：/admin/*.htm
