robots.txt 文件可作为网络机器人的指南，指明哪些网页适合被索引，哪些应被排除。该文件对于搜索引擎优化至关重要，因为它指导机器人如何与网站内容进行交互。

Framer 会自动生成一个 robots.txt 文件。要查看此文件，只需在网址的域名末尾添加 /robots.txt，例如 mydomain.com/robots.txt。这有助于搜索引擎爬虫高效地浏览和索引您网站上的相关内容。