Обновлены мета-теги для страниц профиля и оплаты, заменены статические мета-теги на компонент MetaTags для динамического получения данных. Это улучшает SEO и упрощает управление мета-тегами на этих страницах.

src/pages/robots.txt.ts

@@ -0,0 +1,36 @@
+import { NextApiRequest, NextApiResponse } from 'next'
+
+export default function handler(req: NextApiRequest, res: NextApiResponse) {
+  const robotsTxt = `User-agent: *
+Allow: /
+
+# Запрещаем индексацию служебных страниц
+Disallow: /api/
+Disallow: /admin/
+Disallow: /dashboard/
+Disallow: /_next/
+Disallow: /static/
+Disallow: /test-auth/
+
+# Запрещаем индексацию страниц с параметрами
+Disallow: /*?*
+
+# Разрешаем основные страницы
+Allow: /
+Allow: /catalog
+Allow: /about
+Allow: /contacts
+Allow: /news
+Allow: /brands
+Allow: /delivery
+Allow: /payment
+Allow: /wholesale
+Allow: /vin
+
+# Указываем карту сайта
+Sitemap: https://protekauto.ru/sitemap.xml
+`
+
+  res.setHeader('Content-Type', 'text/plain')
+  res.status(200).send(robotsTxt)
+}