Ba cơ chế khác nhau cần phân biệt. Cách kiểm tra canonical, noindex và robots.txt đúng nguyên tắc, tránh nhầm lẫn giữa chặn thu thập và không lập chỉ mục.
Canonical là tín hiệu gợi ý URL đại diện
Thẻ rel=canonical giúp đề xuất phiên bản URL ưu tiên khi nội dung tương đương hoặc trùng lặp. Google vẫn có thể chọn một URL canonical khác. Một thẻ tồn tại chưa đủ để coi là hợp lệ: cần kiểm tra URL đích, chuyển hướng và khả năng truy cập. Không phải trang nào cũng buộc có canonical.
Robots.txt điều khiển việc thu thập
Tệp robots.txt đặt ở gốc hostname chứa các quy tắc cho crawler. Không có robots.txt thường không có nghĩa là lỗi SEO. Chặn crawler bằng robots.txt cũng không phải cách đáng tin cậy để xóa URL khỏi chỉ mục. Hãy đọc quy tắc theo từng user-agent, đặc biệt Googlebot.
Noindex quyết định mong muốn lập chỉ mục
Meta robots và X-Robots-Tag có thể mang chỉ thị noindex, yêu cầu công cụ tìm kiếm không lập chỉ mục. Nếu bị robots.txt chặn hoàn toàn, Google có thể không đọc được noindex nằm bên trong trang. Vì vậy thứ tự và mục đích dùng từng cơ chế rất quan trọng.
Những lỗi dễ bị công cụ audit đánh giá sai
Nếu sitemap nằm ở tên khác sitemap.xml, trang không tự động bị lỗi. Nếu robots.txt khai báo sitemap ở hostname khác, cần kiểm tra tính hợp lệ và quyền sở hữu trước khi cảnh báo. Không được đánh đồng mọi trường hợp URL canonical khác URL hiện tại là sai.
Quy trình kiểm tra kỹ thuật an toàn
Bắt đầu bằng HTTP status và final URL, sau đó đọc meta robots, X-Robots-Tag, canonical, robots.txt, sitemap và trang đích. Lưu bằng chứng HTTP và thời gian kiểm tra. Khi chưa kiểm tra được URL đích, dùng trạng thái chưa xác định thay vì phán đoán.
Tài liệu biên soạn cho SEO Pro · Cập nhật 24/10/2026