Không khuyến khích các công cụ tìm kiếm lập chỉ mục trang web này: Ý nghĩa và cách sử dụng nó

Nếu bạn đã xem qua phần phụ trợ của WordPress, bạn có thể đã nhận thấy một cài đặt có nội dung “Không khuyến khích các công cụ tìm kiếm lập chỉ mục trang web này” và tự hỏi nó có nghĩa là gì.

Hoặc có thể bạn đang tìm cách ẩn trang web của mình khỏi những khách truy cập không mong muốn và tự hỏi liệu một hộp kiểm nhỏ này có đủ để giữ nội dung của bạn ở chế độ riêng tư một cách an toàn hay không.

Tùy chọn này có nghĩa là gì? Chính xác thì nó làm gì với trang web của bạn? Và tại sao bạn nên tránh dựa vào nó – ngay cả khi bạn đang cố giấu nội dung của mình?

Dưới đây là câu trả lời và một số phương pháp khác để khử chỉ mục trang web của bạn và chặn quyền truy cập vào các trang nhất định.

Xem Hướng dẫn bằng Video của Chúng tôi để Sử dụng Tùy chọn ‘Không khuyến khích Công cụ Tìm kiếm Lập chỉ mục Trang web này’ trong WordPress

“Làm nản lòng các Công cụ Tìm kiếm Lập chỉ mục Trang web này” có nghĩa là gì?

Bạn đã bao giờ tự hỏi làm thế nào các công cụ tìm kiếm lập chỉ mục trang web của bạn và đánh giá SEO của bạn? Họ làm điều đó với một chương trình tự động gọi là con nhện, còn được gọi là robot hoặc trình thu thập thông tin. Spiders “thu thập dữ liệu” trên web, truy cập các trang web và ghi lại tất cả nội dung của bạn.

Google sử dụng chúng để quyết định cách xếp hạng và đặt trang web của bạn trong kết quả tìm kiếm, lấy các hiệu ứng mờ từ các bài viết của bạn cho trang kết quả tìm kiếm và kéo hình ảnh của bạn vào Google Hình ảnh.

Khi bạn đánh dấu chọn “Không khuyến khích các công cụ tìm kiếm lập chỉ mục trang web này”, WordPress sẽ sửa đổi tệp robots.txt của bạn (một tệp cung cấp hướng dẫn cho các trình thu thập thông tin về cách thu thập dữ liệu trang web của bạn). Nó cũng có thể thêm thẻ meta vào tiêu đề trang web của bạn để thông báo cho Google và các công cụ tìm kiếm khác không lập chỉ mục bất kỳ nội dung nào trên toàn bộ trang web của bạn.

Từ khóa ở đây là “không khuyến khích”: Các công cụ tìm kiếm không có nghĩa vụ phải thực hiện yêu cầu này, đặc biệt là các công cụ tìm kiếm không sử dụng cú pháp robots.txt chuẩn như Google.

Trình thu thập dữ liệu web sẽ vẫn có thể tìm thấy trang web của bạn, nhưng trình thu thập thông tin được định cấu hình thích hợp sẽ đọc tệp robots.txt của bạn và rời đi mà không lập chỉ mục nội dung hoặc hiển thị nội dung đó trong kết quả tìm kiếm của chúng.

Trước đây, tùy chọn này trong WordPress không ngăn Google hiển thị trang web của bạn trong kết quả tìm kiếm mà chỉ lập chỉ mục nội dung của nó. Bạn vẫn có thể thấy các trang của mình xuất hiện trong kết quả tìm kiếm với lỗi như “Không có thông tin nào cho trang này” hoặc “Không có mô tả cho kết quả này do tệp robots.txt của trang web.”

Trong khi Google không lập chỉ mục trang, họ cũng không ẩn trang hoàn toàn. Sự bất thường này dẫn đến việc mọi người có thể truy cập các trang mà họ không muốn xem. Nhờ có WordPress 5.3, giờ đây nó hoạt động bình thường, chặn cả lập chỉ mục và danh sách trang web.

Bạn có thể tưởng tượng điều này sẽ phá hủy SEO của bạn như thế nào nếu bạn vô tình kích hoạt nó. Điều quan trọng là chỉ sử dụng tùy chọn này nếu bạn thực sự không muốn bất kỳ ai xem nội dung của mình – và thậm chí sau đó, nó có thể không phải là thước đo duy nhất mà bạn muốn thực hiện.

Tại sao bạn có thể không muốn lập chỉ mục trang web của mình

Các trang web được tạo ra để mọi người nhìn thấy. Bạn muốn người dùng đọc bài viết của bạn, mua sản phẩm của bạn, tiêu thụ nội dung của bạn – tại sao bạn lại cố tình chặn các công cụ tìm kiếm?

Có một số lý do tại sao bạn có thể muốn ẩn một phần hoặc tất cả trang web của mình.

• Trang web của bạn đang trong quá trình phát triển và chưa sẵn sàng để công chúng nhìn thấy.
• Bạn đang sử dụng WordPress làm hệ thống quản lý nội dung nhưng muốn giữ nội dung đã nói ở chế độ riêng tư.
• Bạn đang cố giấu thông tin nhạy cảm.
• Bạn muốn trang web của mình chỉ có thể truy cập được đối với một số ít người có liên kết hoặc chỉ thông qua lời mời, không phải thông qua các trang tìm kiếm công khai.
• Bạn muốn đặt một số nội dung sau tường phí hoặc cổng khác, chẳng hạn như các bài báo dành riêng cho bản tin.
• Bạn muốn cắt giảm lưu lượng truy cập vào các bài viết cũ, lỗi thời.
• Bạn muốn tránh bị phạt SEO trên các trang thử nghiệm hoặc nội dung trùng lặp.

Có những giải pháp tốt hơn cho một số vấn đề này – sử dụng máy chủ phát triển ngoại tuyến thích hợp, đặt bài viết của bạn thành riêng tư hoặc đặt chúng sau mật khẩu – nhưng có những lý do chính đáng khiến bạn có thể muốn hủy lập chỉ mục một phần hoặc toàn bộ trang web của mình.

Cách kiểm tra xem trang web của bạn có làm nản lòng các công cụ tìm kiếm hay không

Mặc dù bạn có thể có lý do chính đáng để hủy lập chỉ mục trang web của mình, nhưng có thể là một cú sốc khủng khiếp khi biết rằng bạn đã bật cài đặt này mà không có ý nghĩa hoặc vô tình bật cài đặt này. Nếu bạn không nhận được lưu lượng truy cập và nghi ngờ trang web của mình không được lập chỉ mục, đây là cách xác nhận.

Một cách đơn giản là chọn hộp Xem nhanh nằm trên màn hình chính của bảng điều khiển quản trị của bạn. Chỉ cần đăng nhập vào chương trình phụ trợ của bạn và chọn hộp. Nếu bạn nhìn thấy “Công cụ tìm kiếm không được khuyến khích” thì bạn biết mình đã kích hoạt cài đặt đó.

Một cách đáng tin cậy hơn nữa là kiểm tra tệp robots.txt của bạn. Bạn có thể dễ dàng xác minh điều này trong trình duyệt mà không cần đăng nhập vào trang web của mình.

Để kiểm tra robots.txt , tất cả những gì bạn cần làm là thêm /robots.txt vào cuối URL trang web của bạn. Ví dụ: https://kinsta.com/robots.txt

Nếu bạn thấy Disallow: / thì toàn bộ trang web của bạn đang bị chặn lập chỉ mục.

Nếu bạn thấy Disallow: theo sau là một đường dẫn URL, như Disallow: /wp-admin/ , điều đó có nghĩa là bất kỳ URL nào có đường dẫn /wp-admin/ đang bị chặn. Cấu trúc này là bình thường đối với một số trang, nhưng nếu chẳng hạn, nó đang chặn /blog/ có các trang bạn muốn lập chỉ mục, nó có thể gây ra sự cố!

Bây giờ WordPress sử dụng thẻ meta thay vì robots.txt để khử chỉ mục trang web của bạn, bạn cũng nên kiểm tra tiêu đề của mình để biết các sửa đổi.

Đăng nhập vào chương trình phụ trợ của bạn và đi tới Giao diện > Trình chỉnh sửa chủ đề . Tìm Theme Header (header.php) và tìm đoạn mã sau:

<meta name='robots' content='noindex,nofollow' />

Bạn cũng có thể kiểm tra thẻ functions.php để tìm noindex , vì có thể chèn mã từ xa vào tiêu đề thông qua tệp này.

Nếu bạn tìm thấy mã này trong các tệp chủ đề của mình, thì trang web của bạn không được lập chỉ mục bởi Google. Nhưng thay vì xóa nó theo cách thủ công, trước tiên hãy thử tắt cài đặt gốc.

Cách ngăn chặn việc lập chỉ mục công cụ tìm kiếm trong WordPress

Nếu bạn muốn bỏ qua các bước bổ sung và chuyển thẳng đến cài đặt ban đầu, đây là cách kích hoạt hoặc hủy kích hoạt tùy chọn “Ngưng sử dụng công cụ tìm kiếm” trong WordPress.

Đăng nhập vào bảng điều khiển WordPress của bạn và điều hướng đến Cài đặt > Đọc . Tìm tùy chọn Mức độ hiển thị của Công cụ Tìm kiếm với hộp kiểm có nhãn “Không khuyến khích các công cụ tìm kiếm lập chỉ mục trang web này”.

Nếu bạn thấy rằng điều này đã được bật và muốn trang web của bạn được lập chỉ mục, hãy bỏ chọn nó. Nếu bạn định ngăn trang web của mình được lập chỉ mục, hãy kiểm tra nó (và ghi lại một ghi chú ở đâu đó nhắc bạn tắt nó sau!).

Bây giờ hãy nhấp vào Lưu thay đổi và bạn đã sẵn sàng. Có thể mất một thời gian để trang web của bạn được lập chỉ mục lại hoặc được lấy ra khỏi kết quả tìm kiếm.

Nếu trang web của bạn vẫn bị lập chỉ mục, bạn cũng có thể xóa mã noindex lập chỉ mục khỏi tệp tiêu đề của mình hoặc chỉnh sửa robots.txt theo cách thủ công để xóa cờ “Không cho phép”.

Vì vậy, đơn giản là vậy, nhưng một số lý do tại sao bạn nên tránh tùy chọn này, hoặc ít nhất là không hoàn toàn dựa vào nó?

Nhược điểm của việc Sử dụng Tùy chọn Công cụ Tìm kiếm Làm nản lòng

Nó có vẻ đơn giản – đánh dấu vào một hộp kiểm và không ai có thể xem trang web của bạn. Như vậy chưa đủ tốt sao? Tại sao bạn nên tránh sử dụng tùy chọn này một mình?

Khi bạn bật cài đặt này hoặc bất kỳ tùy chọn nào tương tự, tất cả những gì nó làm là thêm thẻ vào tiêu đề hoặc tệp robots.txt của bạn. Như được hiển thị bởi các phiên bản cũ hơn của WordPress vẫn cho phép trang web của bạn được liệt kê trong kết quả tìm kiếm, một trục trặc nhỏ hoặc lỗi khác có thể khiến mọi người nhìn thấy các trang được cho là ẩn của bạn.

Ngoài ra, các công cụ tìm kiếm hoàn toàn phụ thuộc vào yêu cầu không thu thập dữ liệu trang web của bạn. Các công cụ tìm kiếm lớn như Google và Bing thường sẽ làm như vậy, nhưng không phải tất cả các công cụ tìm kiếm đều sử dụng cùng một cú pháp robots.txt và không phải tất cả các trình thu thập thông tin trên web đều được gửi đi bởi các công cụ tìm kiếm.

Ví dụ: một dịch vụ sử dụng trình thu thập thông tin web là Wayback Machine. Và nếu nội dung của bạn được lập chỉ mục bởi một dịch vụ như vậy, nó sẽ ở trên web mãi mãi.

Bạn có thể nghĩ rằng chỉ vì trang web hoàn toàn mới của bạn không có liên kết đến nó nên nó an toàn khỏi nhện, nhưng điều đó không đúng. Hiện có trên một máy chủ được chia sẻ, việc gửi email có liên kết đến trang web của bạn hoặc thậm chí truy cập trang web của bạn trong một trình duyệt (đặc biệt là Chrome) có thể mở trang web của bạn để được thu thập thông tin.

Nếu bạn muốn ẩn nội dung, chỉ cần thêm một tham số không phải là một ý kiến hay và hy vọng nó sẽ làm được điều đó.

Và hãy làm rõ, nếu nội dung bạn đang deindexing có tính chất nhạy cảm hoặc mang tính cá nhân, bạn tuyệt đối không nên dựa vào robots.txt hoặc thẻ meta để ẩn nó.

Cuối cùng nhưng không kém phần quan trọng, tùy chọn này sẽ ẩn hoàn toàn trang web của bạn khỏi các công cụ tìm kiếm, trong khi nhiều khi bạn chỉ muốn hủy lập chỉ mục các trang nhất định.

Vì vậy, bạn nên làm gì thay vì hoặc cùng với phương pháp này?

Các cách khác để ngăn lập chỉ mục của công cụ tìm kiếm

Mặc dù tùy chọn được cung cấp bởi WordPress thường sẽ thực hiện công việc của nó, nhưng đối với một số tình huống nhất định, tốt hơn là sử dụng các phương pháp ẩn nội dung khác. Ngay cả bản thân Google cũng nói rằng không sử dụng robots.txt để ẩn các trang.

Miễn là trang web của bạn có tên miền và nằm trên máy chủ công khai, không có cách nào để đảm bảo nội dung của bạn sẽ không bị trình thu thập thông tin nhìn thấy hoặc lập chỉ mục trừ khi bạn xóa hoặc ẩn nó sau một mật khẩu hoặc yêu cầu đăng nhập.

Điều đó nói rằng, những cách tốt hơn để ẩn trang web của bạn hoặc các trang nhất định trên đó là gì?

Chặn Công cụ Tìm kiếm với .htaccess

Mặc dù việc triển khai nó về mặt chức năng giống như chỉ sử dụng tùy chọn “Làm gián đoạn công cụ tìm kiếm”, bạn có thể muốn sử dụng thủ công .htaccess để chặn lập chỉ mục trang web của mình.

Bạn sẽ cần sử dụng chương trình FTP / SFTP để truy cập trang web của mình và mở tệp .htaccess, thường nằm trong thư mục gốc (thư mục đầu tiên bạn nhìn thấy khi mở trang web của mình) hoặc trong public_html . Thêm mã này vào tệp và lưu:

Header set X-Robots-Tag "noindex, nofollow"

Lưu ý: Phương pháp này chỉ hoạt động đối với các máy chủ Apache. Thay vào đó, các máy chủ NGINX, chẳng hạn như những máy chủ chạy trên Kinsta, sẽ cần thêm mã này vào tệp .conf , bạn có thể tìm thấy mã này trong / etc / nginx / (bạn có thể tìm thấy ví dụ về triển khai thẻ meta tại đây):

add_header X-Robots-Tag "noindex, nofollow";

Mật khẩu bảo vệ các trang nhạy cảm

Nếu có một số bài báo hoặc trang nhất định mà bạn không muốn các công cụ tìm kiếm lập chỉ mục, cách tốt nhất để ẩn chúng là đặt mật khẩu bảo vệ trang web của bạn. Bằng cách đó, chỉ bạn và những người dùng bạn muốn mới có thể xem nội dung đó.

May mắn thay, chức năng này được tích hợp sẵn trong WordPress, vì vậy không cần cài đặt bất kỳ plugin nào. Chỉ cần truy cập Trang bài viết và nhấp vào trang bạn muốn ẩn. Chỉnh sửa trang của bạn và tìm menu Trạng thái và Mức độ hiển thị > Mức độ hiển thị ở phía bên phải.

Nếu bạn không sử dụng Gutenberg, quá trình này cũng tương tự. Bạn có thể tìm thấy cùng một menu trong hộp Xuất bản .

Thay đổi Chế độ hiển thị thành Được bảo vệ bằng mật khẩu và nhập mật khẩu, sau đó lưu – và nội dung của bạn hiện được ẩn với mọi người.

Điều gì xảy ra nếu bạn muốn đặt mật khẩu bảo vệ toàn bộ trang web của mình? Không thực tế khi yêu cầu mật khẩu cho mỗi trang.

Người dùng Kinsta thật may mắn: Bạn có thể bật bảo vệ bằng mật khẩu trong Trang web > Công cụ , yêu cầu cả tên người dùng và mật khẩu.

Nếu không, bạn có thể sử dụng plugin hạn chế nội dung (ví dụ: Password Protected). Vui lòng cài đặt và kích hoạt nó, sau đó đi tới Cài đặt > Mật khẩu được bảo vệ và bật Trạng thái được bảo vệ bằng mật khẩu. Điều này cho phép bạn kiểm soát tốt hơn, thậm chí cho phép bạn đưa vào danh sách trắng các địa chỉ IP nhất định.

Cài đặt một Plugin WordPress

Khi chức năng mặc định của WordPress không đủ, một plugin tốt thường có thể giải quyết vấn đề của bạn.

Ví dụ: nếu bạn muốn khử chỉ mục các trang cụ thể thay vì toàn bộ trang web của mình, Yoast có sẵn tùy chọn này.

Trong Yoast SEO, bạn có thể mở một trang bạn muốn ẩn và tìm tùy chọn trong tab Nâng cao : Cho phép công cụ tìm kiếm hiển thị Bài đăng này trong kết quả tìm kiếm? Thay đổi nó thành Không và trang sẽ bị ẩn.

Bạn nên lưu ý rằng cả hai điều này đều dựa trên các phương pháp giống như tùy chọn mặc định của WordPress để không khuyến khích lập chỉ mục của công cụ tìm kiếm và có cùng lỗi. Một số công cụ tìm kiếm có thể không đáp ứng yêu cầu của bạn. Bạn sẽ cần sử dụng các phương pháp khác nếu bạn thực sự muốn ẩn nội dung này hoàn toàn.

Một giải pháp khác là thanh toán cho nội dung của bạn hoặc ẩn nó sau một thông tin đăng nhập bắt buộc. Các plugin Thành viên Đơn giản hoặc Thành viên Cuối cùng có thể giúp bạn thiết lập nội dung thành viên miễn phí hoặc trả phí.

Sử dụng một trang web để thử nghiệm

Khi làm việc trên các dự án thử nghiệm hoặc các trang web đang tiến hành, cách tốt nhất của bạn để ẩn chúng là sử dụng một trang web phát triển hoặc tổ chức. Các trang web này là riêng tư, thường được lưu trữ trên một máy cục bộ mà không ai ngoài bạn và những người khác mà bạn đã cho phép có thể truy cập.

Nhiều máy chủ web sẽ cung cấp cho bạn các trang web dàn dựng dễ triển khai và cho phép bạn đẩy chúng lên máy chủ công cộng của mình khi bạn đã sẵn sàng. Kinsta cung cấp một trang web WordPress chỉ cần một cú nhấp chuột cho tất cả các gói.

Bạn có thể truy cập các trang web dàn dựng của mình trong MyKinsta bằng cách đi tới Trang web > Thông tin và nhấp vào menu thả xuống Thay đổi môi trường . Nhấp vào Môi trường dàn và sau đó nhấp vào nút Tạo môi trường dàn . Trong vài phút nữa, máy chủ phát triển của bạn sẽ hoạt động và sẵn sàng để thử nghiệm.

Nếu bạn không có quyền truy cập vào một cách dễ dàng để tạo một trang web dàn dựng, thì plugin WP STAGING có thể giúp bạn nhân bản cài đặt của mình và di chuyển nó vào một thư mục để dễ dàng truy cập.

Sử dụng Google Search Console để tạm thời ẩn trang web

Google Search Console là một dịch vụ cho phép bạn xác nhận quyền sở hữu các trang web của mình. Với điều này, khả năng chặn Google tạm thời lập chỉ mục các trang nhất định.

Phương pháp này có một số vấn đề: Nó độc quyền của Google (vì vậy các trang web như Bing sẽ không bị ảnh hưởng) và nó chỉ kéo dài 6 tháng.

Nhưng nếu bạn muốn một cách nhanh chóng và dễ dàng để tạm thời đưa nội dung của mình ra khỏi kết quả tìm kiếm của Google, thì đây là cách để làm điều đó.

Nếu bạn chưa có, bạn sẽ cần thêm trang web của mình vào Google Search Console. Sau khi hoàn tất, hãy mở Xóa và chọn Xóa tạm thời > Yêu cầu mới . Sau đó nhấp vào Chỉ xóa URL này và liên kết trang bạn muốn ẩn.

Đây là một cách thậm chí còn đáng tin cậy hơn để chặn nội dung, nhưng một lần nữa, nó hoạt động riêng cho Google và chỉ kéo dài 6 tháng.

Bản tóm tắt

Có nhiều lý do khiến bạn có thể muốn ẩn nội dung trên trang web của mình, nhưng dựa vào tùy chọn “Không khuyến khích các công cụ tìm kiếm lập chỉ mục trang web này” không phải là cách tốt nhất để đảm bảo rằng nội dung đó không được nhìn thấy.

Trừ khi bạn muốn ẩn toàn bộ trang web của mình khỏi web, bạn không nên nhấp vào tùy chọn này, vì nó có thể gây thiệt hại rất lớn cho SEO của bạn nếu nó vô tình được bật.

Và ngay cả khi bạn muốn ẩn trang web của mình, tùy chọn mặc định này là một phương pháp không đáng tin cậy. Nó phải được ghép nối với bảo vệ bằng mật khẩu hoặc các chặn khác, đặc biệt nếu bạn đang xử lý nội dung nhạy cảm.

Bạn có sử dụng bất kỳ phương pháp nào khác để ẩn trang web của mình hoặc các phần của nó không? Cho chúng tôi biết trong phần ý kiến.