1.6 Tập tin Robots.txt

Giống như trong cửa hàng thời trang, bạn bày một số sản phẩm váy nữ ra kệ trưng bày và có nhóm sản phẩm váy nữ trong kho. Khách hàng vào cửa hàng của bạn sẽ nhìn thấy các sản phẩm trưng bày, các sản phẩm trong kho được ngăn bởi cửa kho, hay khóa trong tủ cất sản phẩm. Bạn sẽ không nhìn thấy sản phẩm trong kho đó.

Tập tin Robots.txt cũng như vậy, File robot.txt cho máy tìm kiếm đó biết rằng, website này có thể index (hiển thị) nội dung gì hoặc không index nội dung gì (tùy theo lệnh được viết trong file robots.txt). Những nội dung trong quản trị web (Như kho lưu trữ sản phẩm), những nội dung trùng lặp bạn có thể chặn hiển thị với máy tìm kiếm. Những nội dung cần hiển thị với máy tìm kiếm. File Robots.txt sẽ giúp bạn làm điều đó.

Thông thường, các website sẽ hiển thị tất cả các nội dung trên web và chặn phần quản trị để Google không nhìn ra web. Phần quản trị là phần bạn đăng nhập vào web và thực hiện thao tác post bài lên website. Do vậy, để đơn giản bạn hãy làm như vậy

Bạn tạo tin trên Notpad có nội dung và lưu dạng file txt

User-agent: *

Disallow: /admin/

Trong đó User-agent: là đại diện của một máy tìm kiếm, để “*” có nghĩa là index với tất cả máy tìm kiếm. Disallow: là không cho phép index nội dung trong phần /admin/ trong website.

robots txt cho SEO, tập tin robots làm SEO

(Hình 8: Kiểm tra tập tin Robots.txt)

 

Cũng thật đơn giản, hãy bảo bên làm web hoặc IT công ty bạn làm cho điều này, công việc của bạn chỉ là kiểm tra đã có file robots.txt chưa và nó đang chặn hiển thị nội dung gì. Để kiểm tra, bạn gõ: http://www.example.com/robots.txt. Ví dụ như: http://hocinternetmarketing.vn/robots.txt

 

Làm SEO cho người không biết về IT

1 Tối ưu hệ thống website (Onpage SEO toàn hệ thống Website)

1.1 Viết đường dẫn URL

1.2 Thẻ Title

1.3 Thẻ Meta Description

1.4 Thẻ H1, H2

1.5 Cài đặt sitemaps

1.6 Tập tin Robots.txt

1.7 Cài đặt dữ liệu cấu trúc (Rich snippet, Data Highlighter)

2 Xây dựng từ khóa tìm kiếm

2.1 Công cụ phân tích từ khóa

2.2 Chọn từ khóa làm SEO phù hợp với sản phẩm, ngành kinh doanh

3 Tối ưu nội dung website

3.1 Kế hoạch nội dung website

3.2 Xác định Landing Page nội dung chứa từ khóa chính

3.3 Sáng tạo nội dung cho SEO

3.4 Tối ưu nội dung cho SEO

4 Xây dựng liên kết (Backlink cho website)

4.1 Chiến lược xây dựng liên kết (Backlink cho website)

4.2 Xây dựng Backlink

4.2.1 Một số điểm cần chú ý khi xây dựng liên kết

4.2.2 Xầy dựng Internal Link (Liên kết trong website)

4.2.3 Xây dựng External Link (Liên kết ngoài)