Thủ thuật chống backlink xấu bằng HTTP Referer không hiệu quả

Thủ thuật chống backlink xấu bằng HTTP Referer không hiệu quả Cách chặn liên kết trỏ tới từ domain không mong muốn này là dùng file .htaccess để block những liên kết từ site mà mình không mong muốn đến site mình dựa trên nguyên lý bắt HTTP Referer header với nội dung hướng dẫn như sau: Nhân dịp khai trương box này mình muốn chia sẽ với mọi người thủ thuật “Chặn liên kết trỏ tới từ domain không muốn” bằng .htaccess Từ tình huống thực tế “Seo idol 2011″, xuất hiện tình huống chơi xấu đội vietnamtours247.com bằng cách tạo link farm với số lượng cực lớn từ blogspot. Mà tiêu biểu là site Và từ thực tế để tiếp tục chiến đấu cùng Seoidol chắc hẳn phải tìm ra cách di đó ngăn chặn phần nào việc chơi xấu này. Mình cố gắng tìm tòi và lần mò khắc các diễn đàn seo trên thế giới với hy vọng kiếm được giải pháp ngăn chặn việc này tái diễn. Và mình tìm thấy được 1 giải pháp có thể “sử dụng được” Mình xin cung cấp 1 đoạn code trong file .htaccess như sau: SetEnvIfNoCase Referer “.*(cụm từ chứa trong domain).*” ban SetEnvIfNoCase Referer “.*(blogspot).*” ban SetEnvIfNoCase Referer “.*(azfreeapps).*” ban order allow,deny deny from env=ban allow from all Với nôi dung trong ( ) là cụm từ chứa trong domain mà bạn muốn chặc liên kết trỏ đến website của bạn. Ví dụ từ trường hợp của site Nếu bạn set giá trị SetEnvIfNoCase Referer “.*(giethetseo).*” ban Thì kết quả là tất cả những liên kết xuất phát từ sẽ không thể kết nối đến site của bạn và lúc này trình duyệt sẽ hiển thị lỗi “403 Forbiden – You don’t have permission to access / on this server” Mặc khác nếu bạn set giá trị SetEnvIfNoCase Referer “.*(blogspot).*” ban Thì kết quả những trang co domain chứa blogspot bao gồm cả giethetseo.blogspot.com sẽ đều bị chặn khi liên kết đến trang của bạn (Có thể hiểu khi ta chặn blogspot thì dạng subdomain của blogspot cũng sẽ bị ảnh hưởng) Hãy kiểm tra lượng backlink trỏ đến web của bạn hằng ngày bằng các công cụ hỗ trợ như site explore, backlink watch. Để kiểm tra những domain có dấu hiệu bất thường và tiến hành ngăn chặn kịp thời. Có thể đây chỉ là 1 giải pháp tình thế nhằm hạn chế phần nào ảnh hưởng của những liên kết xấu. Mong rằng nó cũng sẽ giúp chiến dịch SEO của bạn hiệu quả hơn. Vì một cộng đồng seo vững mạnh. Rất mong nhận được nhiều giải pháp và nhận xét từ mọi người để có thể khắc phục một cách triệt để hơn. Vì sao cách này lại không hiệu quả? Theo tôi thì nếu như bạn hiểu được nguyên lý Google Crawl và Indexwebsite như thế nào sẽ không khó để hiểu được điều này. Các bạn có thể tham khảo thêm bài viết Google thu thập nội dung website của bạn như thế nào. Ở đây tôi xin phép giải thích như sau: Đoạn code trên dựa vào HTTP Referer header của một request để chặn những backlink được cho là không mong muốn. Trước tiên bạn cần phải hiểu được rằng HTTP Referer là gì và được sinh ra như thế nào? HTTP Referer là một tham số được truyền đi trong request thông qua header xảy ra khi bạn click chuột từ một trang web A đến một trang web B. Lúc đó thông số HTTP Referer được truyền đến trang B khi request là đường dẫn URL của trang A. Tuy nhiên, khi kết hợp với quá trình Crawl và Index của Google như tôi giới thiệu trong bài ở trên thì nó bao gồm nhiều tiến trình nhỏ và có thể mô tả như sau: Một con Googlebot thứ nhất (gọi tắt là Googlebot #1) Crawl trang A và thu thập nội dung của trang A, đồng thời thu thập tất cả các URL liên kết có trong trang A, sau đó Googlebot #1 này đem dữ kiện báo cáo về trung tâm lưu trữ. Các URL liên kết được đưa tập hợp vào một danh sách và sắp xếp thứ tự ưu tiên để phân công nhiệm vụ cho các Googlebot khác tiếp tục đi Crawl và Index các danh sách URL đó. (Tham khảo thêm về HTTP Referer: Như vậy, các con bot khác khi được phân công nhiệm vụ thì nó sẽ là dạng request trực tiếp chứ không phải như hành động click chuột của một người dùng thông thường từ trang A đến trang B. Do đó, lúc này thông số HTTP Referer không được sinh ra đồng thời có thể kết luận là việc chặn liên kết từ trang khác bằng HTTP Referer đối với Googlebot là không hiệu quả. Mặt khác, cho dù đặt giả thuyết là Googlebot sẽ có hành vì giống như người là nó sẽ di chuyển từ trang này đến trang khác thông qua URL thì cách trên vẫn không hiệu quả. Bởi vì lúc này bot sẽ nhận được trạng thái Forbidden (không cho phép truy cập). Và như vậy thì bot cũng sẽ dễ bị hiểu nhầm rằng trang này không cho phép truy cập, điều này có khi sẽ mang lại tai hại cho bạn nếu như bot cập nhật thông tin Forbidden này và con mang lại tác dụng ngược cho website của bạn. Tuy nhiên, vấn đề về cách phòng chống này xảy ra do từ cuộc thi SEO Idol 2011 vừa rồi có những hành vi chơi xấu từ các đối thủ. Nhưng theo quan điểm cá nhân và kết hợp những hiểu biết của tôi thì Google không dễ dàng để những đối thủ của mình chơi xấu một cách dễ dàng như vậy. Để hiểu được điều này bạn cần phải hiểu rõ những tiêu chí và thuật toán của Google trong việc xếp hạng các trang web.