Hướng dẫn về Google bot

Dành cho bạn quản trị web, marketer nên bài hướng dẫn này rất nặng tính kỹ thuật. Nhằm hiểu đúng và toàn diện về webcrawler nói chung và Googlebot nói riêng. Bài viết lược dịch từ Patrick Sexton – https://varvy.com/googlebot.html

Thời gian: 15 phút. Cấp độ: Cao cấp

Bạn sẽ học được:

  • Google bot là gì và làm gì web của bạn
  • Cách thức Google thu thập thông tin từ web của bạn và xếp hạng chúng
  • Cách làm website của bạn thân thiện hơn với Google

Googlebot là gì?

  • Googlebot là con bọ (webcrawler) của Google.
  • Nhiệm vụ là tìm và thu thập các trang web (webpages).
  • Thông tin thu thập được dùng để cập nhật chỉ mục của Google index.

Googlebot

Googlebot ghé thăm hàng tỷ trang web liên tục mỗi ngày trên toàn thế giới web.

Con bọ webcrawler là gì?

Web crawlers (hay còn gọi là bots, robots hoặc spiders) là một loại phần mềm được thiết kế để đi theo link, thu thập thông tin và báo cáo thông tin thu thập được.

Googlebot làm gì?

Googlebot scanning for and listing links

  • Googlebot thu thập nội dung của trang web (từ ngữ, code, nguồn file).
  • Nếu nội dung có chứa link dẫn đi nơi khác, nó note lại.
  • Rồi gửi thông tin cho Google.

Googlebot và website của bạn

Thông tin mà Googlebot thu thập được dùng để cập nhật chỉ mục Google index.

Google index là nơi so sánh và đánh giá thứ hạng các websites.

  • Để các trang web của bạn xuất hiện trên Google, đầu tiên Googlebot phải thấy chúng đã.
  • Để các trang web của bạn xếp hạng cao, Googlebot phải truy cập được tất cả các thành phần của trang web đã.

Googlebot và Google index khác nhau gì?

Googlebot and Google servers

Googlebot

  • Googlebot thu thập nội dung trang web.
  • Googlebot không xếp hạng nội dung trang web, chỉ thu thập thuần túy thôi.
  • Googlebot chỉ quan tâm “Mình có truy cập được nội dung này không?” và “Có nội dung nào khác mà mình có thể truy cập không?”

Google index

  • Google index lấy nội dung mà nó nhận từ Googlebot và dùng để xếp thứ hạng các trang web

Vậy bước đầu tiên để được Google xếp hạng thì bạn phải được Googlebot ghé thăm cái đã.

Hãy đảm bảo là Googlebot có thể thấy trang web của bạn

Như đã nói ở trên, câu hỏi mà webmaster bọn mình nên đặt ra là:

  1. Googlebot có “thấy” trang web của mình không?
  2. Googlebot có thể truy cập tất cả nội dung và link của trang web không?
  3. Googlebot có thể truy cập tất cả resource (css, javascript…) của trang web không?

Bắt đầu nhé…

1. Googlebot có “thấy” trang web của mình không?

Googlebot looking at a webpage

Kiểm tra xem Google có “thấy” trang web của bạn không bằng cách search…

site:tenmiencuaban.com

Đây là cách bạn yêu cầu Google liệt kê tất cả các webpage nó thấy được từ tenmiencuaban.com.

Nếu thấy kết quả tìm kiếm hơi ít thì có lẽ nên kiểm tra xem file robots.txt của bạn có đang chặn Google bot không.

2. Googlebot có thể truy cập tất cả nội dung và link của trang web không?

Googlebot confused by webpage

Googlebot thấy trang web của bạn và thấy được đầy đủ nội dung trang web của bạn là 2 chuyện rất khác nhau.

Googlebot looking at webpage

Google bot không thấy trang web theo cách mà con người thấy. Ở trên là một trang web với 1 hình ảnh trong đó. Bọn mình có thể thấy hình ảnh nhưng Googlebot thì thấy đoạn code như sau.

<img src="https://tenmiencuaban.com/images/googlebot-access-1.png" />

Google có thể truy cập webpage (file html). Nhưng có thể nó không truy cập được file ảnh ở trên. Ví dụ bạn lỡ chặn truy cập file png trong robots.txt

Trong trường hợp đó Google index không thể lấy file ảnh, và nó không thể “thấy” trang web của bạn một cách đầy đủ.

Googlebot “thấy” trang web như thế nào

Googlebot không thấy trang web như bọn mình, nó thấy những thành phần tạo nên trang web.

Googlebot looking at files

Lỡ mà Googlebot không truy cập được bất kỳ thành phần nào ở trên, nó không thể gửi thông tin đến Google index. Ở ví dụ trên, nó có thể thấy html và css nhưng không thể thấy file png.

Googlebot can not access all resources

Không chỉ là hình ảnh. Có hàng ngàn thành phần khác cấu tạo nên trang web. Để có thể xếp hạng chuẩn xác nhất, Google cần phải thấy toàn bộ.

Có hàng đống lý do để Google không thể thấy hết các thành phần của trang web. Dưới đây là những lý do thường gặp nhất.

  • Thành phần bị chặn bởi robots.txt
  • Link bị sai hoặc không đọc được
  • Định dạng Flash, công nghệ lạ mà con bọ không đọc được
  • Lỗi html, lỗi code
  • Link động quá phức tạp

Sử dụng “Fetch and render” trong Google search console để kiểm tra.

3. Googlebot có thể truy cập tất cả resource của trang web không?

Googlebot blocked from resource files

Nếu file CSS và javascript bị chặn thì sự lệch lạc mà Google thấy trang web còn tệ hơn nhiều.

Có thể điều khiển Googlebot không?

Có.

Các cách thường dùng để điều khiển Googlebot…

  • Dùng file robots.txt
  • Điều hướng bằng thẻ metadata
  • Dùng sitemap
  • Dùng Google search console

Cách dễ và phổ biến nhất vẫn là dùng file robots.txt

robots.txt là gì?

Googlebot and robots.txt file

robots.txt là file text, hướng dẫn Googlebot nơi nào được truy cập và nơi nào không được truy cập trong trang web.

Có bao nhiêu loại Googlebot?

Có 9 loại.

Nine different Googlebots

  • Googlebot (Google Web search)
  • Google Smartphone
  • Google Mobile (Feature phone)
  • Googlebot Images
  • Googlebot Video
  • Googlebot News
  • Google Adsense
  • Google Mobile Adsense
  • Google Adsbot (landing page quality check)
Chuyên mụcseo

305 bình luận cho “Hướng dẫn về Google bot

  1. Pingback: wiki buy viagra
  2. Pingback: droga5.net
  3. Pingback: generic viagra
  4. Pingback: Cialis 40mg coupon
  5. Pingback: Cialis 60 mg pills
  6. Pingback: viagra sale
  7. Pingback: viagra pills
  8. Pingback: levitra 10mg price
  9. Pingback: lasix 100mg prices
  10. Pingback: propecia 1mg cheap
  11. Pingback: sildenafil
  12. Pingback: actos 30 mg tablet
  13. Pingback: arava 10 mg pills
  14. Pingback: arimidex 1 mg nz
  15. Pingback: buy avapro 150 mg
  16. Pingback: Biaxin 500mg nz
  17. Pingback: cheap buspar 10 mg
  18. Pingback: catapres tablet
  19. Pingback: viagra samples
  20. Pingback: celexa 10mg uk
  21. Pingback: cephalexin otc
  22. Pingback: cipro generic
  23. Pingback: casino online usa
  24. Pingback: casinos online
  25. Pingback: autoinsurance
  26. Pingback: best insurance car
  27. Pingback: insurance auto
  28. Pingback: how to make viagra
  29. Pingback: cost of viagra
  30. Pingback: viagra on sale
  31. Pingback: viagra torture
  32. Pingback: viagra gay sex
  33. Pingback: levitra for sale
  34. Pingback: vardenafil generic
  35. Pingback: cbd capsules
  36. Pingback: women viagra
  37. Pingback: discount cialis
  38. Pingback: white paper writer
  39. Pingback: atorvastatin bari
  40. Pingback: viagra soft cheap
  41. Pingback: viagra boots
  42. Pingback: cost of combivent
  43. Pingback: essays service
  44. Pingback: coreg price
  45. Pingback: tadalafil generic
  46. Pingback: cialis
  47. Pingback: coumadin pills
  48. Pingback: buy cozaar
  49. Pingback: crestor usa
  50. Pingback: custom essay paper
  51. Pingback: cymbalta purchase
  52. Pingback: ddavp pills
  53. Pingback: depakote prices
  54. Pingback: diamox cheap
  55. Pingback: doxycycline uk
  56. Pingback: dramamine price
  57. Pingback: elavil 25 mg cost
  58. Pingback: flomax medication
  59. Pingback: viagra cialis
  60. Pingback: cephalexin for uti
  61. Pingback: cialis 20 mg
  62. Pingback: online cialis
  63. Pingback: viagra or cialis
  64. Pingback: cialis buy
  65. Pingback: goodrx viagra
  66. Pingback: viagra cost
  67. Pingback: lopid 300mg cost
  68. Pingback: luvox usa
  69. Pingback: buy meclizine
  70. Pingback: cost of mestinon
  71. Pingback: abilify dosage
  72. Pingback: atorvastatin court
  73. Pingback: Frumil
  74. Pingback: how to buy motrin
  75. Pingback: diuretics
  76. Pingback: periactin price
  77. Pingback: prilosec otc
  78. Pingback: procardia tablet
  79. Pingback: proscar 5mg prices
  80. Pingback: provigil cheap
  81. Pingback: cheap levitra
  82. Pingback: cost of reglan
  83. Pingback: cialis 5 mg
  84. Pingback: sister viagra
  85. Pingback: revatio uk
  86. Pingback: generic for viagra
  87. Pingback: rogaine 5% cheap
  88. Pingback: buy seroquel
  89. Pingback: spiriva otc
  90. Pingback: coupons for cialis
  91. Pingback: order toprol 50mg
  92. Pingback: wife viagra cock
  93. Pingback: tricor 160mg otc
  94. Pingback: his response
  95. Pingback: where to buy zyvox
  96. Pingback: order aripiprazole
  97. Pingback: meclizine 25mg uk
  98. Pingback: citalopram otc
  99. Pingback: viagra cialis
  100. Pingback: carvedilol otc
  101. Pingback: warfarin pharmacy

Bình luận đã bị tắt.