Web crawler là một chương trình tự động tìm kiếm trên internet, một trình thu thập web (còn gọi là mạng nhện) là một chương trình duyệt World Wide Web một cách có phương pháp, một cách tự động. Web crawler là một loại bot hay còn gọi là con bọ tìm kiếm.