Làm thế nào để xây dựng workflow thu thập dữ liệu tự động giúp phân tích khách hàng hiệu quả trên n8n?
Chào mọi người,
Là một marketer trong giai đoạn thị trường đang có nhiều sự thay đổi, bạn thường thu thập dữ liệu khách hàng bằng cách nào? Survey, phỏng vấn nhanh, hay vào từng cộng đồng để đọc bài viết và comment rồi tự tổng hợp lại?
Trước đây, mình cũng làm như vậy. Khi cần research cho một khóa học mới, mình sẽ vào các group Facebook, lướt bài, đọc comment và ghi chú lại những gì mình cho là quan trọng. Về lâu, mình dần cảm thấy cách làm này tốn nhiều thời gian, dễ bỏ sót insight và khó hệ thống khi lượng dữ liệu bắt đầu nhiều lên.
Tuy nhiên, gần đây khi tham gia khóa học AI Marketing, mình lại được khai phá ra một cách làm data scraping hoàn toàn mới. Thay vì phải đọc dữ liệu bằng mắt thường, mình có thể xây dựng một workflow trên n8n để tự động thu thập bài viết và comment từ các cộng đồng người tiêu dùng, sau đó chuẩn hoá dữ liệu để phục vụ cho công việc customer research.
Trong bài viết này, mình sẽ chia sẻ chi tiết cách mình đã sử dụng để hiểu khách hàng đang quan tâm và thảo luận gì, cũng như cách mình triển khai workflow scraping đó trong thực tế với case study cho một ngành hàng phổ biến như Skincare Product nhé!
Bước 1: Tổng hợp link các group cần scrape
Việc đầu tiên mình làm là list ra các group cộng đồng và group đối thủ trên Facebook có liên quan đến Skincare, Tips làm đẹp, Review mỹ phẩm,...
Phần chọn group này mình làm hoàn toàn thủ công vì không phải group nào cũng có thảo luận chất lượng nên mình cần chọn đúng nơi có nhiều câu hỏi thật và chia sẻ thật.
Trong bài demo này, mình tạm thời list ra một vài group để test workflow, như trong hình dưới đây.
Ngoài link group, mình còn bổ sung thêm một vài thông tin quan trọng như thời gian bắt đầu scrape, số lượng bài post muốn lấy. Hai thông tin này giúp mình kiểm soát lượng dữ liệu, tránh scrape quá nhiều ngay từ đầu.
Ngoài ra, mình có thêm một cột Scrape (On/Off). Khi mình chuyển trạng thái sang Scrape, workflow sẽ tự động bắt đầu chạy.
Bước 2: Set up Apify để scraping
Sau khi có danh sách group, mình bắt đầu kết nối Apify với n8n để scraping data.
Ở bước này, mình sử dụng một actor của Apify. Trên Apify có khá nhiều actor khác nhau, bạn có thể search, test thử và chọn cái phù hợp (cái nào free thì càng tốt 😄).
Ở đây, mình sẽ dùng Facebook Groups Scaper để scrape các bài post và Facebook Comments Scraper để scrape comment.
Mình kết nối actor này vào node HTTP Request (Social Group Posts và Scrape Comments) trong n8n, gồm hai phần chính:
Lấy API của actor và gắn vào URL của node
Sử dụng JSON để yêu cầu actor scrape từ thời điểm nào, scrape bao nhiêu bài post
Sau khi chạy node, kết quả trả về sẽ hiển thị ngay bên phải, bao gồm nội dung bài viết, thời gian đăng và link post.
Bước 3: Set Webhook - Kết nối n8n với Google Sheet
Tiếp theo, mình tạo sẵn một file Google Sheet gồm 3 tab:
Tab Group là tab để tương tác và cài đặt cho workflow hoạt động.
Tab Group Post và Comment sẽ là nơi lưu dữ liệu vào, với các cột như hình sau:
- Tab Group Post:
- Tab Comment:
Quay lại n8n, mình sẽ copy Test URL trong node Webhook, sau đó chuyển sang Google Sheet, vào Extensions, chọn Apps Script vào paste URL đã copy vào code “webhookurl =”. Code này sẽ gửi thông tin cần scrape cho Webhook n8n để chạy được Workflow.
Tiếp theo, mình chuyên sang tab Trigger và sửa lại các lựa chọn như hình sau và bấm “Save”.
Từ đây, mỗi lần chỉnh sửa trong tab Group, workflow sẽ tự động chạy.
Bước 4: Thử nghiệm và sử dụng workflow
Sau các bước trên, hệ thống đã gần như hoàn thiện. Mình sẽ cho chạy test thử 1-2 group với số lượng bài viết nhỏ (khoảng 10 bài).
Khi workflow chạy thử, khả năng cao sẽ bị lỗi ở các node Google Sheet do chưa được update. Do đó, chúng ta sẽ vào lại các node Sheet trên n8n, lướt xuống phần Value to Update và lưu lại những gì đã được setup từ trước. Ngoài ra, thay đổi phần Document và Sheet với:
Document ở đây chính là file Google Sheet mình vừa tạo.
Sheet ở đây là tab trong file đó (Ví dụ với mục “thêm các bài post vào tab Group Post” thì Sheet sẽ là tab “Group Post”)
Sau khi hoàn tất chỉnh sửa, mình đã có thể bật nút active lên. Khi đó, workflow sẽ vào trạng thái hoạt động. Để sử dụng workflow, mình chỉ cần kích hoạt cột Scrape (On/Off) trên Google Sheet và hệ thống sẽ tự động scrape và trả về các comment trong file Google Sheet.
Tạm kết
Vậy là mình đã hoàn thành xong phần scrape bài post và comment từ Facebook group để phục vụ cho việc research đối tượng khách hàng trong ngành mỹ phẩm làm đẹp. Ở các post tiếp theo, mình sẽ chia sẻ thêm về việc sau khi có data thì phân tích như thế nào, rút insight ra sao.
Bài viết này hơi dài một chút, mong là những chia sẻ của mình sẽ hữu ích với mọi người. Nếu bạn thấy nội dung phù hợp, follow Insight Ouch! để cùng tìm hiểu thêm trong các bài sau nha 😊