Đi đến nội dung chính
Van Data Team

Dịch vụ web scraping và thu thập dữ liệu

Dữ liệu thị trường để lãnh đạo ra quyết định

Chúng tôi thu thập dữ liệu web công khai mà ban lãnh đạo cần, từ giá đối thủ, sản phẩm trên sàn đến đánh giá, tin tuyển dụng hay bất kỳ nguồn nào bạn chỉ định, kiểm tra từng trường rồi bàn giao dữ liệu sạch vào BigQuery, Snowflake, Google Sheets hoặc dashboard của bạn theo lịch.

Đặt lịch tư vấnKhám phá 10.000 dòng dữ liệu thật
Tran Tien Van, nhà sáng lập Van Data TeamTran Tien VanNhà sáng lập và Kỹ sư trưởng5.0từ 71 đánh giá trên Upwork(mở trong thẻ mới)

Nguồn: Amazon · trang sản phẩm

Đã bàn giao

Trưởng bộ phận thương mại điện tử yêu cầu

Mọi trang trong danh sách 100.000 sản phẩm Amazon: giá, đánh giá, hạng bán chạy và nhu cầu, chỗ trống nào cũng có lý do.

Dòng dữ liệu, như đã bàn giao6 dòng thật trên 100 nghìn+

Sản phẩm Amazon: 6 dòng thật trên 100 nghìn+
#Sản phẩmGiáĐánh giá
1Owala FreeSip Insulated Stainless Steel Water Bottle with Straw, BPA-Free Sports Water Bottle, Great for Travel, 24 Oz, Camo Coolnull4.7
2Owala FreeSip Insulated Stainless Steel Water Bottle with Straw for Sports and Travel, BPA-Free, 40oz, Foggy Tide$35.994.7
81CELSIUS Fizz Free Peach Mango Green Tea, Sugar Free Energy Drink, 12 Fl Oz (Pack of 12)$19.984.7
82medicube Toner Pads Zero Pore Pad Mild 2.0 | Gentle Calming Toner Pad for Exfoliation, Minimizing Pores & Blackhead Removal with PHA | Ideal for All Skin Types | Korean Skin Care, 70 Pads (1 Pack)$18.904.6
84Owala Kids FreeSip Insulated Stainless Steel Water Bottle with Straw for Sports, Travel, and School BPA-Free Sports Water Bottle, 16 oz, Mint Chocolate Chip$24.994.7
5316Candure Dog Nail Clippers for Pet Grooming - Professional Cat Nail Trimmers Suitable for Small to Medium Breeds with a Safety Guard & Nail File | Pet Nail Clipper$3.994.6

Dòng 1 được đánh dấu: trang không hiện giá, sản phẩm không giao tới địa điểm nhận hàng

Bàn giao vào

  • Hơn 100 nghìn dòng sản phẩm
  • Lưu trữ HTML của mọi trang

Dữ liệu cho thấy

10.000 trang sản phẩm hiển thị ở đây là 1.213 sản phẩm gốc: 95% số trang là biến thể.

Khám phá 10.000 dòng

Công đoạn6 / 6

  1. Scheduler, đã xongXếp lịch 100.000 trang
  2. Crawler, đã xongMở trang trong trình duyệt
  3. Extractor, đã xongĐọc giá, đánh giá và hạng
  4. Validator, đã xongGhi lý do trường bị trống
  5. Normalizer, đã xongGom biến thể về sản phẩm
  6. Delivery, đã xongGhi dòng, lưu trữ HTML

Chạy lại một bộ dữ liệu đã bàn giao

Lượt chạy mô phỏng, dòng dữ liệu thậtHơn 100 nghìn trang sản phẩm trong một dự án Amazon109 dự án dữ liệu web trong kho lưu trữ

Hơn 150 dự án đã triển khai cho các đội ngũ tại hơn 15 quốc gia

  • White Ribbon Alliance logo
  • OBJX Intelligence logo
  • alice/ai logo
  • YouHeal logo
  • Athenahealth logo
  • Supply Bridge logo
  • Setmore logo
  • Clear Gene logo

Khám phá bộ dữ liệu đã bàn giao: hơn 100 nghìn trang sản phẩm Amazon

Một khách hàng cần 100.000 trang sản phẩm Amazon, lấy đủ mọi trường. Đây là 10.000 dòng đầu tiên của file đã bàn giao, khoảng 10%, kèm tỷ lệ điền của từng trường và các bước kiểm tra mà dữ liệu đã qua.

trang sản phẩm đã bàn giao
100 nghìn+
trường mỗi trang, trường nào cũng có tỷ lệ điền
786
dòng để khám phá ở đây, khoảng 10%
10.000
sản phẩm gốc đằng sau 10.000 trang
1.213
danh mục và 591 danh mục con
16
thu thập 17-20/7 từ amazon.com
7/2026

Dữ liệu 10.000 dòng cho thấy gì

Mọi biểu đồ được đếm từ chính các dòng trong trình khám phá bên dưới. Chọn một danh mục: số liệu, biểu đồ và bảng sẽ đổi theo.

trang sản phẩm
10.000
sản phẩm
1.213
thương hiệu
663
giá trung vị
$19.98
điểm sao trung vị
★ 4,6
số trang nằm trong top 100 danh mục của mình
53%

Các trang thuộc danh mục nào

Sports & Outdoors: 1.629 trang từ 82 sản phẩm, trung bình 19,9 trang mỗi sản phẩm.

  • Trang sản phẩm
  • Sản phẩm

Số trang và sản phẩm theo danh mục, như Amazon xếp từng trang

Giá bao nhiêu

Trung vị $19.98; một nửa số trang ở giữa có giá từ $11.99 đến $30.99.

Số trang theo giá hiển thị, bằng đô la Mỹ2.352 trang không hiện giá.

Khách hàng chấm bao nhiêu sao

Trung vị 4,6 sao; 77% số sản phẩm đạt từ 4,5 sao trở lên.

Số sản phẩm theo điểm sao trung bình

Độ phổ biến và điểm sao

406 sản phẩm có hơn 8.387 lượt đánh giá và đạt từ 4,6 sao: những sản phẩm đã được thị trường kiểm chứng.

  • Home & Kitchen
  • Sports & Outdoors
  • Beauty & Personal Care
  • Pet Supplies
  • Grocery & Gourmet Food
  • Danh mục khác
Điểm sao trung bìnhLượt đánh giá, thang log

Mỗi chấm là một sản phẩm, lấy từ trang đầu tiên của nó trong file2 sản phẩm dưới 3,0 sao nằm ở đáy biểu đồ.

Khoảng giá theo danh mục

Home & Kitchen có giá cao nhất, trung vị $24.99; Beauty & Personal Care thấp nhất, trung vị $12.97.

  • Một nửa ở giữa
  • 80% ở giữa
  • Trung vị

Đô la Mỹ, thang log

Mức giảm giá sâu đến đâu

31% số trang có giá hiển thị giá niêm yết cao hơn giá bán; mức giảm trung vị là 15%.

Số trang giảm giá theo mức giảm so với giá niêm yết2.138 trang có khuyến mãi: phiếu giảm giá, mua nhiều giảm thêm hoặc ưu đãi khác. 27 trang được loại ra và gắn cờ: giá bán và giá niêm yết chênh nhau từ 80% trở lên, nên một trong hai là giá theo đơn vị.

Thương hiệu có nhiều sản phẩm nhất

663 thương hiệu; 8 thương hiệu dẫn đầu chiếm 12% số sản phẩm.

Số sản phẩm mỗi thương hiệu

Đã mua trong tháng qua

34% số trang hiện số lượng đã mua trong tháng qua; 788 trang đạt từ 500+ trở lên.

Số trang theo nhãn Amazon hiển thị lúc thu thập

amazon.com · 10.000

32 cột mỗi dòng, cuộn ngang bằng Shift và con lăn chuột, hoặc bấm mũi tên

1 đến 12 trên 1.213

Sản phẩmDanh mụcGiá và ưu đãiĐánh giáHạng và nhu cầuBiến thể và hình ảnhThông sốBản ghi
Danh mụcDanh mục conGiá niêm yếtKhuyến mãiGiao tới địa điểm nhận hàngPhân bố saoHạng trong danh mục conSố trang của sản phẩmTùy chọn biến thểẢnhVideoNhà sản xuấtMã modelUPCMàuKích cỡChất liệuDạngKhối lượngKích thướcSố đơn vịLoại sản phẩmDòngNgày thu thập
Crocs Unisex-Adult Classic Clog, Clogs for Women and MenCrocs · B0D61NKZG1Clothing, Shoes & JewelryMules & ClogsKhông hiện giánullnullnullKhông4,8486.751Phân bố sao: 5★ 87% · 4★ 8% · 3★ 3% · 2★ 0% · 1★ 2%#11 Clothing, Shoes & Jewelry#10 Women's Fashionnull1119 tùy chọnColor + Size8KhôngCrocs209450-2Y2196265881765Pondnullnullnull6.93 ouncesnullnullClog3 thg 4, 20251.55618 thg 7, 2026
Queen Size 4 Piece Sheet Set - Comfy Breathable & Cooling Sheets - Hotel Luxury Bed Sheets for Women & Men - Deep Pockets, Easy-Fit, Extra Soft & Wrinkle Free Sheets - Burgundy Oeko-Tex Bed Sheet SetCGK Unlimited · B06X9M64VF · 314 biến thểHome & KitchenSheet & Pillowcase Sets$32.99$37.99-13%Giảm 40% khi mua kèm sản phẩm đủ điều kiệnGiảm 20% khi mua kèm sản phẩm đủ điều kiệnCó4,5446.661Phân bố sao: 5★ 73% · 4★ 14% · 3★ 6% · 2★ 3% · 1★ 4%#2 Home & Kitchen#1 Sheet & Pillowcase Setsnull31455 tùy chọnColor + Size8CóCGK UnlimitedQueen4PCBurgundynull25 - BurgundyQueenPolyesternull1.22 kg4.1 x 11 x 9.3 inches4 Countnullnull2617 thg 7, 2026
essence | Lash Princess False Lash Effect Mascara | Volumizing & Lengthening | Cruelty Free & Paraben FreeEssence Cosmetics · B00T0C9XRK · 4 biến thểBeauty & Personal CareMascara$4.97nullnullnullCó4,3415.771Phân bố sao: 5★ 68% · 4★ 14% · 3★ 9% · 2★ 4% · 1★ 5%#24 Beauty & Personal Care#2 Mascaranull46 tùy chọnColor + Size8Khôngessence cosmetics5160204250947516027BlacknullnullCream28 g10 x 2 x 2.7 inchesnullnullnull35417 thg 7, 2026
Bedsure King Size Satin Pillowcase Set of 2 - Sky Blue Silky Pillow Cases for Hair and Skin with Envelope Closure, Similar to Silk Pillow Cases, Gifts for Women Men, 20x36 Inches, 2pcsBedsure · B08PBGQP96 · 67 biến thểHome & KitchenPillowcases$12.99$14.99-13%Giảm 5% khi mua 2 sản phẩmGiảm 8% khi mua 3 sản phẩmCó4,5319.944Phân bố sao: 5★ 74% · 4★ 15% · 3★ 6% · 2★ 2% · 1★ 3%#42 Home & Kitchen#1 Bed Pillow Pillowcases100+6736 tùy chọnColor + Number of items + Size8CóBedshePillowcase set-Satinnull19 - Sky BlueKing (20" X 36")Polyesternullnull36"L x 20"W2 Countpillowcasesnull6.74119 thg 7, 2026
Beckham Hotel Collection Bed Pillows Standard/Queen Size Set of 2 - Original Soft Down Alternative Pillow for Sleeping - Soft Support for Back, Stomach or Side SleepersBeckham Hotel Collection · B01LYNW421 · 2 biến thểHome & KitchenBed Pillows$59.99$79.99-25%nullCó4,4261.804Phân bố sao: 5★ 68% · 4★ 15% · 3★ 9% · 2★ 3% · 1★ 5%#35 Home & Kitchen#2 Bed Pillowsnull23 tùy chọnSize8CóBeckham Hotel CollectionFBA_BLL-GLPLW-2PK-Q080119078046 +2WhiteQueen / Standardnullnull4 pounds28"L x 20"W2 Countnullnull4.25318 thg 7, 2026
Utopia Bedding Queen Size Sheet Set – 4 Piece Bed Sheets, Soft and Breathable Microfiber, Includes 1 Fitted Sheet, 1 Flat Sheet and 2 Pillowcases – Oeko Tex (Eggplant)Utopia Bedding · B0CS6SFF25 · 95 biến thểHome & KitchenSheet & Pillowcase SetsKhông hiện giánullnullnullKhông4,6240.638Phân bố sao: 5★ 79% · 4★ 13% · 3★ 5% · 2★ 1% · 1★ 2%#19 Home & Kitchen#2 Sheet & Pillowcase Setsnull9545 tùy chọnColor + Size8CóUtopia Beddingnull197703020654Egg PlantQueenPolyesternull1.44 kgnull1 Countnullnull2.94918 thg 7, 2026
Pampers Sensitive Baby Wipes, Water Based Baby Wipes, Fragrance Free and Hypoallergenic, 588 Wipes Total (7X Refill Packs) [Packaging May Vary]Pampers · B0BJ14MYC9Baby ProductsWipes & Refills$18.86$19.97-6%Phiếu giảm 15% khi đặt mua định kỳCó4,8240.013Phân bố sao: 5★ 89% · 4★ 8% · 3★ 2% · 2★ 0% · 1★ 1%#4 Baby#2 Diaper Wipes & Refillsnull112 tùy chọnSize8CóProcter & Gamble754619/7546110030772073251ashnullnullWipes10.8 pounds10.7 x 9.2 x 7.9 inches588 Countnull12 thg 10, 202232117 thg 7, 2026
HP 63XL Black High-Yield Printer Ink Cartridge Printers | Works with DeskJet 1112, 2130, 3630;Envy 4510, 4520; OfficeJet 3830, 4650, 5200 | Eligible for Instant Ink | F6U64ANB00WJDWGA8 · 4 biến thểOffice ProductsInkjet Ink CartridgesKhông hiện giánullnullnullKhông4,7235.656Phân bố sao: 5★ 84% · 4★ 10% · 3★ 4% · 2★ 0% · 1★ 2%#72 Office Products#6 Inkjet Printer Ink Cartridgesnull46 tùy chọnSize8CóHPF6U64AN#140889296267423Blacknullnullnull5 gnull1 CountOriginal HP 63XL Black High-yield Ink Cartridge | Works withnull3.62018 thg 7, 2026
Amazon Basics Slim Velvet Non-Slip Space Saving Suit Clothes Hangers, Closet Organizer, Sturdy Construction, Ivory/Rose Gold, 50-PackAmazon Basics · B07Y39RVV3 · 17 biến thểHome & KitchenStandard HangersKhông hiện giánullnullPhiếu giảm 10%Không4,8234.278Phân bố sao: 5★ 86% · 4★ 10% · 3★ 3% · 2★ 0% · 1★ 1%#9 Home & Kitchen#1 Standard Hangersnull1712 tùy chọnColor + Size8KhôngAmazon Basics , this product may originate from China or Vietnam.null840095812375Ivory/Rose GoldPack of 50Plastic + velvetnull2.56 ouncesnull50 Countnullnull2.68818 thg 7, 2026
Amazon Basics Multipurpose Copy Printer Paper, 20 lb, 8.5 x 11 Inches, 10 Reams (5,000 Sheets), 92 Bright WhiteAmazon Basics · B01FV0F13E · 9 biến thểOffice ProductsCopy & Multipurpose Paper$56.97nullnullnullCó4,8224.435Phân bố sao: 5★ 86% · 4★ 9% · 3★ 3% · 2★ 1% · 1★ 1%#1 Office Products#1 Copy & Multipurpose Papernull911 tùy chọnSize + Style8KhôngAmazonnull841710143089Whitenullnullnull23.5 kg11"L x 8.5"W10 Countnullnull8017 thg 7, 2026
Utopia Bedding 16x24 Pillow Inserts, Set of 2, White – Indoor Decorative Throw Pillows for Bed, Sofa & Couch – Soft, Supportive & Fluffy Cushion InsertsUtopia Bedding · B0B8CYH18S · 24 biến thểHome & KitchenPillow Inserts$18.96$23.49-19%nullCó4,6217.778Phân bố sao: 5★ 79% · 4★ 11% · 3★ 5% · 2★ 2% · 1★ 3%#27 Home & Kitchen#1 Throw Pillow Inserts900+2421 tùy chọnColor + Size8CóUtopia BeddingUB2583840143547532White16x24 Inchnullnull3.4 pounds1"L x 1"W1.01 Countnullnull4.35218 thg 7, 2026
STANLEY Quencher H2.0 Tumbler with Handle and Straw 30 oz | Flowstate 3-Position Lid | Cup Holder Compatible for Travel | Insulated Stainless Steel Cup | BPA-Free | FrostSTANLEY · B0CK9PT53B · 42 biến thểHome & KitchenTumblers$25.00$40.00-38%nullCó4,7201.704Phân bố sao: 5★ 87% · 4★ 7% · 3★ 2% · 2★ 1% · 1★ 3%#2 Kitchen & Dining#1 Insulated Tumblersnull42121 tùy chọnColor + Size8CóStanley100000113429041604394546 +1Frost30 OuncesStainless Steelnull1.2 poundsnull1 CountQuenchernull3217 thg 7, 2026

Trang 1 / 102

10.000 dòng đầu của file đã bàn giao, khoảng 10%, thu thập từ 17/7/2026 đến 20/7/2026. Tên danh mục và sản phẩm giữ nguyên như trên Amazon.

Các bước kiểm tra mà dữ liệu đã qua

Đếm trên 10.000 dòng hiển thị.

  • 10.000 ASIN khác nhau trong 10.000 dòng: không có bản trùng
  • Có tên sản phẩm trên 100% số trang
  • Có điểm sao trên 99,8% số trang
  • Có đường dẫn danh mục trên 99,5% số trang
  • Có hạng bán chạy trên 99,1% số trang
  • Có giá trên 76,5% số trang2.352 trang không hiện giá, 1.981 trang trong đó vì sản phẩm không giao tới địa điểm nhận hàng; chỗ trống nào cũng ghi lại lý do.
  • Đối chiếu giá với giá niêm yết: 27 trang bị gắn cờHai mức chênh nhau từ 80% trở lên, nên một trong hai là giá theo đơn vị; các trang này không được tính vào số liệu giảm giá.
  • Một lược đồ cho mọi dòng: amazon-product-v1
  • Bộ trích xuất có phiên bản: 1.0.0 (9.450), 1.1.0 (550)
  • Mỗi trang được lưu nguyên như lúc thu thập (trung vị 2,8 MB HTML), nên có thể trích xuất lại một trường mà không cần vào lại trang

Lãnh đạo đọc được gì, và những trường nào trả lời

Mỗi nhu cầu gắn với các trường trả lời nó, để có thể dựng dashboard trên đó.

  • Giá

    Giá, mức giảm và khuyến mãi đặt cạnh giá của bạn, theo từng sản phẩm.

    • giá
    • giá niêm yết
    • mức giảm
    • khuyến mãi

  • Danh mục và biến thể

    Một ngành hàng chia thành bao nhiêu thương hiệu, sản phẩm, kích cỡ và màu.

    • đường dẫn danh mục
    • ASIN gốc
    • biến thể
    • thương hiệu

  • Nhu cầu

    Sản phẩm nào bán chạy, nhìn từ hạng bán chạy và số lượng đã mua.

    • hạng bán chạy
    • hạng trong danh mục con
    • đã mua tháng qua

  • Uy tín

    Khách hàng chấm mỗi sản phẩm bao nhiêu sao và phân bố sao ra sao.

    • điểm sao
    • lượt đánh giá
    • phân bố sao

Không hiển thị ở đây

  • Mô tả, gạch đầu dòng tính năng và tóm tắt đánh giá bằng AI của Amazon đã được thu thập, nhưng đó là văn bản của Amazon và người bán: từ điển chỉ nêu tỷ lệ điền.
  • Thông tin người bán và ô mua hàng, đường dẫn ảnh, và nhật ký vận hành của lượt thu thập. Khuyến mãi chỉ hiện loại và mức ưu đãi, không hiện nguyên văn.
  • Giá là mức mỗi trang hiển thị cho địa điểm nhận hàng đặt trong lượt chạy.

Thêm các bộ dữ liệu đã bàn giao

Năm bộ dữ liệu khác từ dự án khách hàng: nguồn, quy mô, dòng dữ liệu thật và điều dữ liệu cho thấy. Mở các dashboard được dựng từ chúng.

  • Thương mại điện tử B2B

    Danh mục phần cứng CNTT

    72.685 SKU × 14 trường

    Danh mục phần cứng CNTT: 30 dòng thật trên 72.685
    Thương hiệuMPNSản phẩm
    Xerox006R03005Xerox Cyan toner cartridge. Equivalent to HP CF031A. Compatible with HP Colour…
    Xerox006R03114Xerox Black toner cartridge. Equivalent to HP Q7551A. Compatible with HP…
    Xerox006R03254Xerox Yellow toner cartridge. Equivalent to HP CF382A. Compatible with HP…
    Xerox006R03455Xerox Black toner cartridge. Equivalent to HP CF400A. Compatible with HP Colour…

    Nguồn: Danh mục B2B công khai của EET Group

    Dữ liệu cho thấy

    Mười thương hiệu chiếm 71% danh mục; phần đuôi gồm 309 thương hiệu.

    Mở dashboardĐọc case study

  • Đối thủ

    Bài đăng trên trang doanh nghiệp

    15.192 bài × 14 trường

    Bài đăng trên trang doanh nghiệp: 25 dòng thật trên 15.192
    Công tyĐịnh dạngLượt thích
    AmazonVideo1142
    AmazonOther: Poll, Shared Post, etc1232
    AmazonVideo4412
    AmazonVideo2968

    Nguồn: Trang doanh nghiệp công khai trên LinkedIn

    Dữ liệu cho thấy

    Tương tác tập trung hơn nhiều so với số lượng bài đăng.

    Mở dashboardĐọc case study

  • Thị trường nhân sự

    Tin tuyển dụng an ninh mạng

    500 tin × 23 trường

    Tin tuyển dụng an ninh mạng: 31 dòng thật trên 500
    Vị tríLoại hìnhLương
    Cybersecurity Project ManagerContract$40 - $45
    Cybersecurity Project ManagerContract$75 - $85
    Cybersecurity Software Assurance Project Manager (PM3) - CSAPM…Contract, Third PartyN/A
    Cyber Security EngineerFull-timeUSD 100,000.00 - 115,000.00 per year

    Nguồn: Tin tuyển dụng công khai trên Dice.com

    Dữ liệu cho thấy

    Làm từ xa là mặc định, không phải ngoại lệ.

    Mở dashboardĐọc case study

  • Nghiên cứu

    Kho bài báo nghiên cứu

    239.037 bài × 43 trường

    Kho bài báo nghiên cứu: 32 dòng thật trên 239.037
    Tiêu đềLượt tảiLượt xem
    The Role of Assortment Size and Option Attractiveness in Consumer Choice Among Retailers155733
    The London 2012 Olympic Gamesnull2625
    A Short Note on An Unusual MVNO - Firearms, Patriotism and Religionnull373
    Temporal Differences in the Role of Marketing Communication in New Product Categoriesnull653

    Nguồn: Trang bài báo công khai trên SSRN

    Dữ liệu cho thấy

    Lượt tải dồn về số ít: 10% bài báo được tải nhiều nhất chiếm 65% lượt tải.

    Mở dashboardĐọc case study

  • Y tế

    Tài liệu y khoa

    38 trường trên 26,8 nghìn file

    Tài liệu y khoa: 32 dòng thật trên 26,8 nghìn
    Tiêu đềNămTruy cập
    Antidiabetic Indian plants: a good source of potent amylase inhibitors.2011full_text
    Potential benefits on impairment of endothelial function after a high-fat meal of 4 weeks…2011full_text
    Assessment of the mutagenic activity of extracts of brazilian propolis in topical…2011full_text
    Cranberry and grape seed extracts inhibit the proliferative phenotype of oral squamous…2010full_text

    Nguồn: PubMed, PMC và ClinicalKey, gộp làm một

    Ba nguồn gộp vào một lược đồ; mỗi bản ghi giữ mã định danh của cơ sở dữ liệu gốc.

Dữ liệu thị trường cho từng lãnh đạo

Mỗi lãnh đạo đặt cho thị trường một câu hỏi khác nhau. Một hệ thống thu thập câu trả lời từ nguồn công khai và bàn giao cho từng người theo đúng dạng họ đọc.

CEO

Thị trường và đối thủ

  1. Câu hỏi

    Đối thủ nào đã vào ngành hàng của chúng ta quý này, và với mức giá nào?

  2. Thu thập từ

    • Amazon
    • Shopify
    • Website đối thủ
    • Crunchbase

  3. Dữ liệu trả vềTần suất: Hằng tuần

    • Người bán và thương hiệu mới trong từng ngành hàng
    • Mức giá của họ đặt cạnh giá của chúng ta
    • Họ bán ở đâu và danh mục tăng nhanh đến mức nào

  4. Quyết định được hỗ trợ

    Giữ thị phần ở đâu và mở rộng ở đâu

  5. Chỉ số cần theo dõi

    Tỷ trọng sản phẩm của chúng ta trong từng ngành hàng

CFO

Giá

  1. Câu hỏi

    Ở những sản phẩm bán chạy nhất, chúng ta đang đặt giá cao hơn thị trường ở đâu?

  2. Thu thập từ

    • Amazon
    • Walmart
    • eBay
    • Website đối thủ

  3. Dữ liệu trả vềTần suất: Hằng ngày

    • Giá của đối thủ cho cùng sản phẩm, khớp theo EAN hoặc MPN
    • Khuyến mãi và combo ngay khi bắt đầu
    • Chỉ số giá theo từng dòng sản phẩm

  4. Quyết định được hỗ trợ

    Điều chỉnh giá nào, và điều chỉnh bao nhiêu

  5. Chỉ số cần theo dõi

    Chỉ số giá so với thị trường

CMO

Thương hiệu và đánh giá

  1. Câu hỏi

    Khách hàng khen và chê gì trong đánh giá về sản phẩm của đối thủ?

  2. Thu thập từ

    • Amazon
    • Yelp
    • Tripadvisor
    • LinkedIn

  3. Dữ liệu trả vềTần suất: Hằng tuần

    • Điểm và nhận xét theo sản phẩm và theo đối thủ
    • Chủ đề tăng hoặc giảm mỗi tháng
    • Bài đăng của đối thủ và bài nào có tương tác

  4. Quyết định được hỗ trợ

    Nên nhấn mạnh điều gì, và khai thác khoảng trống nào

  5. Chỉ số cần theo dõi

    Khoảng cách điểm đánh giá với đối thủ gần nhất

COO

Nguồn cung

  1. Câu hỏi

    Nhà cung cấp nào đang thiếu hàng hoặc thay đổi danh mục?

  2. Thu thập từ

    • Danh mục nhà cung cấp
    • Cổng nhà phân phối
    • Sàn thương mại điện tử

  3. Dữ liệu trả vềTần suất: Hằng ngày

    • Tình trạng hàng trên danh mục của các nhà cung cấp
    • Sản phẩm mới và sản phẩm ngừng bán
    • Thay đổi giá trên các dòng chúng ta mua

  4. Quyết định được hỗ trợ

    Đặt hàng sớm hay chuyển nhà cung cấp ở đâu

  5. Chỉ số cần theo dõi

    Tỷ lệ sản phẩm còn hàng ở ít nhất hai nhà cung cấp

CRO

Bán hàng

  1. Câu hỏi

    Doanh nghiệp nào đang có tín hiệu mua thứ chúng ta bán?

  2. Thu thập từ

    • LinkedIn
    • Indeed
    • Crunchbase
    • Danh bạ doanh nghiệp

  3. Dữ liệu trả vềTần suất: Hằng tuần

    • Doanh nghiệp đang tuyển những vị trí mà sản phẩm của ta phục vụ
    • Chi nhánh mới, sản phẩm mới và vòng gọi vốn
    • Thông tin doanh nghiệp từ trang công ty công khai

  4. Quyết định được hỗ trợ

    Đội kinh doanh gọi khách hàng nào trước

  5. Chỉ số cần theo dõi

    Tín hiệu mới trên mỗi khách hàng mục tiêu

CHRO

Nhân sự

  1. Câu hỏi

    Đối thủ trả bao nhiêu cho những vị trí chúng ta đang tuyển?

  2. Thu thập từ

    • Indeed
    • Glassdoor
    • Dice
    • LinkedIn

  3. Dữ liệu trả vềTần suất: Hằng tháng

    • Khoảng lương từ tin tuyển dụng công khai
    • Tỷ lệ làm từ xa, hybrid và tại chỗ
    • Kỹ năng và cấp bậc mỗi vị trí yêu cầu

  4. Quyết định được hỗ trợ

    Khoảng lương đề nghị, và tuyển ở đâu

  5. Chỉ số cần theo dõi

    Mức đề nghị của ta so với trung vị thị trường

Bàn giao đến nơi đội ngũ đang làm việc

Kho dữ liệu

  • BigQuery
  • Snowflake
  • Postgres
  • Amazon S3

Bảng tính

  • Google Sheets
  • Excel
  • File CSV và JSON

Dashboard

  • Looker Studio
  • Power BI
  • Tableau

Ứng dụng và cảnh báo

  • REST API
  • Webhook
  • Slack
  • Teams
  • Email

Mỗi lần bàn giao giữ nguyên lược đồ, nên dashboard hay mô hình dựng trên dữ liệu không bao giờ bị vỡ.

Chỉ trang công khai, thu thập với tốc độ vừa phải: không lấy gì sau đăng nhập hay tường phí, và không thu thập dữ liệu cá nhân khi không có cơ sở pháp lý.

Chúng tôi thu thập gì, và từ đâu

Phần lớn dự án thuộc bốn nhóm việc sau. Nếu nguồn công khai và mục đích sử dụng của bạn hợp pháp, chúng tôi chốt phạm vi ngay trong buổi trao đổi đầu tiên.

  • Thương mại điện tử và bán lẻ

    Giá, khuyến mãi, tồn kho, điểm và nhận xét trên các sàn và cửa hàng trực tuyến, khớp với sản phẩm của chính bạn.

    Người đọc
    Đội giá, ngành hàng và thương mại điện tử
    Trường thường gặp
    • Giá
    • Khuyến mãi
    • Tồn kho
    • Điểm đánh giá
    • Nhận xét
    • Người bán
    Nguồn
    • Amazon
    • Shopify
    • Walmart
    • eBay
    • Etsy

  • Thông tin đối thủ

    Danh mục sản phẩm, trang giá, thay đổi danh mục, bài đăng và tuyển dụng của đối thủ, theo dõi theo lịch.

    Người đọc
    Ban lãnh đạo, chiến lược và marketing
    Trường thường gặp
    • Sản phẩm
    • Giá
    • Sản phẩm mới
    • Bài đăng
    • Tương tác
    • Vị trí tuyển
    Nguồn
    • LinkedIn
    • Twitter/X
    • YouTube
    • Instagram
    • Crunchbase

  • Thị trường và nhu cầu

    Tin đăng, danh bạ, đánh giá và nghiên cứu giúp đo quy mô thị trường và thấy thị trường đang dịch chuyển về đâu.

    Người đọc
    Đội chiến lược, nghiên cứu và đầu tư
    Trường thường gặp
    • Tin đăng
    • Ngành hàng
    • Đánh giá
    • Địa điểm
    • Xu hướng
    • Trích dẫn
    Nguồn
    • Yelp
    • Booking.com
    • Tripadvisor
    • SSRN
    • Reddit

  • Yêu cầu riêng

    Bất kỳ nguồn công khai nào bạn chỉ định, từ gói thầu, sổ đăng ký, danh mục đến tài liệu, PDF và API công khai, theo đúng lược đồ bạn cần.

    Người đọc
    Mọi đội ngũ có nhu cầu dữ liệu định kỳ
    Trường thường gặp
    • Trường của bạn
    • Lược đồ của bạn
    • Lịch của bạn
    Nguồn
    • Sổ đăng ký công khai
    • Cổng đấu thầu
    • Tài liệu và PDF
    • API công khai

Nền tảng chúng tôi đã thu thập

Số dự án theo từng nền tảng, từ kho lưu trữ 164 dự án khách hàng, trong đó 109 dự án thu thập dữ liệu web. Các thương hiệu là nguồn dữ liệu, không phải khách hàng.

  1. Twitter/X27 dự án
  2. YouTube27 dự án
  3. Facebook26 dự án
  4. LinkedIn21 dự án
  5. Amazon20 dự án
  6. Instagram18 dự án
  7. Pinterest8 dự án
  8. Shopify7 dự án
  9. TikTok6 dự án
  10. Quora5 dự án
  11. Reddit5 dự án
  12. SSRN4 dự án
  13. Threads4 dự án
  14. Crunchbase3 dự án
  15. Telegram3 dự án
  16. Yelp3 dự án
  17. Indeed2 dự án
  18. Booking.com2 dự án
  19. Etsy2 dự án
  20. Discord2 dự án
  21. eBay1 dự án
  22. Walmart1 dự án
  23. Glassdoor1 dự án
  24. Tripadvisor1 dự án
  25. ZoomInfo1 dự án
  26. Apollo1 dự án
  27. Freelancer1 dự án

Cũng đã thu thập từ

  • Google Maps
  • Tin tuyển dụng Dice.com
  • PubMed
  • PubMed Central
  • ClinicalKey
  • Dữ liệu điều độ AEMO
  • Danh mục EET Group
  • Common Crawl
  • Cổng tài liệu sửa chữa Kia
  • Trang tuyển dụng Workday
  • Trang tuyển dụng Greenhouse
  • Gói thầu BuyICT
  • Hồ sơ tòa án và hồ sơ công khai
  • Tin bất động sản
  • Tỷ lệ cược nhà cái
  • Sàn NFT
  • Danh sách hội nghị
  • Tài liệu PDF và OCR
  • Kênh Telegram
  • Máy chủ Discord

Những gì chúng tôi không bao giờ thu thập

  • Bất cứ thứ gì sau đăng nhập hoặc tường phí
  • Dữ liệu cá nhân khi không có cơ sở pháp lý
  • Nguồn mà bạn không có lý do hợp pháp để sử dụng

Từ một trang web đến một quyết định

Bảy công đoạn biến một trang công khai thành dòng dữ liệu sạch mà đội ngũ tin được. Chọn một công đoạn để xem điều gì diễn ra ở đó và nó bàn giao gì cho công đoạn sau.

Công đoạn 1 / 7

Lập bản đồ nguồn

Mỗi nguồn được lập bản đồ trước: những trang cần đọc, những trường cần lấy, tần suất thay đổi và dòng dữ liệu phải trông thế nào.

Công cụ

  • Sitemap
  • Trang tìm kiếm
  • Danh sách URL

Bàn giao tiếpBản đồ nguồn và lược đồ từng trường để bạn duyệt

Công đoạn 2 / 7

Lập lịch

Job chạy theo lịch của bạn, từ hằng giờ đến hằng tháng, trong tài khoản cloud của bạn, job nào cũng được thử lại và ghi log.

Công cụ

  • Cloud Run
  • AWS Lambda
  • GitHub Actions

Bàn giao tiếpCác lượt chạy đúng giờ và báo cáo việc đã làm

Công đoạn 3 / 7

Tải và hiển thị trang

Gửi yêu cầu thường khi trang cho phép, dùng trình duyệt thật khi trang cần, luôn ở tốc độ vừa phải.

Công cụ

  • Playwright
  • Scrapy
  • Selenium

Bàn giao tiếpMọi trang đích, đã hiển thị và được lưu lại

Công đoạn 4 / 7

Trích xuất

Các trường được đọc từ mã HTML và dữ liệu có cấu trúc của trang; văn bản tự do như giá hay ngày được phân tích thành trường có kiểu dữ liệu rõ ràng.

Công cụ

  • BeautifulSoup
  • JSON-LD
  • Python

Bàn giao tiếpDòng dữ liệu thô, mỗi bản ghi một dòng, đủ mọi trường

Công đoạn 5 / 7

Kiểm tra

Mỗi dòng được đối chiếu với lược đồ: kiểu dữ liệu, trường bắt buộc, miền giá trị và bản trùng. Dòng không đạt bị giữ lại, không được bàn giao.

Công cụ

  • Pydantic
  • JSON Schema
  • pytest

Bàn giao tiếpChỉ những dòng đạt, kèm báo cáo những gì không đạt

Công đoạn 6 / 7

Chuẩn hóa và khớp

Giá, đơn vị và ngày tháng về một định dạng, và cùng một sản phẩm được khớp giữa các nguồn theo EAN, MPN hoặc tên.

Công cụ

  • pandas
  • dbt
  • PostgreSQL

Bàn giao tiếpMột bảng sạch cho mọi nguồn

Công đoạn 7 / 7

Bàn giao và giám sát

Dữ liệu đến nơi đội ngũ làm việc. Tỷ lệ thành công, khối lượng và độ mới được theo dõi, và khi bố cục trang đổi, cảnh báo bật lên trước khi dữ liệu sai được bàn giao.

Công cụ

  • BigQuery
  • Google Sheets
  • Slack

Bàn giao tiếpDữ liệu đúng lịch, và cảnh báo khi nguồn thay đổi

Dữ liệu đủ tin cậy để trình hội đồng quản trị

Dữ liệu sai tốn kém hơn không có dữ liệu. Mỗi lượt chạy được kiểm tra trước khi bàn giao, và mỗi nguồn được theo dõi sau khi vận hành.

  • Lược đồ và kiểu dữ liệu

    Mỗi trường có kiểu và định dạng riêng. Giá đến dưới dạng chữ, hay ngày không đọc được, sẽ chặn dòng đó lại.

  • Độ đầy đủ

    Trường bắt buộc phải có mặt. Lượt chạy nào trả về ít hơn lượt trước sẽ bị đánh dấu trước khi bàn giao.

  • Bản trùng

    Bản trùng hoàn toàn được đánh dấu chứ không bị ẩn đi, để bạn quyết định; cùng một sản phẩm từ hai nguồn được khớp theo EAN, MPN hoặc tên.

  • Độ mới

    Mỗi dòng mang thời điểm thu thập, nên dashboard không bao giờ lấy dữ liệu hôm qua làm hôm nay.

  • Thay đổi bố cục

    Khi website đổi giao diện, số trường trích xuất được sụt xuống sẽ bật cảnh báo, và bộ chọn được sửa trước lượt chạy kế tiếp.

  • Nguồn gốc từng dòng

    URL nguồn, thời điểm thu thập và phiên bản bộ trích xuất đi kèm mỗi dòng, nên mọi con số đều truy được về gốc.

Sau khi vận hành

  • Tỷ lệ thành công, khối lượng và độ mới được theo dõi ở mỗi lượt chạy
  • Cảnh báo gửi đến bạn và chúng tôi khi nguồn thay đổi
  • Sửa lỗi trong 30 ngày hỗ trợ sau khi vận hành
  • Sau đó là phạm vi cố định hằng tháng, nếu bạn muốn chúng tôi tiếp tục vận hành

Cách chúng tôi triển khai

Năm giai đoạn, mỗi giai đoạn kết thúc ở một cổng bạn duyệt. Phần lớn dự án có từ một đến năm nguồn đi vào vận hành trong hai đến sáu tuần.

  1. Tư vấn miễn phí

    30 phút

    Bạn nhận được

    • Nguồn, các trường và tần suất bạn cần
    • Mỗi nguồn cho phép những gì, và cách thu thập đúng

    Phần của bạnNêu các nguồn và những quyết định cần dữ liệu

    Cổng: Phạm viPhạm vi bằng văn bản và báo giá cố định bạn chấp thuận

  2. Rà soát nguồn và dữ liệu mẫu

    Tùy số nguồn

    Bạn nhận được

    • Bản đồ nguồn và lược đồ từng trường
    • File mẫu từ chính các nguồn của bạn

    Phần của bạnXem các dòng mẫu và duyệt các trường

    Cổng: Dữ liệu mẫuBạn duyệt các trường và các dòng mẫu

  3. Xây dựng

    Tùy nguồn và cách trang hoạt động

    Bạn nhận được

    • Crawler, bộ trích xuất và bộ kiểm tra cho từng nguồn
    • Bàn giao vào kho dữ liệu, bảng tính hoặc API của bạn

    Phần của bạnCấp quyền vào nơi nhận dữ liệu

    Cổng: Kiểm thửMọi nguồn đạt bài kiểm tra trên trang thật

  4. Chạy thử

    Vài lượt chạy theo lịch

    Bạn nhận được

    • Các lượt chạy theo lịch của bạn, đối chiếu với dữ liệu mẫu
    • Báo cáo lượt chạy: khối lượng, độ đầy đủ và lỗi

    Phần của bạnĐối chiếu vài lượt chạy với điều bạn kỳ vọng

    Cổng: Độ chính xácĐộ đầy đủ và độ chính xác bạn đồng ý

  5. Vận hành và giám sát

    Gồm 30 ngày hỗ trợ

    Bạn nhận được

    • Giám sát và cảnh báo cho mọi nguồn
    • Tài liệu và mã nguồn, trong tài khoản của bạn

    Phần của bạnDùng dữ liệu; cảnh báo đến tay bạn khi nguồn thay đổi

    Cổng: Vận hànhDữ liệu đến đúng lịch, cảnh báo đến được tay bạn

Điều quyết định thời gian

Số nguồn
Bao nhiêu website, và mỗi website có bao nhiêu loại trang
Cách trang hoạt động
Trang tĩnh làm nhanh; trang dựng trong trình duyệt cần lâu hơn
Tần suất cập nhật
Hằng tháng, hằng tuần, hằng ngày hay hằng giờ
Hình thức bàn giao
File, bảng trong kho dữ liệu, API hay dashboard

Nguồn đơn giản có thể vận hành sớm hơn; nguồn thay đổi thường xuyên hoặc cần bàn giao phức tạp sẽ lâu hơn. Buổi rà soát nguồn sẽ chốt ngày cho lộ trình của bạn.

TỪ DỰ ÁN ĐÃ BÀN GIAO

Công cụ đằng sau mỗi lượt thu thập

Trình duyệt và crawler, kiểm tra dữ liệu, lập lịch, lưu trữ và bàn giao: công cụ đã kiểm chứng, chọn theo từng nguồn và chạy trong cloud của bạn.

Chọn một lớp, hoặc để quỹ đạo tự giới thiệu lần lượt.

Trình duyệt và crawler

6 công cụ

Trình duyệt thật khi trang cần, crawler nhanh khi trang không cần, luôn ở tốc độ vừa phải.

  • Playwright
  • Scrapy
  • Selenium
  • Selenium Grid
  • Bộ trích xuất Python

Trên quỹ đạoPlaywright · Scrapy · Selenium

Khách hàng nói gì về các dự án dữ liệu

Đội ngũ tại hơn 15 quốc gia tin tưởng nhà sáng lập, người chốt phạm vi dự án dữ liệu, xây dựng và vận hành nó.

Đã xác minh trên Upwork

5.0

71 đánh giá của khách hàng · 69 đánh giá năm sao

  • 5 sao69
  • 4 sao2
  • 3 sao0
  • 2 sao0
  • 1 sao0
Xem đánh giá trên Upwork
CK

Chris K.

30/12/2025

“Lập trình viên backend rất giỏi, rất đáng để giới thiệu!”

Giai đoạn 2 của nền tảng FT

Đánh giá đã xác minh trên Upwork

GB

Gilad B.

18/12/2025

“Kiến thức vững, chuyên nghiệp và giao tiếp tốt.”

Thiết kế cấu trúc dữ liệu chi tiết và toàn bộ luồng công cụ

Đánh giá đã xác minh trên Upwork

JD

Julio D.

16/07/2025

“Tran làm việc rất tốt, kiến thức vững và phản hồi nhanh.”

Công cụ thu thập dữ liệu web bằng R

Đánh giá đã xác minh trên Upwork

MM

Madison M.

31/03/2025

“Phản hồi nhanh, bắt đầu công việc sớm và mang lại kết quả rất tốt. Tôi chắc chắn sẽ tiếp tục liên hệ trong tương lai.”

Rà soát pull request trên Git

Đánh giá đã xác minh trên Upwork

DC

David C.

29/03/2025

“Nền tảng giúp phối hợp với lập trình viên rất thuận tiện.”

Triển khai luồng dữ liệu trên AWS, GCP và Azure

Đánh giá đã xác minh trên Upwork

AJ

Alex J.

18/02/2025

“Nhanh, phản hồi tốt, chuyên nghiệp. Tôi cũng rất trân trọng bộ tài liệu chi tiết.”

Thu thập và trích xuất dữ liệu web bằng công cụ tự động

Đánh giá đã xác minh trên Upwork

TS

Tomer S.

12/12/2024

“Van làm việc chuyên nghiệp, có chuyên môn vững và bàn giao sớm hơn kế hoạch. Quá trình trao đổi rõ ràng, phối hợp thuận lợi và kết quả đạt chất lượng cao.”

Xây dựng công cụ thu thập dữ liệu Facebook

Đánh giá đã xác minh trên Upwork

PT

Preska T.

21/10/2024

“Tran hiểu rõ yêu cầu ngay từ đầu, mang lại chuyên môn phù hợp và tạo khác biệt rõ rệt cho kết quả dự án. Sự tận tâm trong công việc là điểm nổi bật.”

Thu thập và trích xuất dữ liệu web bằng công cụ tự động

Đánh giá đã xác minh trên Upwork

AW

Alice W.

26/05/2024

“Chúng tôi rất may mắn khi tìm được Van. Anh đã hỗ trợ cấu trúc cơ sở dữ liệu, có kiến thức vững và phối hợp rất tốt. Chúng tôi vẫn tiếp tục làm việc cùng anh.”

Trang quản trị dữ liệu

Đánh giá đã xác minh trên Upwork

NS

Nic S.

15/05/2024

“Làm việc xuất sắc. Tôi rất vui nếu được làm việc với Tran trong tương lai.”

Rà soát và đề xuất dự án thu thập dữ liệu web

Đánh giá đã xác minh trên Upwork

PK

Paris K.

22/03/2024

“Tran đã làm rất tốt việc triển khai API REST trên nền LAMP lên Microsoft Azure. Chúng tôi rất vui được làm việc lại với anh.”

Phát triển API REST bằng Python cho nghiên cứu trải nghiệm người dùng

Đánh giá đã xác minh trên Upwork

YK

Yalcin K.

18/03/2024

“Van là một kỹ sư dữ liệu giỏi. Anh tham gia dự án và giúp xây dựng luồng dữ liệu riêng trong vòng vài tuần.”

Phát triển kết nối Shopify bằng Python

Đánh giá đã xác minh trên Upwork

Câu hỏi lãnh đạo thường hỏi về web scraping

Gửi cho chúng tôi những trang bạn cần

Nêu vài nguồn và các trường bạn cần. Trong buổi tư vấn miễn phí 30 phút, nhà sáng lập cho bạn biết những gì thu thập được, bằng cách nào và bao lâu một lần. Sau đó là phạm vi bằng văn bản và báo giá cố định, và file mẫu từ chính các nguồn của bạn đến trước khi xây dựng toàn bộ.

Chúng tôi chỉ dùng thông tin này để phản hồi về dự án của bạn. Xem chính sách quyền riêng tư.

Tran Tien Van, Founder của Van Data Team, sẵn sàng hỗ trợ

Khám phá thêm

Các dịch vụ liên quan của Van Data Team

Những dịch vụ thường đi kèm với dịch vụ này, do cùng một đội ngũ có nhà sáng lập trực tiếp dẫn dắt.

Xem cả 6 dịch vụ