lấy dữ liệu động trên website bằng c#

[mmnol]

chào ACE,

hiện tại mình muốn lấy dữ liệu tự động trên website, nhưng website nó load lên 1 lúc thì mới có dữ liệu.
mình đã thử dùng document.GetElementById("id_get").InnerText; để lấy nhưng không được
đã thử webBrowser1_DocumentCompleted và thư viện HtmlAgilityPack đều không thể lấy được

ACE nào có kinh nghiệm cho mình xin lời khuyên, làm sao chờ nó load xong rồi mới lấy dữ liệu được, cảm ơn ạ

trân trọng,

 

[luxubushops]

1 lúc mới có dữ liệu thì bạn xem có phải web đó cũng lấy từ API ko, nếu nó lấy từ API thì bạn cũng lấy từ đó.

 

[present]

dùng selenium đi b

 

[present]

1 lúc mới có dữ liệu thì bạn xem có phải web đó cũng lấy từ API ko, nếu nó lấy từ API thì bạn cũng lấy từ đó.

sao có cái chứ ký ở dưới vậy bạn

 

[mmnol]

dùng selenium đi b

mình chưa dùng cái này, để thư xem sao

 

[vipper69]

xài puppeteer, nó cào được cả trang web chạy bằng js luôn

 

[ducanhmeta]

xài puppeteer, nó cào được cả trang web chạy bằng js luôn

Bạn có hướng dẫn sử dụng cái này để cào không.

 

[vipper69]

Bạn có hướng dẫn sử dụng cái này để cào không.

google search thiếu gì :v

 

[ducanhmeta]

google search thiếu gì :v

Mình hay dùng plugin của wp để crawl nhưng ko craw dc nhiều vì sẽ nặng mysql, cái này craw có cần lưu mysql ko bạn.

 

[vipper69]

cào dữ liệu để lưu vào database mà bác hỏi có nặng không :v

 

[themen99]

chào ACE,

hiện tại mình muốn lấy dữ liệu tự động trên website, nhưng website nó load lên 1 lúc thì mới có dữ liệu.
mình đã thử dùng document.GetElementById("id_get").InnerText; để lấy nhưng không được
đã thử webBrowser1_DocumentCompleted và thư viện HtmlAgilityPack đều không thể lấy được

ACE nào có kinh nghiệm cho mình xin lời khuyên, làm sao chờ nó load xong rồi mới lấy dữ liệu được, cảm ơn ạ

trân trọng,

Bác check coi có phải dữ liệu đó bind bằng api ko nếu nó bind bằng api thì hốt từ api lấy result luôn.
HtmlAgilityPack củ lil này nhiều cái nó loser lắm

 

[hson]

Bạn dùng Selenium í

 

[mmnol]

xài puppeteer, nó cào được cả trang web chạy bằng js luôn

mình chưa tìm hiểu cái này để mình tìm hiểu xem sao

Bác check coi có phải dữ liệu đó bind bằng api ko nếu nó bind bằng api thì hốt từ api lấy result luôn.
HtmlAgilityPack củ lil này nhiều cái nó loser lắm

mình biết nó đang xài api, mà mình vẩn còn gà, chưa biết api gì, cho mình xin lời khuyên

Bạn dùng Selenium í

mình cũng đang định dùng selenium để thử


CẢM ƠN TẤT CẢ MỌI NGƯỜI CHO MÌNH LỜI KHUYÊN, TRÂN TRỌNG!

 

[khanhne]

Bạn có thể xem thử dữ liệu load sau bao lâu để thêm code delay trước khi chạy JS lấy dữ liệu, hoặc để đoạn code lấy dữ liệu chạy liên tục vài s 1 lần đến khi có dữ liệu cũng đc. Nhiều lúc data nó load = code JS, lại còn load dạng setTimeout thì khó có browser/lib nào detect được đến khi nó load xong lắm.

 

[tvmodvn]

Vấn đề của bạn là do lúc bạn lấy html web thì javascript của họ chưa chạy, nên việc bạn lấy giá trị của nó qua javascript sẽ không được. Đó là nhược điểm của cái HtmlAgilityPack