大家知道 X 平臺的反爬蟲機制其實蠻強的,所以很難去爬它的文章。 今天測試原本是想說用 n8n 結合 Apify 去抓 X 平臺的資料,但是因為要付錢,所以我就覺得很猶豫;畢竟我很多的工作都還只是在測試性質,還不想那麼快就付錢。 有人介紹可以用 OpenCli,因為既然要使用 AI agent 的話,讓 AI 去操作 OpenCli 這個專案,將瀏覽器轉化成終端機的模式,很多爬文、反爬蟲的機制其實就會失效。 所以今天使用 Openclaw,搭配 OpenCli 去抓 X 平臺的資料,目前測試效果還挺不錯的。 如果各位有抓取 X 平臺資料的需求,或者是抓 Threads、Facebook 的需求,大家可以測試看看。 不過為了避免真的被平台封鎖,建議還是先用小號去測試。