[請益] js有辨法寫爬蟲嗎
打算寫一支591爬蟲
有符合條件的新物件就跳出通知
因為懶得架server跟DB 想用chrome extension來做
稍微做了研究
發現要取得房屋列表json
需要先進到591頁面
取得cookie的591_new_session跟html裡面<meta>中的csrf-token
分別放到get reqeust中的header跟cookie
才能取到我要的資料
想問用js能做得到嗎 還是一定要後端語言呢
如果要做成後端 要能設定定時執行
還要考慮跨電腦同步db問題 只打算存物件id用來判斷重複物件
想到就覺得麻煩...
好像還沒看過有人用純js寫爬蟲的?
--
可以
應該可以用 nodejs 試試?
JS 會先處理 CORS 到爆
cors超討厭的 害我的載片小幫手沒辨法在頁面inject預覽圖 只能用開新視窗的方式
※ 編輯: vi000246 (219.68.118.128 臺灣), 07/18/2020 19:39:50可以 查apify
啊 不過我抓的是靜態頁面 可能不符
非常討厭CORS
python他不香嗎
db跟server 用docker不就幫你裝好了
真香
我覺得你可以先搞懂為什麼會有CORS存在 還有api gateway
不然直接去591客服問怎麼爬你們家的網頁
https://reurl.cc/9Elgea + cron 給我香起來
....
用node.js寫 不會很難 用js browser會因為cors擋
11樓意見不錯，已笑翻
最近剛好在學 你須要的是Puppeteer
extension在background發XHR應該就不會被CORS擋
不過要先在manifest的permissions把目標網域加進去
直接nodejs不用cors啦
用cheerio處理html 抓取你要的部分就好
大家講的都是node.js 看來只能用後端寫了
在瀏覽器執行一定撞cors，載片我都寫Python
直接把連結用 書籤放js丟給python後端XD
cors可以關掉瀏覽器的cors看看,或是你webpack用proxy
繞過去，但就只是自己用爽的而已
我打算用python寫了 買個便宜主機設定cron job
資料庫用jsonbin 應該能解決我的問題
SSR 還好，如果你是 CSR 的話就一定要用後端處理了，puppe
teer 操作萬解
前端我用angular 框架 用proxy 啟動不會cors哦
樓上，ng就是幫你起了一個本地的node伺服器做proxy啊.
..
有proxy當然不會有cors啊 =_=
GitHub Actions 就能搞定的東西，為什麼要自己租伺服器？
591我之前用python直接打request，一下就搞定了
放在heroku上也免費
這樣找租屋變好方便XD
Heroku免費的應該有限制吧！還是去官網看一下比較好。
heroku我記得一天要休眠6小時 沒人戳也會自動休眠
heroki不是綁信用卡就不用休眠？
*heroku
11樓XD
X
Re: [請益] 每日FBX之亂到此結束？低調回覆這篇, 小弟之前做投資網站時有寫爬蟲去抓每日FBX官網的報價, 然後有發現網站 雖然寫要看每日報價必須登入會員, 可是其實他技術上根本沒有阻擋, 就算沒有會員的 cookie, 打下面這個API就能拿到近一年的每日報價了... 拿到的json檔案想方便觀看可以用下面的網站解析json:![Re: [請益] 每日FBX之亂到此結束？](https://i.imgur.com/easo4Bgb.jpg "Re: [請益] 每日FBX之亂到此結束？")
54
[請益] 第二語言我應該不算小弟了 金融業待七年中年轉職跑去上大數據的課程，一開始是覺得花錢買mul tichart還不如花錢學程式交易，python它的簡潔有力不輸給multichart power language 學完反而覺得自己想走 資料處理、SMT、爬蟲、網頁後端 現實與想法還是有差的投104百封都是感謝函 想問版上的大家是疫情的原因 還是3X歲就51
[閒聊] EVGA官網爬蟲程式下載連結： 使用方法： 安裝 Node.js () 開啟cmd後cd到專案內![[閒聊] EVGA官網爬蟲程式](https://i.imgur.com/onFsATob.png "[閒聊] EVGA官網爬蟲程式")
25
[問卦] 欸 為什麼我資料都成功丟回前端了 秀不出*** 幹你媽的我找到問題了 另外一個要丟回來的資料裡面 有幾個欄位是NaN *** *** 就算我api response那邊下了 default=str 也是不行 ajax看到NaN就不吃 *** *** error以後還是要寫 媽的這弱智問題卡一上午*** 幹你媽的 javascript到底什麼鬼啦 postman測試ok![[問卦] 欸 為什麼我資料都成功丟回前端了 秀不出](https://i.imgur.com/TIidihrb.png "[問卦] 欸 為什麼我資料都成功丟回前端了 秀不出")
20
Re: [請益] Spring boot的依賴注入降低耦合的例子在這個時代依賴注入最重要的用途，特別是在後端開發是讓Application 在多個不同的 環境下(Development, Production, local, etc) 能夠根據profile 組出能正確執行的Application 多型在這裡當然有他的地位，但是一般來說，大部分不接觸system boundary的service objects 是不太需要多型的，如果是java，那種一個interface 只有一個implementation20
Re: 請益Request爬蟲手機打字不想打太多 一般瀏覽器打開頁面可以分成幾個步驟： 1. 請求 HTML 2. 解析 HTML 並下載 assets (img, css, js) 3. 執行 js11
Re: [討論] 請大家聊聊 JavaScript的缺陷推 laputaflutin: 同意樓上，不過看到這次美國大選很多新聞網都拿 11/04 21:02 → laputaflutin: svelte來寫，感覺蠻有趣的，應該會拿來試試看 11/04 21:03 禁不住好奇心的我終究還是去看一下 Svelte， 原來它是個反 React、反 Vue、反前端在瀏覽器動態解析樣板的框架兼開發工具。 它讓你在開發時期能夠先以 js 程式碼定義資料，![Re: [討論] 請大家聊聊 JavaScript的缺陷](https://drek4537l1klr.cloudfront.net/volkmann/Figures/cover.jpg "Re: [討論] 請大家聊聊 JavaScript的缺陷")
10
[請益] Java薪資待遇區間?大家好 請問從Java培訓班(6XX小時)結業， 找尋工作該從哪個方向著手， 薪資待遇應該落在哪個範圍? 學歷：澳洲國立大學（非野雞學校）![[請益] Java薪資待遇區間?](https://miro.medium.com/v2/resize:fit:1200/0*odB33Z7jAKAFHBtb.png "[請益] Java薪資待遇區間?")
5
Re: [其他] 用Excel建立投資回測（不會程式也可以）推文好短，我直接回一篇好了。 ※ 引述《yahoo168 (努力就會有騷貨)》之銘言： : → kslman : 我覺得假如是美股...直接用GoogleFinance就好了 06/02 22:54 : → kslman : 而且要回測，直接結合線上試算表 06/02 22:55 :1
Re: 請益Request爬蟲追了一天動漫來回點東西， 轉生公主天才千金好香，槍神畫面好屌 遇到問題時除了試著使用其它工具或做法， 還能做的 - 或許也是應該先做的 - 是瞭解問題。 或許你是後端工程師，對前端不熟，那看看你們公司有沒有前端工程師可以問，
