[請益] 大家爬蟲都爬什麼好玩?
如題
本人都是在爬 PTT 爬 google 爬國內外論壇 購物網站 公司資訊
因為對金融不熟 比較沒有爬股票這類
剛開始是覺得很好玩
因為宅宅人生所需要的一切
不管是 2D 還是西洽版 電影版 這種的各類資源 全都掌握了
但是爬久了 開始覺得很無聊
相信以大家的能力
全世界熱門網站都看過一輪了
不知道還有什麼能激起大家玩爬蟲的熱血?
謝謝大家
--
爬蟲 -> 分散式爬蟲 -> docker swarm 管理分散式
有 data 後,api -> loading balance
可以玩的很多
彭哈伯
財務分析(炒股票)
玩股票用爬蟲,還不如掌握內線消息
看你對什麼有興趣 自我滿足很容易的
本人是越來越覺得無聊
真的 原本期待會有什麼新發現 結果感覺越爬越陷入一個收斂中的水晶球(?) 尤其是辜狗 原本以為他是膨脹宇宙 但是最近很像收斂宇宙 (不知道在說啥) 簡而言之就是會覺得沒什麼令人驚喜的東西 就像麥塊的地圖 好像再怎麼探索也沒有邊界 但不管再怎麼大和多 會發現多數是同樣素材組成的啊 Google這些搜尋引擎身為母體不知道會不會也感嘆 大家的雲端硬碟都是裝著透過自己來查到的東西 刪掉重複的 不知能省下幾棟樓的硬碟
bxx365
綠色的網站嗎 這網站好像蠻夯的 XD
當演唱會黃牛啊
porntube
pronhub
搶票
搶東西是好主意欸 但邊緣阿宅搶到也不知道要做啥
github 程式碼和論文
爬久了 會發現 問題在硬碟 資料太多 硬碟太少
洪爺啊......
低能卡西斯版
爬內容農場
世界各國的都有,XD 其實還蠻好看但很浪費時間
※ 編輯: ajaxbaby (36.228.244.225 臺灣), 08/16/2020 17:41:34爬PTT股板神人說話
現在問題是資訊太多噪音太多 與其爬一堆垃圾 不如好好分析
篩選出資訊大海中有價值的黃金
上面離題了 不好意思 回歸正題 當然是爬你自己有興趣的東
西阿 如果自已不知道啥有興趣 那就無話可說了
我是去爬pokemon go的雷達網站,一般app都是報怪,篩選任
務的filter無法達到我的需求,就自己去作了。
最近入坑以為退燒了,結果國外一堆專門提供查詢的付費服務
,而且還活得很滋潤。
swag
opgg
12
[問卦] 程式的問題要去哪裡問?最近在練習寫爬蟲 想抓一下youtube的原始影片 F12打開找半天找不到 是不是現在很多網站都防爬,加密做很多啊? 還是超簡單只是我太廢QQ?11
[其他] 特別股與IPO新股資訊爬蟲(python)最近想說把之前寫的程式整理一下分享給有需要的人 所以1~2天 po一篇 覺得很煩的可以留言告訴我XD --- 完整範例與code: 這邊指的是美股的特別股跟IPO (台股的請 a 我上一篇文章,從公開觀測站爬)11
[請益] 請問有國外股市即時報價的資料源嗎?原因 : 1. 因為我是碼農 2. 標的可以是任意國家的股票 3. 價差操作時,短線進出頻繁 所以選擇使用IB和鮪魚7
[問卦] 真的沒辦法停止PTT的網路爬蟲?PTT很多備份網站 多道真的有點誇張,很多鄉民都有貼了 但是 真的不能停止requuests的發送嗎? 或是就算備份,也不讓google搜尋搜到的方法?6
請益Request爬蟲最近接到一個專案要爬購物網站存mySQL 爬分類裡面各產品資訊+內頁詳細資訊 目前已經使用selenium+multithreading寫完 可惜速度不夠快 所以正改用request改寫3
[請益] 國內外公開書籍資料的網站?因為最近有大量的ISBN書籍資料網站需要查詢(就是書名,圖片,價錢) 加上自己也有做過相關的爬蟲資料 但是爬一些商業網站,像是ebay 或是 Amazon 博客來.... 都已經做到高度的防護,我的爬蟲技術也已經無法跟上 想問一下各位大大,因為我只是想查詢書籍的資料2
[問卦] 最有價值爬的東西是甚麼&能爬暗網嗎?小弟最近想找工作 想蒐集104的網站 的一些特定職位 但我有個傾向就是決定事情想先盡量看全部的狀況 一個個看感覺有點不科學 覺得爬蟲這東西應該可以有幫助所以在學 但是目前連scrapy crawl xx(spider)都還沒抓成功1
Re: [問卦] 程式的問題要去哪裡問?1. 如果是抓不到Dom 真的是單純太菜,你可能要再回去讀一下html。 2. 基本上你瀏覽器做的到的事爬蟲都能做得到,網頁就是這麼不安全的平台,當然真的 有很多網站會讓你很難爬(但一定還是能爬)但八成的網站都沒有投入太多的資源在這方 面。 : 還是超簡單只是我太廢QQ?