行銷人轉職爬蟲王實戰｜5大社群＋2大電商
1. Html網頁結構介紹－網頁到底如何傳送資料？爬蟲必學
2. 資料傳遞：Get與Post差異，網路封包傳送的差異
3. Html爬蟲Get教學－抓下Yahoo股票資訊，程式交易的第一步
4. Html爬蟲Get實戰－全台最大美食平台FoodPanda爬蟲，把熊貓抓回家
5. 資料分析實戰，熊貓FoodPanda熱門美食系列｜看出地區最火料理種類
6. Json爬蟲教學－Google趨勢搜尋｜掌握最火關鍵字
7. Json爬蟲實戰－24小時電商PChome爬蟲｜雖然我不是個數學家但這聽起來很不錯吧
8. Html爬蟲Post教學－台灣股市資訊｜網韭菜們的救星
9. Html爬蟲Post實戰－全球美食平台UberEat爬蟲
10. Pandas爬蟲教學－Yahoo股市爬蟲｜不想再盯盤
11. Pandas爬蟲實戰－爬下全台各地區氣象預報歷史資料
12. 資料分析實戰－天氣預報圖像化｜一張圖巧妙躲過雨季
Htmlç¬è²Postæå¸ï¼å°ç£è¡å¸è³è¨ï½ç¶²éèåçææ
ä»Goodinfo!å°ç£è¡å¸è³è¨ç¶²ç¸ä¿¡æ¨ä¸éçï¼ä¸é ä¸åªæ¯è¡ç¥¨å¹æ ¼è³è¨ï¼å°±å»ç´å©çãçé¤åé ãè£ç£æè¡çï¼è³è¨æ¥µçºè±å¯ï¼ä½èæ寫ç¬è²æï¼å»ç¼ç¾é並ä¸å¦æ³åé£è¬å®¹æï¼æ¨å¯è½ä¹åºç¾äºä»¥ä¸çç«é¢ã
<meta content="text/html; charset=utf-8" http-equiv="Content-Type"/>è«å¿éé網ç«å
§å®¹ä¸è¼è»é«æ¥è©¢æ¬ç¶²ç«
ä½ å¿ é è¦å å¸æï¼è³æå³éGetèPostå·®ç°ï¼ï¼
å çºGoodinfo!å°ç£è¡å¸è³è¨ç¶²æ檢æ¥å°å
ä¸çãUser-Agentãï¼è¥æ²æåå¤å®çºæ©å¨äººï¼ ãUser-Agentã çä½ç½®å¯ä»¥å¨ç¶²é F12 > Network > é»é¸ä»»ä¸å°å
> Headersï¼å¨request çè³æå
§å®¹è£¡é¢å°±å¯ä»¥ç¼ç¾ User-Agentã ï¼å¦ä¸åæ示ã
ç¨å¼ç¢¼ç headers è®æ¸å §å®¹å°±æ¯å¾ä»¥ä¸çæ¹å¼åå¾ã
æ¥ä¸ä¾çç¬è²æ¹å¼èãHtmlç¬è²Getæå¸ï¼Yahooã課ç¨åãHtmlç¬è²Get實æ°ï¼FoodPandaã課ç¨æå°çé常ç¸ä¼¼ï¼é½æ¯å©ç¨ requests èBS4 é²è¡ç¬è²å³å¯ã
#è«æ±ç¶²ç«
list_req = requests.post(url, headers=headers)
#å°æ´å網ç«çç¨å¼ç¢¼ç¬ä¸ä¾
soup = BeautifulSoup(list_req.content, "html.parser")
作者：楊超霆 行銷搬進大程式 創辦人