行銷人轉職爬蟲王實戰｜5大社群＋2大電商

1. 爬蟲新兵營 與 轉職爬蟲王

1. Html網頁結構介紹－網頁到底如何傳送資料？爬蟲必學

2. 資料傳遞：Get與Post差異，網路封包傳送的差異

3. Html爬蟲Get教學－抓下Yahoo股票資訊，程式交易的第一步

4. Html爬蟲Get實戰－全台最大美食平台FoodPanda爬蟲，把熊貓抓回家

5. 資料分析實戰，熊貓FoodPanda熱門美食系列｜看出地區最火料理種類

6. Json爬蟲教學－Google趨勢搜尋｜掌握最火關鍵字

7. Json爬蟲實戰－24小時電商PChome爬蟲｜雖然我不是個數學家但這聽起來很不錯吧

8. Html爬蟲Post教學－台灣股市資訊｜網韭菜們的救星

9. Html爬蟲Post實戰－全球美食平台UberEat爬蟲

10. Pandas爬蟲教學－Yahoo股市爬蟲｜不想再盯盤

11. Pandas爬蟲實戰－爬下全台各地區氣象預報歷史資料

12. 資料分析實戰－天氣預報圖像化｜一張圖巧妙躲過雨季

 2. 進階皇蟲 Selenium

1. Selenium介紹｜Python爬動態網頁的利器

2. Selenium環境設定與測試｜手把手教您如何設定 phantomjs與 chromedriver

3. Selenium實戰練習－UberEat爬蟲｜爬下美食平台可以更簡單

4. 爬蟲前的工具選擇｜我該怎麼選擇爬蟲的方式？

 3. PTT 的消費者在意什麼

1. PTT爬蟲｜爬下全台最大電子布告欄

2. 資料分析實戰｜利用PTT資料進行消費者關鍵字分析，消費者都在討論什麼？

 4. Dcard 爆點分析

1. Dcard爬蟲－文章資料｜爬下各版文章標題、作者、Tag…

2. Dcard爬蟲－留言蒐集｜原來年輕人在討論這些阿！

3. Dcard社群的爆點分析【附Python程式碼】

 5. Instagram 增粉大師

1. IG自動登入｜利用Selenium自動登入Instagram

2. IG品牌規劃｜想要在Instagram開品牌粉專？先看看如何品牌定位吧

3. IG增粉機器人｜追蹤莫名其妙的增加啦！

 6. Youtube 中尋找KOL夥伴

1. Youtube爬蟲－頻道資料｜Youtuber網紅時代不可或缺的Python技能【附程式碼】

2. Youtube爬蟲－社群資料｜用Python找到Youtuber經營粉絲的秘密【附程式碼】

3. Youtube爬蟲－影片資料｜不用API也能爬下所有影片與留言資訊【附程式碼】

4. KOL分析｜找出最適合合作的Youtuber【附Python程式碼】

 7. FaceBook 自動文小幫手

1. FB自動登入｜利用Selenium自動登入Facebook

2. FB自動分享小幫手｜用Python灑文到各社團，小編從此不用發文發到死

 8. 蝦皮市場預估－這個市場有多大？

1. 「蝦皮爬蟲」最詳細手把手教學｜商品資料＋留言評論一次滿足

2. 產品開發大補帖｜採購的好幫手，如何決定新商品SKU？

3. 蝦皮市場大小預估分析－K-means分群的實例應用

 9. Amazon 告訴你市場缺口

1. Amazon爬蟲－商品資料｜用Python爬下世界最大電商網站

2. Amazon爬蟲－留言資料｜雖然我不是個數學家，但全部爬下來很棒吧！【附Python程式碼】

 10. Gmail 自動寄信

1. Gmail設定自動寄信專案｜從此不用再慢慢發信了【手把手影片教學】

2. Python寄Gmail基礎－文字樣式教學｜文字粗體、顏色通通可以改【附Python程式碼】

3. Python寄信基礎－寄送檔案教學｜用程式附檔Word、PDF、CSV、圖片都可以【附程式碼】

4. Gmail客製化寄件實戰｜用Python完全自動化寄件

課程介紹 & 程式碼

Pandas爬蟲教學－Yahoo股市爬蟲｜不想再盯盤

還不知道Get與Post請看「資料傳遞Get與Post差異」 在課程「Html爬蟲Get教學－Yahoo」中使用get的方式爬蟲，在課程中也有提到此方法的不便之處。當要爬取Table 標籤內的資料，會因為標籤名稱都一樣，難以取得資料內容。在本課程使用Pandas 套件，利用 pd.read_html 方法，能直接取得網頁中所有的Table 標籤。

getdata=pd.read_html(
    url, #想爬的網址
    encoding='big5', # 如何編碼爬下來的資料
    header=0, # 資料取代標題列
    )

pd.read_html 方法內主要有三個參數，其餘較少使用的參數可參考Pandas 官方文件：

  • encoding：設定資料的編碼，通常會依照該網頁的編碼進行爬蟲。
  • header：資料是否保留標題列，參數內容為0或1。
  • attrs：table 標籤的屬性特色，方便擷取出想要的標籤
getdata=pd.read_html(
    url, #想爬的網址
    encoding='big5', # 如何編碼爬下來的資料
    header=0, # 資料取代標題列
    attrs={'border':'2'}
    )

作者：楊超霆 行銷搬進大程式 創辦人

上一篇
Html爬蟲Post實戰－全球美食平台UberEat爬蟲
下一篇
Pandas爬蟲實戰－爬下全台各地區氣象預報歷史資料

©2023 行銷搬進大程式 Marketing Live in Code