【AWS數據戰情室】Day 7 Glue Data Catalog 教學 – Part 4

上一篇完成前置步驟後，Glue Data Catelog 教學就進入到創建 Crawler啦！首先切換到 Crawlers 頁面，點選 Add crawlers，再點開 Crawler name 下面的選單，點選 Custom classifiers 裡剛剛創建的

了解 Classifiers 後，要來介紹如何將 Classifiers 與 Crawlers 結合進行資料爬取Crawlers 的部分會以一個小範例進行說明，首先我們要到 Kaggle 取得範例資料，資料內容為零售業的歷史訂單資料

講解完 Data Catalog 以及 Classifiers 、 Crawlers 、 Tables 的關係之後，接著介紹 JSON、CSV 的 Classifiers 設定。JSON path：此處設定如何讀取 JSON 檔？例如 JSON 檔內容如下

Data Catalog 由 Classifiers、Crawlers、Tables 組成首先介紹 Classifiers，Classifiers 負責定義所要爬取的資料類型與內容格式，如下圖所示有 XML、JSON、CSV，而 Grok 是指自定義的資料內容格式

AWS Glue有另外兩個主要功能：ETL JobETL Job 有三種 ETL 方式可使用Python shell當資料量還不需要分散式運算的計算量時，可以考慮使用 Python shell，Python shell 與 Lambda 相似，可以執行 Python Script

傳統上管理 MYSQL 都是開發的工作，而phpmyadmin則是cpanel中的工具，在迷你網站上cpanel已是必備工具，在拆分mysql後所需面對的就是如何去連過去。

PAAS服務的 MYSQL 在AWS中通常指的是RDS MYSQL，這是指AWS利用EC2幫你做好的服務。雖然你無法碰到底層但是AWS的調教，功力絕對比你我都好，只是一樣會受到AWS EC2中的EBS所控制。另外還有一種資料庫是AWS特色服務 Amazon Aurora

Amazon Virtual Private Cloud ( Amazon VPC ) 允許您在 AWS 雲端佈建一個在邏輯上隔離的部分，並在自己定義的虛擬網路中啟動 AWS 資源。您可以完全掌控虛擬聯網環境，包括選擇自己的 IP 地址範圍、建立子網路，以及配置路由表和網路閘道。

AWS Security group 功能Security group的功能很簡單，他只是限定某個特定的IP、Port或是某範圍的IP、Port，限定這些東西能不能進出，可以把它視為一道非常簡單的防火牆，設定完Security group後，再套用到某些機器上

其實就主機資源這件事情是最容易理解的，但就真實應用情境上來說，如果你希望有真實的網路環境使用，可以建立真正的私有網段或者是控制路由等等的功能。Lightsail 是無法協助的，因為他的VPC是簡約版，如果需要完整的周邊功能，比如控制路由或與AWS其他幾百項的服務完整結合

cloudfront 的原站不能用 let's encrypt？整站套用CDN的時候最怕的是如果我使用了 let's encrypt 結果更新失敗了！這時候整個網站就都會顯示502 gateway time out這時候該要怎樣避免這個問題

在 Day 5- Amazon Lightsail 也可以套用 CDN (AWS Cloudfront) 的時候建議預設是全部 forword 不做快取，這樣其實就會失去快取的效果，但起碼是網站都是可以瀏覽的。那要如何做快取才是最好的方式？其實快取的標的基本上是靜態資源，這個靜態資源不一定是指實際有存在的檔案，如果是以 php 模擬出來的 html 也是可以接受的存在。