跳到主要內容

Google Trends Hacking

給我資料

最近試著在蒐集一些看起來有點用途的資料，Google Trends 看起來是一個 “滿有價值” 的資料，是 Google 蒐集的全球趨勢資料，包含最近流行的關鍵字，關鍵字與關鍵字的比較，etc.，但 Google 並沒有提供相關的 API 介面，所以要取得資料的做法我第一個想到的是 Crawler，於是順手找了一下大神的開源專案，左看右看上看下看，都沒認真看，都覺得不順手XD。

Hack Fun

剛好讀到一篇很有趣的文章-hacking the google trends api，文章內容提到了幾個有趣的 end-point，像這樣

http://www.google.com/trends/fetchComponent?hl=en-US&q=html5,jquery&cid=TIMESERIES_GRAPH_0&export=5&w=500&h=300


URI http://www.google.com/trends/fetchComponent
hl en-US
q keywords
cid TIMESERIES_GRAPH_0/RISING_QUERIES_1_0/business_and_politics
export 5
w width
h height

還有這樣 curl 大絕招

curl --data "ajax=1&htd=20131111&pn=p1&htv=l" http://www.google.com/trends/hottrends/hotItems

還有直接把這個貼在 Browser

http://hawttrends.appspot.com/api/terms/

這邊還有大神整理的參數對照表，實在棒棒der。
http://myweb.fcu.edu.tw/~mhsung/Research/InformationSystem/JSON/JSON_24.htm

Browser Dev-Tools

看完大神的示範後，發現其實有些開放的資料並不一定要特別透過 Crawler 去取得，太沒效率了。而且大部份的瀏覽器都有提供開發工具，Hacking 那些 end-point 其實滿簡單的，比如說 Chrome 的開發者工具，我以這個潮潮的頁面來做示範好了

https://www.google.com/trends/hottrends/visualize?pn=p1
image-4

就可以愉快得到一串 curl

curl 'https://www.google.com/trends/hottrends/visualize/internal/data' -H 'Referer: https://www.google.com/trends/hottrends/visualize?pn=p1' -H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36' --compressed

就可以愉快地寫 api 了

Sample

Reference

標籤：

這個網誌中的熱門文章

Parse URI query string to Key Value

Parse URI query String to Map 做 urlDecode 處理 沒有任何 query String 回傳 Empty Map 確保只處理 key-value 結構的 query String package com.example.util; import lombok.extern.slf4j.Slf4j; import org.apache.http.client.utils.URIBuilder; import java.io.UnsupportedEncodingException; import java.net.URI; import java.net.URISyntaxException; import java.net.URLDecoder; import java.util.LinkedHashMap; import java.util.Map; import java.util.Objects; /** * Created by jerry on 2017/12/28. * * @author jerry */ @Slf4j public class UriUtil { private UriUtil() { } public static Map splitQuery(final String uri) { Map queryPairs = new LinkedHashMap (); try { final URI uri = new URIBuilder(uri).build(); final String rawQuery = uri.getRawQuery(); log.info("CurrentUrl Query: {}", rawQuery); // 過濾沒有 query string // 還有過濾無法成對 keyValue 的 query, e.g. http://host/path?123 if (Objects.isNull(rawQuery) |...
張貼留言
閱讀完整內容

Google Compute Engine‎ - AccessDeniedExceptions 403

原因 打算從 instance 打包 logs 到 google cloud storage 發生了 AccessDeniedException: 403 Insufficient OAuth2 scope to perform this operation. , 看起來是 instance 沒有 storage 權限 解決 Reference: https://cloud.google.com/compute/docs/access/create-enable-service-accounts-for-instances#changeserviceaccountandscopes 重新設定 service account 權限 instance 上內建有 gcloud , 就直接用現有的工具查詢一下 instance 的 account. $ gsutil info 或者在本機直接 gcloud compute instances describe INSTANCE_NAMES Account: [alpha-number-compute@developer.gserviceaccount.com] Project: [our-project-name] 會看到 instance 的一些狀態, 接下來就簡單多了, 按照下列的說明, 要先 stop instance, 更改 storage scope 再重新 start 。 To change an instance's service account and access scopes, the instance must be temporarily stopped. To stop your instance, read the documentation for Stopping an instance. After changing the service account or access scopes, remember to restart the instance. # Stop Instance gcloud compute instances stop INSTANCE_NAMES # 設定 storage scope 為 full (Read, Write) gcloud co...
張貼留言
閱讀完整內容

Spring-boot Thymeleaf Html5 SAXParseException 解析錯誤

thymeleaf 解析 html5 出錯 <head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no"> <meta name="description" content=""> <meta name="author" content=""> <title>SB Admin - Start Bootstrap Template</title> <!-- Bootstrap core CSS--> <link href="../static/vendor/bootstrap/css/bootstrap.min.css" rel="stylesheet"> <!-- Custom fonts for this template--> <link href="../static/vendor/font-awesome/css/font-awesome.min.css" rel="stylesheet" type="text/css"> <!-- Page level plugin CSS--> <link href="../static/vendor/datatables/dataTables.bootstrap4.css" rel="stylesheet"> <!-- Custom styles for this template--> <li...
張貼留言
閱讀完整內容