BIGDATA

大數據概念

0
大數據的英文叫做Big Data,代表對於大量數據的處理,Google搜尋引擎就是一種大數據應用,在Google的資料庫幾乎可以說是全世界最大的一個大數據儲存庫,裡面有各式各樣的資訊,為了讓所有人都可以輕易找到自己的資料,搜尋引擎也不斷演進,讓使用者可以用極快的速度取得精確資訊,因此大數據研究的第一個目的就是讓使用者可以在很短的時間內快速得到精確的搜尋結果,因應這樣的發展,傳統的關聯式資料庫技術漸漸無法因應大數據需求,因此陸續出現了一些NoSQL的資料管理技術,例如典型的No SQL資料庫MongoDB,甚至最後已經不是以資料庫為角度,而是以搜尋引擎的角度來找到非結構性資料,例如ElasticSearch,這些都是大數據的典型應用,主要就是要加速大數據資料的快速處理與搜尋。 然而快速找到的資料是否就是自己要的資料,其實並不一定,這時候就開始發展另一個大數據技術─數據挖掘(Data Mining),因為大數據的快速處理在分散式技術以及主機硬體的大幅改善之下已經逐漸得到解決,所以正確性成為大數據研究的第二個目標,這時候就開始要跟人工智慧接相關聯,因為人的思維方式並不是電腦的0與1思維,而是複雜的邏輯思考,因此人工智慧就是要將人類的思維邏輯程式化,讓大數據的分析報告可以確實幫到使用者,舉個例子,銀行有很大量的客戶資料,最常用到的大數據分析就是去分析每個客戶經常購買的產品,然後利用推播方式引導消費者進行消費,這是跟消費者比較息息相關的部分,而金融機構也會利用大數據去分析客戶的整體需求與消費傾向,開發新的產品並且讓產品可以更加精確地符合客戶需要。 以上針對大數據科技做個簡短的介紹,其他相關的概念也可以參考我的另一篇文章─網路概述。 本文同時發表於https://hcm86.blogspot.com/2019/09/blog-post.html
【重要通知】2017/12/31以前的群發訊息紀錄預計於2019/11/7移除

是否要升級Line@ 2.0?

0
  應該有不少人在使用Line@,Line@的正式名稱叫做"Line@生活圈",可以用來與客戶一對一對話以及訊息群發,過去的Line@不管發多少訊息都不用另外加費用,付費帳號是差在功能上,而不是流量上,主要功能截取下圖給大家參考 有興趣的可以到https://at.line.me/tw/這邊看細節,往下捲就是一堆功能清單,有付費與未付費主要差在機器人的功能以及好友數等等。 那Line為何要推出Line@ 2.0?Line@ 2.0的正式名稱叫做Line Official Account,也就是Line官方帳號,他的限制改變了,不再去限制功能,而是去限制訊息數量,包括圖文選單這些功能也都直接給你使用了,帳號的差異也變得簡單了 差異只剩下免費訊息則數了,更多細節可以參考 http://at-blog.line.me/tw/archives/LINEOA2.0.html 但哪些訊息是免費的呢?只要是由客戶主動發出訊息,我們針對這一則訊息回應就是免費的,其他都要付費,當然,會先扣除"免費訊息則數"後才要付費,也就是說如果你不想付錢,你就要把主動發出的訊息控制在500則以內。 在Line@的管理介面有快速升級的連結,可以很輕易地進行升級,有需要的人可以參考Line@官方的文章 http://at-blog.line.me/tw/archives/lineat_manual_upgrade_01.html 那回到一開始的問題,我的訊息量很大,我可不可以不要升級?答案是『不行』,2020/1/14之後,沒升級的通通會被自動升級,而且下面這則公告會讓更多人更早升級 他的意思是說你可以等我幫你升級,但升級前兩個月我會把你比較舊的訊息通通砍掉,那我豈不是11/7前就要升級了? 結論就是升級吧!並且減少你的訊息量! 真的沒有解法嗎? 我看過幾個方式 改為在網站上發布訊息,並教你怎麼將連結放在手機桌面 改用Facebook Messenger,目前為止FB都還是免費的 以上給大家參考,有時間再來寫Facebook Messanger的用法!   文章同時收錄於 https://hcm86.blogspot.com/2019/08/linelinelineline-httpsat.html
新寫的舊歌

新寫的舊歌

0
自從『山丘』之後,『新寫的舊歌』再次觸動心靈深處最深沉的感動與省思,正如歌中說的,『往事像一場自己演的電影,說的是平凡父子的感情兩個看來容易卻難以入戲的角色,能有多少共鳴?』自己何妨就是這樣的角色,當這故事進行到了『我只顧卑微地喘息,甚至沒有陪他,失去呼吸』,也就奪眶而出了! https://www.youtube.com/watch?v=CdqbMdYZlsU 一開始聽這首歌是因為最近經常聽到這首歌,也常常被拿來和『山丘』比較,其實根本不知道他是要寫甚麼,但聽到 比起母親的總是憂心忡忡 是啊  他更像是個若無其事的 旁觀者  刻意拘謹的旁觀者 這是在寫父親嗎?或許是一首緬懷父親的歌吧!這答案該說是還是不是?大概是也不是吧!他除了緬懷,也在訴說著人生。 兩個男人 極有可能終其一生只是長得像而已  有幸運的 成為知己 有不幸的 只能是甲乙  這兩句話似乎就在描述著傳統中國文化下的父子關係,中國人通常會太拘謹於最親近的家人,維持著一種若即若離的狀態,就如這首歌一開始說的,若無其事的旁觀者,當然在現代社會,這種狀況還是有些改善,但大都還是會有這樣的現象。 這首歌的最大轉折在下面這段歌詞 若是你同意 天下父親多數都平凡得可以  也許你就會捨不得再追根究底 我記得自己  當庸碌無為的日子悄然如約而至  我只顧卑微地喘息  甚至沒有陪他 失去呼吸 尤其最後這一句,我相信很多人都會有一樣的遺憾,沒有陪著父親失去呼吸,這個心情在我的另一篇文章就有提及,當父親在今年過年前失去呼吸的那一刻,我正在高速公路上準備回家準備接下來的事情,那時候,原本大太陽的天氣,突然下起了毛毛細雨,後來回想,父親大概是在那時候跟我道別吧!自己與父親的關係跟很多人子一樣,並不是太親近,反而跟母親比較親近,但自己可以很清楚地感受到這個旁觀者的關心與支持,正如這首歌的後半段,人子期待表現最好的給父親,讓父親可以對自己滿足與得意,就如歌中說的 我知道 他肯定得意  只是 等不到機會 當面跟我提  當往事成為資一場電影,李宗盛透過歌詞將他描寫地絲絲入扣 往事像一場自己演的電影  說的是平凡父子的感情  兩個看來容易卻難以入戲的角色 能有多少共鳴?  然而,每一個父親不管是否還在,我相信都會在某處微笑地看著自己,不管自己做過甚麼樣的事情,有過怎麼樣的決定,甚至曾讓父親氣憤不已,都還是會在某處看顧著自己 我當這首歌是給他的獻禮  但願他正在某處微笑看自己  有一天當我乘風去見你 再聊聊  這歌裡 來不及說 的千言萬語  也讓我把這首歌當做是給你的獻禮,讓你永遠待在這首歌裡,讓自己隨時緬懷與省思自己,也紀念著那無數的悲喜回憶。 最後,想起了『山丘』的一段歌詞 越過山丘 才發現無人等候  喋喋不休 再也喚不回了溫柔  為何記不得上一次是誰給的擁抱  在什麼時候  你是不是想不起,上一次是誰給你的擁抱?在甚麼時候?或許可以再想想如果當一個擁抱者,不要讓自己有著太多的遺憾。  
Compute Engine個體建立主畫面

GCP運用實例

0
GCP運用實例將簡單說明本網站如何利用Google Cloud Platform建立網站平台,並且利用GCP Console有效管理相關服務內容,並使用各種GCP內建服務,希望看完本文介紹後,您也可以透過這篇介紹建立屬於自己的高效率網頁平台! 言歸正傳,GCP代表Google Cloud Platform,是Google提供的雲端服務,主要有以下幾種功能 建立Compute Engine,也就是建立一個VM來使用 各種Google API使用,例如地圖API 各種網路服務,例如DNS、防火牆、CDN等等 儲存空間,主要是Google Storage的使用,GCP很多資料都可以直接存入Google Storage,例如Log CloudSQL提供官方的PostgreSQL和MySQL服務,可以不需要自己安裝就可以使用,快速又穩定 另外還有非常多功能,這邊就不列了。 GCP Console的管理頁面在 https://console.cloud.google.com/ ,可以在這邊申請GCP帳號,申請GCP帳號前要先準備好你的GMail帳號,因為必須綁定GMail帳號才能使用GCP,申請後會提供一筆300美金的試用經費給你,一年之內要使用完,如果你是做線上服務,一年內應該都是用得完的。 本文主要介紹一下Compute Engine這個概念,他相當於GCP環境上的VM,可以透過Console的功能快速建立好一個VM,所有主流的做頁系統都有包含到,這個網站就是利用Compute Engine建立好的CentOS 7,建立Compute Engine個體可以指定 設備地點:我都是選擇台灣的主機 作業系統 CPU數量:可以到0.5顆vCPU之類的,但我發現可能要開到兩顆才會效能比較好 記憶體數量 硬碟種類與大小:可以用一般的硬碟或者SSD 這幾個主要參數,建立好之後就可以直接開啟使用,建立過程中也可以看到預計一個月需要多少費用,GCP的服務是用越久越便宜。 建立好之後,你就可以看到你的Compute Engine的相關資訊如下: 這樣就可以將Compute Engine建立好,做為自己的伺服器,不需要在你的公司或家裡準備任何設備,你可能會覺得每月份用很貴,但你仔細計算CAPEX和OPEX會覺得一點都不貴,長期下來比較便宜,以上給大家參考。 備註: CAPEX=Capital Expenditure=設備建置費用,包括自己買伺服器等等一次性花費 ...
OSI網路七層架構

網路概述

0
網路概述是個很大的主題,因為網路本身就是很廣泛的一門學問,這邊只是針對網路做一些比較粗略的說明,目的是讓大家可以很快了解一些基礎知識,未來看到網路相關問題可以先行判斷正確與否。 以下會看到許多專業術語,每個術語都只會簡單介紹,如有需要,每個術語都可以另外撰寫一篇專文介紹,所以後續可以寫很多網路術語的介紹文章^_^。 網路或者說網際網路的英文是Internet,他代表一個用來讓大家可以快速透過各種媒介以封包方式溝通的機制,他一開始只是美國軍方小範圍的資訊溝通機制(ARPA計畫),後來緩慢地加入溝通組織,但都還是封閉網路,大約在1990年代開始對外全面開放,最後發展成現在的Internet。 網際網路一開始都是有線網路,進入21世紀後,無線網路開始盛行,也就是我們所熟知的Wi-Fi,而他的規格定義在IEEE 802.11,而802.11也演變出很多新的版本,速度也越來越快更穩定,因此網路變成人們生活中的必需品。 網路主要分為WAN和LAN兩種,WAN就是網際網路,會與全世界各地進行溝通,而LAN就是區域網路,只能在內部進行溝通,例如公司內部,一般來說LAN和WAN會用一顆Router串在一起,LAN使用者可以存取WAN的開放資料,而WAN無法存取LAN的資訊,LAN的保護可能是透過防火牆或者NAT,而另外還有一個機制叫做DMZ,例如公司網站就可能放在DMZ,雖然設備放在LAN,但透過防火牆設定讓WAN使用者可以存取該設備。 網路的溝通方式有很多種,但最多人使用的就是現有的IP機制,IP環境並沒有服務品質(QoS)的概念,一般稱之為Ethernet(乙太網路),他的處理邏輯是Best Effort,也就是說一個封包丟進網路,他會自己設法傳遞到目的地,但不保證是否一定可以到達或者在多久之內到達,這就是傳統IPv4的基本設計,IPv4是指IP通訊協定定義的第4版,正因為這樣的問題存在,所以IPv6在設計時就有考慮某些QoS機制,但因為要跟IPv4相容,所以沒辦法百分之百達成QoS要求,但有朝這方向在邁進了,IPv4與IPv6的概念之後有需要可以再詳細說明。 傳統IP網路有一個很重要的階層機制,就是OSI的網路七層架構,這七層分別是 Layer 1 實體層 (Physical Layer):這一層定義到了網路實體線路,包括網路線的規格結構,以及設備之間的實體溝通方法,例如網路卡要怎麼傳送封包,無線網路要怎麼傳遞無線訊號 Layer 2 資料連結層 (Data-Link Layer):這一層開始將實體的概念虛擬化,定義好軟體怎麼指定要與誰溝通,在這一層,溝通用的是MAC Address,這個地址是LAN網路中唯一的代碼,可以很明確地指定封包要傳遞的目的地 Layer 3 網路層 (Network Layer):這一層開始定義網路網路(WAN)的溝通機制,每個設備都會有一個為一的IP地址,但因為IPv4定義的IP數量不夠多,所以開始有一些NAT技術產生,讓多個設備共用IP地址,這個問題在IPv6有進一步的解決 Layer 4 傳輸層 (Transport Layer):傳輸層在網路層之上加上一些保證可用性、循序性與可靠性等等特性,讓資料的傳輸可以透過這一層的控制更加穩定,一般最常用到的就是TCP和UDP這兩個協定 Layer 5 會議層(Session Layer):會議層主要是用來做Session管理,Session代表至少一來一回的溝通,可能用來做認證或者會議的建立等等 Layer 6 展現層...