JavaWeb應用開發框架實例

一、 概述

Web 應用架構可以劃分為兩大子系統：前端子系統和后臺子系統。

前端子系統：

1. 基礎技術： Html/Java/CSS / Flash

2. 開發框架： jQuery, Extjs , Flex 等;

后臺子系統：

1. 基礎技術： Java Servlet;

2. 開發框架： Struts, Spring, Hibernate, ibatis 等;

3. 應用服務器： Tomcat / Jetty

編程模型： B/S 模型。 客戶端向服務器端發送請求， 服務器經過處理后返回響應， 然后客戶端根據響應及需求繪制前端展現。

在用戶客戶端和實際提供功能的Web 服務器之間還可能存在著代理服務器， 負載均衡服務器， 不過那些屬于錦上添花的事物，暫時不在考慮范圍內。

客戶端應用理念： 客戶端承擔大量的交互邏輯及渲染工作，服務器端主要是處理請求和返回數據。

前后端系統耦合： 客戶端和服務器端各自處理自己內部的子系統耦合;而客戶端與服務器端的耦合簡化為一個通信與數據通道。該通道用來傳輸通信請求和返回數據。

請求通信： 采用 Http / Tcp 協議

數據通道： 采用 Json, xml , 文本字符串，字節。 內部系統一般采用 Json 作為數據交換格式;系統間的互操作則采用XML 來規范；文本字符串是最一般的形式， 字節是最底層的形式。

JavaWeb應用開發框架實例

二、 架構演變

最輕的架構： jQuery + Servlet + ajax 在客戶端使用 jQuery發送 ajax 請求給Java 服務端的 Servlet 進行處理， Servlet 僅僅返回數據給客戶端進行渲染。

該架構有效地分離了前端展示和后臺請求處理，同時又保持了最輕的復雜性， 只需要學會編寫 Servlet 及使用 jQuery ， 就能構建簡單的應用。

如果只是做個人創意演示， 可以采用該架構， 快速實現自己的創意功能。 Servlet 是Java web 應用的基礎技術，jQuery 則是前端開發的簡單易用的利器。

后臺架構演變：

1. 邏輯與頁面的分離： JSP/Servlet

JSP 實現了頁面邏輯與外觀的分離，但是， 前端子系統與后臺子系統仍然是緊密耦合的; 前端設計人員實際上只需要服務端返回的數據， 就可設計出非常專業的界面顯示。

2. MVC 架構：Struts2(含Servlet，MVC) + JDBC

用Servlet 來添加服務器功能是基本的選擇，但在web.xml中配置大量的 Servlet 卻不是最佳的選擇。

Struts2 在服務端實現了更豐富的MVC 模式， 將本來由應用決定的控制器從web容器中分離。

3. SSH 架構： Struts2(含Servlet, MVC) + Spring (Ioc) + Hibernate (ORM，對象-關系映射)

通常， 應用系統中需要預先創建一些單例對象， 比如 Controller, Service, Dao, 線程池等， 可以引入 Spring Ioc 來有效地創建、管理和推送這些對象；使用 Hibernate 來實現關系數據庫的行與面向對象的屬性之間的映射與聯接，以更好地簡化和管理應用系統的數據庫操作。SSH 可以說是 JavaWeb應用系統開發的三劍客。

4. SI 架構： SpringMVC(含Servlet, Ioc, MVC, Rest) + iBatis (Semi-ORM)

過于復雜的架構會將人搞暈。因此，在適應需求的情況下， 盡量選擇簡單的架構，是明智之選。 這種架構使用面向資源的理念，著重使用Spring作為MVC及應用基礎服務設施， 同時使用 iBatis 來實現更簡單靈活的ORM映射， 使之在可以理解和維護的范圍內。

前端架構：

1. Flash 架構： Flex + jQuery + JSP

這是一種比較傳統的前端架構，采用同步模式， Flex 承擔大量的頁面渲染工作， 并采用AMF協議與Java端進行通信， 而JSP 則可以用于更快速的頁面顯示。優點是： 經過考驗的結構， 通常是值得信賴的; 缺點是， 由于采用同步模式， 在交互效果上可能不夠流暢， 需要進行比較耗時的編譯過程；此外， Flex 基于瀏覽器插件運行，在調試方面有些麻煩。

2. MVC 架構： Extjs + jQuery

這是一種比較現代的前端架構， 采用異步模式， Extjs4 可以實現前端子系統的MVC 分離， 對于可維護性是非常不錯的支持；此外， jQuery 可以作為有效的補充。

優點： 異步， 快速， 對于企業內部的后臺管理系統是非常好的選擇。

缺點： Extjs4 的可定制性、可適應性可能難以適應各種特殊的需求，需要用其它組件來補充， 比如大數據量的繪制。對于互聯網應用， 速度可能是致命傷。

三、 架構的選擇

不要去詢問哪種架構更好，更需要做的是清晰地定位項目目標，根據自己的具體情況來選擇和定制架構。反復地嘗試、觀察和改進，反復磨煉技藝，這樣才有助于設計水平的提升。

架構的選擇通常有四種關注點：

1. 適用性： 是否適合你的項目需求。 架構有大有小， 小項目用小架構， 大項目用大架構。

2. 可擴展性： 該架構在需要添加新功能時，是否能夠以常量的成本添加到現有系統中， 所做的改動在多大程度上會影響現有功能的實現(基本不影響，還是要大面積波及)。

3. 便利性： 使用該架構是否易于開發功能和擴展功能， 學習、開發和測試成本有多大。

4. 復雜性： 使用該架構后，維護起來的成本有多大。你自然希望能夠寫一條語句做很多事，使用各種成熟的組件是正確的方式，同時，在項目中混雜各種組件，也會提升理解和維護系統的復雜度。便利性和復雜性需要達到較好的平衡。

特殊的關注點：

譬如，應用需要支持高并發的情況， 需要建立一個底層的并發基礎設施， 并向上層提供簡單易用的接口，屏蔽其復雜性。

四、 架構演進的基本手段

架構并不是一成不變的， 在做出最初的架構之后，隨著開發的具體情況和需求的變更， 需要對最初架構做出變更和改進。

架構演進的基本手段：

一致性， 隔離與統一管理， 螺旋式重構改進， 消除重復， 借鑒現有方案。

1. 一致性： 確保使用統一模式來處理相同或相似的功能; 解決一次， 使用多次。

2. 模塊化、隔離與統一管理： 對于整體的應用， 分而治之，將其劃分為隔離性良好的模塊，提供必要的通信耦合;對于特定的功能模塊， 采用隔離手段，將其隔離在局部統一管理，避免分散在系統的各處。

3. 不斷重構改進， 一旦發現更好的方式， 馬上替換掉原有方式。

4. 盡可能重用，消除重復。

5. 盡可能先借鑒系統中已有方案并復用之；如果有更好方案可替換之;

有一條設計準則是： 預先設計， 但不要過早設計。

意思是說， 需要對需求清楚的部分進行仔細的設計， 但是對于未知不清楚的需求，要堅持去理解它，但不要過早地去做出“預測性設計”；設計必須是明確的、清晰的、有效的， 不能針對含糊的東西來設計?？梢栽诤笃谕ㄟ^架構演進來獲得對后續需求的適應能力。

每當提到機器學習，大家總是被其中的各種各樣的算法和方法搞暈，覺得無從下手。確實，機器學習的各種套路確實不少，但是如果掌握了正確的路徑和方法，其實還是有跡可循的，這里我推薦SAS的Li Hui的這篇博客，講述了如何選擇機器學習的各種方法。

另外，Scikit-learn 也提供了一幅清晰的路線圖給大家選擇：

其實機器學習的基本算法都很簡單，下面我們就利用二維數據和交互圖形來看看機器學習中的一些基本算法以及它們的原理。（另外向Bret Victor致敬，他的 Inventing on principle 深深的影響了我）

所有的代碼即演示可以在我的Codepen的這個Collection中找到。

首先，機器學習最大的分支的監督學習和無監督學習，簡單說數據已經打好標簽的是監督學習，而數據沒有標簽的是無監督學習。從大的分類上看，降維和聚類被劃在無監督學習，回歸和分類屬于監督學習。

無監督學習

如果你的數據都沒有標簽，你可以選擇花錢請人來標注你的數據，或者使用無監督學習的方法

首先你可以考慮是否要對數據進行降維。

降維

降維顧名思義就是把高維度的數據變成為低維度。常見的降維方法有PCA, LDA, SVD等。

主成分分析 PCA

降維里最經典的方法是主成分分析PCA，也就是找到數據的主要組成成分，拋棄掉不重要的成分。

這里我們先用鼠標隨機生成8個數據點，然后繪制出表示主成分的白色直線。這根線就是二維數據降維后的主成分，藍色的直線是數據點在新的主成分維度上的投影線，也就是垂線。主成分分析的數學意義可以看成是找到這根白色直線，使得投影的藍色線段的長度的和為最小值。

聚類

因為在非監督學習的環境下，數據沒有標簽，那么能對數據所做的最好的分析除了降維，就是把具有相同特質的數據歸并在一起，也就是聚類。

層級聚類 Hierachical Cluster

該聚類方法用于構建一個擁有層次結構的聚類

如上圖所示，層級聚類的算法非常的簡單：

1、初始時刻，所有點都自己是一個聚類

2、找到距離最近的兩個聚類（剛開始也就是兩個點），形成一個聚類

3、兩個聚類的距離指的是聚類中最近的兩個點之間的距離

4、重復第二步，直到所有的點都被聚集到聚類中。

KMeans

KMeans中文翻譯K均值算法，是最常見的聚類算法。

1、隨機在圖中取K（這里K=3）個中心種子點。

2、然后對圖中的所有點求到這K個中心種子點的距離，假如點P離中心點S最近，那么P屬于S點的聚類。

3、接下來，我們要移動中心點到屬于他的“聚類”的中心。

4、然后重復第2）和第3）步，直到，中心點沒有移動，那么算法收斂，找到所有的聚類。

KMeans算法有幾個問題：

1.如何決定K值，在上圖的例子中，我知道要分三個聚類，所以選擇K等于3，然而在實際的應用中，往往并不知道應該分成幾個類

2.由于中心點的初始位置是隨機的，有可能并不能正確分類，大家可以在我的Codepen中嘗試不同的數據

3.如下圖，如果數據的分布在空間上有特殊性，KMeans算法并不能有效的分類。中間的點被分別歸到了橙色和藍色，其實都應該是藍色。

DBSCAN

DBSCAN（Density-Based Spatial Clustering of Applications with Noise）中文是基于密度的聚類算法。

DBSCAN算法基于一個事實：一個聚類可以由其中的任何核心對象唯一確定。

算法的具體聚類過程如下：

1、掃描整個數據集，找到任意一個核心點，對該核心點進行擴充。擴充的方法是尋找從該核心點出發的所有密度相連的數據點（注意是密度相連）。

2、遍歷該核心點的鄰域內的所有核心點（因為邊界點是無法擴充的），尋找與這些數據點密度相連的點，直到沒有可以擴充的數據點為止。最后聚類成的簇的邊界節點都是非核心數據點。

3、之后就是重新掃描數據集（不包括之前尋找到的簇中的任何數據點），尋找沒有被聚類的核心點，再重復上面的步驟，對該核心點進行擴充直到數據集中沒有新的核心點為止。數據集中沒有包含在任何簇中的數據點就構成異常點。

如上圖所示，DBSCAN可以有效的解決KMeans不能正確分類的數據集。并且不需要知道K值。

當然，DBCSAN還是要決定兩個參數，如何決定這兩個參數是分類效果的關鍵因素：

1、一個參數是半徑（Eps），表示以給定點P為中心的圓形鄰域的范圍；

2、另一個參數是以點P為中心的鄰域內最少點的數量（MinPts）。如果滿足：以點P為中心、半徑為Eps的鄰域內的點的個數不少于MinPts，則稱點P為核心點。

監督學習

監督學習中的數據要求具有標簽。也就是說針對已有的結果去預測新出現的數據。如果要預測的內容是數值類型，我們稱作回歸，如果要預測的內容是類別或者是離散的，我們稱作分類。

其實回歸和分類本質上是類似的，所以很多的算法既可以用作分類，也可以用作回歸。

回歸

線性回歸

線性回歸是最經典的回歸算法。

在統計學中，線性回歸（Linear regression）是利用稱為線性回歸方程的最小二乘函數對一個或多個自變量和因變量之間關系進行建模的一種回歸分析。

這種函數是一個或多個稱為回歸系數的模型參數的線性組合。 只有一個自變量的情況稱為簡單回歸，大于一個自變量情況的叫做多元回歸。

如上圖所示，線性回歸就是要找到一條直線，使得所有的點預測的失誤最小。也就是圖中的藍色直線段的和最小。這個圖很像我們第一個例子中的PCA。仔細觀察，分辨它們的區別。

如果對于算法的的準確性要求比較高，推薦的回歸算法包括：隨機森林，神經網絡或者Gradient Boosting Tree。

如果要求速度優先，建議考慮決策樹和線性回歸。

分類

支持向量機 SVM

如果對于分類的準確性要求比較高，可使用的算法包括Kernel SVM，隨機森林，神經網絡以及Gradient Boosting Tree。

給定一組訓練實例，每個訓練實例被標記為屬于兩個類別中的一個或另一個，SVM訓練算法創建一個將新的實例分配給兩個類別之一的模型，使其成為非概率二元線性分類器。

SVM模型是將實例表示為空間中的點，這樣映射就使得單獨類別的實例被盡可能寬的明顯的間隔分開。然后，將新的實例映射到同一空間，并基于它們落在間隔的哪一側來預測所屬類別。

如上圖所示，SVM算法就是在空間中找到一條直線，能夠最好的分割兩組數據。使得這兩組數據到直線的距離的絕對值的和盡可能的大。

上圖示意了不同的核方法的不同分類效果。

決策樹

如果要求分類結果是可以解釋的，可以考慮決策樹或者邏輯回歸。

決策樹（decision tree）是一個樹結構（可以是二叉樹或非二叉樹）。

其每個非葉節點表示一個特征屬性上的測試，每個分支代表這個特征屬性在某個值域上的輸出，而每個葉節點存放一個類別。

使用決策樹進行決策的過程就是從根節點開始，測試待分類項中相應的特征屬性，并按照其值選擇輸出分支，直到到達葉子節點，將葉子節點存放的類別作為決策結果。

決策樹可以用于回歸或者分類，下圖是一個分類的例子。

如上圖所示，決策樹把空間分割成不同的區域。

邏輯回歸

邏輯回歸雖然名字是回歸，但是卻是個分類算法。因為它和SVM類似是一個二分類，數學模型是預測1或者0的概率。所以我說回歸和分類其實本質上是一致的。

這里要注意邏輯回歸和線性SVM分類的區別

樸素貝葉斯

當數據量相當大的時候，樸素貝葉斯方法是一個很好的選擇。

15年我在公司給小伙伴們分享過bayers方法，可惜speaker deck被墻了，如果有興趣可以自行想辦法。

如上圖所示，大家可以思考一下左下的綠點對整體分類結果的影響。

KNN

KNN分類可能是所有機器學習算法里最簡單的一個了。

如上圖所示，K=3，鼠標移動到任何一個點，就找到距離該點最近的K個點，然后，這K個點投票，多數表決獲勝。就是這么簡單。

總 結

本文利用二維交互圖幫助大家理解機器學習的基本算法，希望能增加大家對機器學習的各種方法有所了解。

本文來源：naughty

https://my.oschina.net/taogang/blog/1544709

免責聲明

數邦客-大數據價值構建師（www.databanker.cn）除非特別注明，本站所載內容來源于互聯網、微信公眾號等公開渠道，不代表本站觀點，僅供參考、交流之目的。轉載的稿件版權歸原作者或機構所有，如有侵權，請聯系刪除。

產品簡介