5.決策樹易于解釋。它可以毫無壓力地處理特征間的交互關(guān)系并且是非參數(shù)化的，因此你不必?fù)?dān)心異常值或者數(shù)據(jù)是否線性可分（舉個例子，決策樹能輕松處理好類別A在某個特征維度x的末端，類別B在中間，然后類別A又出現(xiàn)在特征維度x前端的情況）。它的缺點之一就是不支持在線學(xué)習(xí)，于是在新樣本到來后，決策樹需要全部重建。另一個缺點就是容易出現(xiàn)過擬合，但這也就是諸如隨機(jī)森林RF（或提升樹boostedtree）之類的集成方法的切入點。另外，隨機(jī)森林經(jīng)常是很多分類問題的贏家（通常比支持向量機(jī)好上那么一丁點），它訓(xùn)練快速并且可調(diào)，同時你無須擔(dān)心要像支持向量機(jī)那樣調(diào)一大堆參數(shù)，所以在以前都一直很受歡迎。決策樹...

（1）決策樹決策樹歸納是經(jīng)典的分類算法。它采用自頂向下遞歸的各個擊破方式構(gòu)造決策樹。樹的每一個結(jié)點上使用信息增益度量選擇測試屬性。可以從生成的決策樹中提取規(guī)則。(2)KNN法(K-NearestNeighbor)KNN法即K**近鄰法，**初由Cover和Hart于1968年提出的，是一個理論上比較成熟的方法。該方法的思路非常簡單直觀：如果一個樣本在特征空間中的k個**相似(即特征空間中**鄰近)的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別。該方法在定類決策上只依據(jù)**鄰近的一個或者幾個樣本的類別來決定待分樣本所屬的類別。KNN方法雖然從原理上也依賴于極限定理，但在類別決...

步驟4：訓(xùn)練大部分人都認(rèn)為這個是**重要的部分，其實并非如此~數(shù)據(jù)數(shù)量和質(zhì)量、還有模型的選擇比訓(xùn)練本身重要更多（訓(xùn)練知識臺上的3分鐘，更重要的是臺下的10年功）。這個過程就不需要人來參與的，機(jī)器**就可以完成，整個過程就好像是在做算術(shù)題。因為機(jī)器學(xué)習(xí)的本質(zhì)就是將問題轉(zhuǎn)化為數(shù)學(xué)問題，然后解答數(shù)學(xué)題的過程。步驟5：評估一旦訓(xùn)練完成，就可以評估模型是否有用。這是我們之前預(yù)留的驗證集和測試集發(fā)揮作用的地方。評估的指標(biāo)主要有準(zhǔn)確率、召回率、F值。這個過程可以讓我們看到模型如何對尚未看到的數(shù)是如何做預(yù)測的。這意味著**模型在現(xiàn)實世界中的表現(xiàn)。步驟6：參數(shù)調(diào)整完成評估后，您可能希望了解是否可以以...

5.決策樹易于解釋。它可以毫無壓力地處理特征間的交互關(guān)系并且是非參數(shù)化的，因此你不必?fù)?dān)心異常值或者數(shù)據(jù)是否線性可分（舉個例子，決策樹能輕松處理好類別A在某個特征維度x的末端，類別B在中間，然后類別A又出現(xiàn)在特征維度x前端的情況）。它的缺點之一就是不支持在線學(xué)習(xí)，于是在新樣本到來后，決策樹需要全部重建。另一個缺點就是容易出現(xiàn)過擬合，但這也就是諸如隨機(jī)森林RF（或提升樹boostedtree）之類的集成方法的切入點。另外，隨機(jī)森林經(jīng)常是很多分類問題的贏家（通常比支持向量機(jī)好上那么一丁點），它訓(xùn)練快速并且可調(diào)，同時你無須擔(dān)心要像支持向量機(jī)那樣調(diào)一大堆參數(shù)，所以在以前都一直很受歡迎。決策樹...

在統(tǒng)計學(xué)習(xí)框架下，大家刻畫模型復(fù)雜度的時候，有這么個觀點，認(rèn)為Error=Bias+Variance。這里的Error大概可以理解為模型的預(yù)測錯誤率，是有兩部分組成的，一部分是由于模型太簡單而帶來的估計不準(zhǔn)確的部分（Bias），另一部分是由于模型太復(fù)雜而帶來的更大的變化空間和不確定性（Variance）。所以，這樣就容易分析樸素貝葉斯了。它簡單的假設(shè)了各個數(shù)據(jù)之間是無關(guān)的，是一個被嚴(yán)重簡化了的模型。所以，對于這樣一個簡單模型，大部分場合都會Bias部分大于Variance部分，也就是說高偏差而低方差。在實際中，為了讓Error盡量小，我們在選擇模型的時候需要平衡Bias和Varia...

1. 回歸回歸是一種監(jiān)督機(jī)器學(xué)習(xí)方法，在先前數(shù)據(jù)的基礎(chǔ)上預(yù)測或解釋特定數(shù)值。例如要想知道某房產(chǎn)的價值，可根據(jù)與之相似房產(chǎn)的定價來預(yù)測。線性回歸是**簡單的回歸方法，用直線方程(y = m * x + b)來模擬數(shù)據(jù)集。通過計算直線的位置和斜率得到具有許多數(shù)據(jù)對（x，y）的線性回歸模型，在該直線上，所有數(shù)據(jù)點到它的距離之和**小。換言之，計算的是**接近數(shù)據(jù)中觀測值的那條線的斜率(m)和y截距(b)。接著再來看一些具體的線性回歸例子。將建筑物的年齡、樓層數(shù)、面積（平方英尺）和墻上插入式設(shè)備的數(shù)量這些數(shù)據(jù)匯總在一起，用線性回歸方法來預(yù)測該建筑物的耗能情況（以千瓦時為單位）。由于有多種輸入值（年齡，...

降低維度算法像聚類算法一樣，降低維度算法試圖分析數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，不過降低維度算法是以非監(jiān)督學(xué)習(xí)的方式試圖利用較少的信息來歸納或者解釋數(shù)據(jù)。這類算法可以用于高維數(shù)據(jù)的可視化或者用來簡化數(shù)據(jù)以便監(jiān)督式學(xué)習(xí)使用。常見的算法包括：主成份分析（PrincipleComponentAnalysis，PCA），偏**小二乘回歸（PartialLeastSquareRegression，PLS），Sammon映射，多維尺度（Multi-DimensionalScaling,MDS）,投影追蹤（ProjectionPursuit）等。集成算法集成算法用一些相對較弱的學(xué)習(xí)模型**地就同樣的樣本進(jìn)行訓(xùn)練...

4.降維顧名思義，降維可用來刪除數(shù)據(jù)集中**不重要的數(shù)據(jù)。實踐中常會遇到包含數(shù)百甚至數(shù)千列（也稱為特征）的數(shù)據(jù)集，因此減少總量至關(guān)重要。例如，圖像中數(shù)千個像素中并不是所有的都要分析；或是在制造過程中要測試微芯片時，如果對每個芯片都進(jìn)行測試也許需要數(shù)千次測試，但其實其中很多芯片提供的信息是多余的。在這些情況下，就需要運用降維算法以便對數(shù)據(jù)集進(jìn)行管理。主成分分析（PCA）是**常用的降維方法，通過找出比較大化數(shù)據(jù)線性變化的新向量來減小特征空間的維數(shù)。在數(shù)據(jù)的線性相關(guān)性很強時，主成分分析法可以***減小數(shù)據(jù)的維度，且不會丟失太多信息。（其實，還可以衡量信息丟失的實際程度并進(jìn)行相應(yīng)調(diào)整。）...

非監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)中，給定的數(shù)據(jù)集沒有“正確答案”，所有的數(shù)據(jù)都是一樣的。無監(jiān)督學(xué)習(xí)的任務(wù)是從給定的數(shù)據(jù)集中，挖掘出潛在的結(jié)構(gòu)。舉個栗子：我們把一堆貓和狗的照片給機(jī)器，不給這些照片打任何標(biāo)簽，但是我們希望機(jī)器能夠?qū)⑦@些照片分分類。將不打標(biāo)簽的照片給機(jī)器通過學(xué)習(xí)，機(jī)器會把這些照片分為2類，一類都是貓的照片，一類都是狗的照片。雖然跟上面的監(jiān)督學(xué)習(xí)看上去結(jié)果差不多，但是有著本質(zhì)的差別：非監(jiān)督學(xué)習(xí)中，雖然照片分為了貓和狗，但是機(jī)器并不知道哪個是貓，哪個是狗。對于機(jī)器來說，相當(dāng)于分成了A、B兩類。 深度智谷深度人工智能學(xué)院四川機(jī)器學(xué)習(xí)培訓(xùn)班哪個好 7.遷移學(xué)習(xí)假設(shè)你是個零售業(yè)的數(shù)據(jù)科學(xué)...

強化學(xué)習(xí)：在這種學(xué)習(xí)模式下，輸入數(shù)據(jù)作為對模型的反饋，不像監(jiān)督模型那樣，輸入數(shù)據(jù)**是作為一個檢查模型對錯的方式，在強化學(xué)習(xí)下，輸入數(shù)據(jù)直接反饋到模型，模型必須對此立刻作出調(diào)整。常見的應(yīng)用場景包括動態(tài)系統(tǒng)以及機(jī)器人控制等。常見算法包括Q-Learning以及時間差學(xué)習(xí)（Temporaldifferencelearning）在企業(yè)數(shù)據(jù)應(yīng)用的場景下，人們**常用的可能就是監(jiān)督式學(xué)習(xí)和非監(jiān)督式學(xué)習(xí)的模型。在圖像識別等領(lǐng)域，由于存在大量的非標(biāo)識的數(shù)據(jù)和少量的可標(biāo)識數(shù)據(jù)，目前半監(jiān)督式學(xué)習(xí)是一個很熱的話題。而強化學(xué)習(xí)更多的應(yīng)用在機(jī)器人控制及其他需要進(jìn)行系統(tǒng)控制的領(lǐng)域。算法類似性根據(jù)算法的功能和...

為什么說樸素貝葉斯是高偏差低方差?以下內(nèi)容引自知乎：首先，假設(shè)你知道訓(xùn)練集和測試集的關(guān)系。簡單來講是我們要在訓(xùn)練集上學(xué)習(xí)一個模型，然后拿到測試集去用，效果好不好要根據(jù)測試集的錯誤率來衡量。但很多時候，我們只能假設(shè)測試集和訓(xùn)練集的是符合同一個數(shù)據(jù)分布的，但卻拿不到真正的測試數(shù)據(jù)。這時候怎么在只看到訓(xùn)練錯誤率的情況下，去衡量測試錯誤率呢？由于訓(xùn)練樣本很少（至少不足夠多），所以通過訓(xùn)練集得到的模型，總不是真正正確的。（就算在訓(xùn)練集上正確率100%，也不能說明它刻畫了真實的數(shù)據(jù)分布，要知道刻畫真實的數(shù)據(jù)分布才是我們的目的，而不是只刻畫訓(xùn)練集的有限的數(shù)據(jù)點）。而且，實際中，訓(xùn)練樣本往往還有一...

人類一直試圖讓機(jī)器具有智能，也就是人工智能（ArtificialIntelligence）。從上世紀(jì)50年代，人工智能的發(fā)展經(jīng)歷了“推理期”，通過賦予機(jī)器邏輯推理能力使機(jī)器獲得智能，當(dāng)時的AI程序能夠證明一些***的數(shù)學(xué)定理，但由于機(jī)器缺乏知識，遠(yuǎn)不能實現(xiàn)真正的智能。因此，70年代，人工智能的發(fā)展進(jìn)入“知識期”，即將人類的知識總結(jié)出來教給機(jī)器，使機(jī)器獲得智能。在這一時期，大量的**系統(tǒng)問世，在很多領(lǐng)域取得大量成果，但由于人類知識量巨大，故出現(xiàn)“知識工程瓶頸”。\quad無論是“推理期”還是“知識期”，機(jī)器都是按照人類設(shè)定的規(guī)則和總結(jié)的知識運作，永遠(yuǎn)無法超越其創(chuàng)造者，其次人力成本太高...

第四步：數(shù)據(jù)集實操雖然有了系統(tǒng)化流程和相關(guān)工具，仍需要多加練習(xí)，方能生巧。在標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)數(shù)據(jù)集上的實踐。使用真實的數(shù)據(jù)集，從實際問題領(lǐng)域收集（而不是人為虛構(gòu)的）。使用適合的內(nèi)存或Excel電子表格的小型數(shù)據(jù)集。使用易于理解的數(shù)據(jù)集，以便了解期望的結(jié)果類型。練習(xí)不同類型的數(shù)據(jù)集，練習(xí)一些讓你不喜歡的問題，因為你將不得不提高技術(shù)來獲得解決方案。在數(shù)據(jù)問題中找出不同的特征，例如：不同類型的監(jiān)督學(xué)習(xí)，如分類和回歸。從數(shù)十，數(shù)百，數(shù)千和數(shù)百萬個實例的不同大小的數(shù)據(jù)集。不到十個，幾十個，幾百個和幾千個屬性的不同數(shù)量的屬性。來自實數(shù)，整數(shù)，分類，序數(shù)和混合的不同屬性類型。不同的領(lǐng)域，迫使你迅速理...

KNNk臨近算法遍歷所有訓(xùn)練樣本，求距離**近的點的結(jié)論，作為***的預(yù)測結(jié)果MR版：map求樣本距離（key：樣本，value：距離），combine求的**小值，是過濾功能，reduce就有一個求得距離**小值貝葉斯：貝葉斯定理公式：P(A|B)=P(B|A)*P(A)/P(B)貝葉斯將在屬性條件下的結(jié)論的概率轉(zhuǎn)為：在結(jié)論條件下屬性的概率的乘積*結(jié)論的概率求得樣本屬性的在結(jié)論上的出現(xiàn)次數(shù)，樣本結(jié)論的次數(shù)，商就是P(B|A)MR版：map求拼接keyvalue（key：屬性-結(jié)論|結(jié)論，value：1）combine求和（key：屬性-結(jié)論|結(jié)論，value：count）redu...

機(jī)器學(xué)習(xí)、人工智能、深度學(xué)習(xí)是什么關(guān)系？1956年提出AI概念，短短3年后（1959）ArthurSamuel就提出了機(jī)器學(xué)習(xí)的概念：Fieldofstudythatgivescomputerstheabilitytolearnwithoutbeingexplicitlyprogrammed.機(jī)器學(xué)習(xí)研究和構(gòu)建的是一種特殊算法（而非某一個特定的算法），能夠讓計算機(jī)自己在數(shù)據(jù)中學(xué)習(xí)從而進(jìn)行預(yù)測。所以，機(jī)器學(xué)習(xí)不是某種具體的算法，而是很多算法的統(tǒng)稱。機(jī)器學(xué)習(xí)包含了很多種不同的算法，深度學(xué)習(xí)就是其中之一，其他方法包括決策樹，聚類，貝葉斯等。深度學(xué)習(xí)的靈感來自大腦的結(jié)構(gòu)和功能，即許多神經(jīng)元...

KNNk臨近算法遍歷所有訓(xùn)練樣本，求距離**近的點的結(jié)論，作為***的預(yù)測結(jié)果MR版：map求樣本距離（key：樣本，value：距離），combine求的**小值，是過濾功能，reduce就有一個求得距離**小值貝葉斯：貝葉斯定理公式：P(A|B)=P(B|A)*P(A)/P(B)貝葉斯將在屬性條件下的結(jié)論的概率轉(zhuǎn)為：在結(jié)論條件下屬性的概率的乘積*結(jié)論的概率求得樣本屬性的在結(jié)論上的出現(xiàn)次數(shù)，樣本結(jié)論的次數(shù)，商就是P(B|A)MR版：map求拼接keyvalue（key：屬性-結(jié)論|結(jié)論，value：1）combine求和（key：屬性-結(jié)論|結(jié)論，value：count）redu...

5.集成方法假設(shè)你對市面上的自行車都不滿意，打算自己制作一輛，也許會從尋找各個比較好的零件開始，然后**終會組裝出一輛比較好的自行車。集成方法也是利用這一原理，將幾個預(yù)測模型（監(jiān)督式機(jī)器學(xué)習(xí)方法）組合起來從而得到比單個模型能提供的更高質(zhì)量的預(yù)測結(jié)果。隨機(jī)森林算法就是一種**方法，結(jié)合了許多用不同數(shù)據(jù)集樣本訓(xùn)練的決策樹。因此，隨機(jī)森林的預(yù)測質(zhì)量會高于單個決策樹的預(yù)測質(zhì)量。集成方法可理解為一種減小單個機(jī)器學(xué)習(xí)模型的方差和偏差的方法。任何給定的模型在某些條件下可能是準(zhǔn)確的，但在其他條件下有可能不準(zhǔn)確，因此這種方法十分重要。如果換用另一個模型，相對精度可能會更低。而組合這兩個模型，就可以平...

，每個模型都是基于上一次模型的錯誤率來建立的，過分關(guān)注分錯的樣本，而對正確分類的樣本減少關(guān)注度，逐次迭代之后，可以得到一個相對較好的模型。是一種典型的boosting算法。下面是總結(jié)下它的優(yōu)缺點。優(yōu)點adaboost是一種有很高精度的分類器。可以使用各種方法構(gòu)建子分類器，Adaboost算法提供的是框架。當(dāng)使用簡單分類器時，計算出的結(jié)果是可以理解的，并且弱分類器的構(gòu)造極其簡單。簡單，不用做特征篩選。不容易發(fā)生overfitting。關(guān)于隨機(jī)森林和GBDT等組合算法，參考這篇文章：機(jī)器學(xué)習(xí)-組合算法總結(jié)缺點：對outlier比較敏感，為避免過擬合提供了很好的理論保證，而且就算數(shù)據(jù)在原...

7.遷移學(xué)習(xí)假設(shè)你是個零售業(yè)的數(shù)據(jù)科學(xué)家，已經(jīng)花了幾個月的時間訓(xùn)練高質(zhì)量模型，用來將圖像分為襯衫、T恤和Polo衫這三類。新任務(wù)是建一個類似的模型，把服裝圖像分為牛仔褲、工裝褲、休閑褲和正裝褲這幾類。那么能不能把***個模型中已建立的知識轉(zhuǎn)移到第二個模型中呢？當(dāng)然可以，遷移學(xué)習(xí)可以做到。遷移學(xué)習(xí)是指重復(fù)使用先前訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的一部分，并使其適應(yīng)類似的新任務(wù)。具體來說就是，使用先前任務(wù)中訓(xùn)練過的神經(jīng)網(wǎng)絡(luò)，可以傳輸一小部分訓(xùn)練過的圖層，并將它們與用于新任務(wù)數(shù)據(jù)訓(xùn)練的幾個圖層組合在一起。通過添加圖層，新的神經(jīng)網(wǎng)絡(luò)就能快速學(xué)習(xí)并適應(yīng)新的任務(wù)。遷移學(xué)習(xí)的主要優(yōu)點是訓(xùn)練神經(jīng)網(wǎng)絡(luò)所需的數(shù)據(jù)較少，...

4.**近領(lǐng)算法——KNNKNN即**近鄰算法，其主要過程為：1.計算訓(xùn)練樣本和測試樣本中每個樣本點的距離（常見的距離度量有歐式距離，馬氏距離等）；2.對上面所有的距離值進(jìn)行排序；3.選前k個**小距離的樣本；4.根據(jù)這k個樣本的標(biāo)簽進(jìn)行投票，得到***的分類類別；如何選擇一個比較好的K值，這取決于數(shù)據(jù)。一般情況下，在分類時較大的K值能夠減小噪聲的影響。但會使類別之間的界限變得模糊。一個較好的K值可通過各種啟發(fā)式技術(shù)來獲取，比如，交叉驗證。另外噪聲和非相關(guān)性特征向量的存在會使K近鄰算法的準(zhǔn)確性減小。近鄰算法具有較強的一致性結(jié)果。隨著數(shù)據(jù)趨于無限，算法保證錯誤率不會超過貝葉斯算法錯誤...

機(jī)器學(xué)習(xí)背后的**思想是，設(shè)計程序使得它可以在執(zhí)行的時候提升它在某任務(wù)上的能力，而不是有著固定行為的程序。機(jī)器學(xué)習(xí)包括多種問題的定義，提供很多不同的算法，能解決不同領(lǐng)域的各種問題。我們之前講到的是一個講監(jiān)督學(xué)習(xí)應(yīng)用到語言識別的例子。正因為機(jī)器學(xué)習(xí)提供多種工具可以利用數(shù)據(jù)來解決簡單規(guī)則不能或者難以解決的問題，它被廣泛應(yīng)用在了搜索引擎、無人駕駛、機(jī)器翻譯、醫(yī)療診斷、垃圾郵件過濾、玩游戲、人臉識別、數(shù)據(jù)匹配、信用評級和給圖片加濾鏡等任務(wù)中。雖然這些問題各式各樣，但他們有著共同的模式從而可以被機(jī)器學(xué)習(xí)模型解決。**常見的描述這些問題的方法是通過數(shù)學(xué)，但不像其他機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的書那樣，我...