Python知識分享網(wǎng) - 專業(yè)的Python學習網(wǎng)站 學Python,上Python222
數(shù)據(jù)挖掘數(shù)據(jù)分析面試題 DOC 下載
匿名網(wǎng)友發(fā)布于:2023-12-11 09:54:37
(侵權(quán)舉報)
(假如點擊沒反應,多刷新兩次就OK!)

數(shù)據(jù)挖掘數(shù)據(jù)分析面試題 DOC 下載   圖1

 

 

 

資料內(nèi)容:

 

 

一、異常值是指什么?請列舉1種識別連續(xù)型變量異常值的方法?

異常值(Outlier) 是指樣本中的個別值,其數(shù)值明顯偏離所屬樣本的其余觀測值。在數(shù)理統(tǒng)計里一般是指一組觀測值中與平均值的偏差超過兩倍標準差的測定值。
Grubbs’ test(是以Frank E.Grubbs命名的),又叫maximumnormed residual test,是一種用于單變量數(shù)據(jù)集異常值識別的統(tǒng)計檢測,它假定數(shù)據(jù)集來自正態(tài)分布的總體。
未知總體標準差σ,在五種檢驗法中,優(yōu)劣次序為:t檢驗法、格拉布斯檢驗法、峰度檢驗法、狄克遜檢驗法、偏度檢驗法。

二、什么是聚類分析?聚類算法有哪幾種?請選擇一種詳細描述其計算原理和步驟。

聚類分析(clusteranalysis)是一組將研究對象分為相對同質(zhì)的群組(clusters)的統(tǒng)計分析技術(shù)。聚類分析也叫分類分析(classification analysis)或數(shù)值分類(numerical taxonomy)。聚類與分類的不同在于,聚類所要求劃分的類是未知的。
聚類分析計算方法主要有: 層次的方法(hierarchical method)、劃分方法(partitioning method)、基于密度的方法(density-based method)、基于網(wǎng)格的方法(grid-based method)、基于模型的方法(model-based method)等。其中,前兩種算法是利用統(tǒng)計學定義的距離進行度量。

k-means 算法的工作過程說明如下:首先從n個數(shù)據(jù)對象任意選擇 k 個對象作為初始聚類中心;而對于所剩下其它對象,則根據(jù)它們與這些聚類中心的相似度(距離),分別將它們分配給與其最相似的(聚類中心所代表的)聚類;然后再計算每個所獲新聚類的聚類中心(該聚類中所有對象的均值);不斷重復這一過程直到標準測度函數(shù)開始收斂為止。一般都采用均方差作為標準測度函數(shù). k個聚類具有以下特點:各聚類本身盡可能的緊湊,而各聚類之間盡可能的分開。
其流程如下:
1)從 n個數(shù)據(jù)對象任意選擇 k 個對象作為初始聚類中心;     
2)根據(jù)每個聚類對象的均值(中心對象),計算每個對象與這些中心對象的距離;并根據(jù)最小距離重新對相應對象進行劃分;  
3)重新計算每個(有變化)聚類的均值(中心對象);
4)循環(huán)(2)、(3)直到每個聚類不再發(fā)生變化為止(標準測量函數(shù)收斂)。
優(yōu) 點:本算法確定的K 個劃分到達平方誤差最小。當聚類是密集的,且類與類之間區(qū)別明顯時,效果較好。對于處理大數(shù)據(jù)集,這個算法是相對可伸縮和高效的,計算的復雜度為 O(NKt),其中N是數(shù)據(jù)對象的數(shù)目,t是迭代的次數(shù)。一般來說,K<<N,t<<N
缺點:1. K 是事先給定的,但非常難以選定;2. 初始聚類中心的選擇對聚類結(jié)果有較大的影響。

三、根據(jù)要求寫出SQL
A結(jié)構(gòu)如下:
Member_ID (用戶的ID,字符型)
Log_time (用戶訪問頁面時間,日期型(只有一天的數(shù)據(jù)))
URL (訪問的頁面地址,字符型)
要求:提取出每個用戶訪問的第一個URL(按時間最早),形成一個新表(新表名為B,表結(jié)構(gòu)和表A一致)

create table B as select Member_ID,min(Log_time), URL from A group by Member_ID ;