10个令人相见恨晚的R语言包

  • A+
所属分类：R语言

作者：yhat

大约3年前我开始使用R，起初进展很慢，与我习惯的语言相比，语法更加直观也比较简单，而且需要一段时间才能习惯于细微的差别。我还不清楚语言的力量与社区和各种包的密切关系。

和其他语言（比如Python和Java）相比，R可以更模糊和麻烦。好消息是，有大量的包可以在R基础库上提供简单和熟悉的界面。这篇文章是我喜欢和每天使用的10个包，并且我希望自己能早些知道他们。

1. sqldf

R语言学习曲线中最陡峭的一部分就是语法，我花了一段时间才习惯使用<-代替=。我听到很多人问如何实现VLOOKUP?!?R 对于一般的数据粗加工任务非常有用，但需要一段时间才能掌握。可以认为sqldf是我的R”辅助轮子”。

sqldf让你在R数据框上执行SQL查询。来自SAS的人会发现它非常熟悉，任何具有基本SQL技能的人都可以轻松的使用它—sqldf使用SQLite语法。

  1. install.packages("sqldf")
  2. library(sqldf)
  4. sqldf("SELECT
  5.         day
  6.         , avg(temp) as avg_temp
  7.       FROM beaver2
  8.       GROUP BY
  9.         day;")
  11. #   day avg_temp
  12. #1 307 37.57931
  13. #2 308 37.71308
  15. #beavers1 和 beavers2 是R base 自带的两个数据集，记录了两种海狸的体温序列
  17. beavers <- sqldf("select * from beaver1
  18.                   union all
  19.                   select * from beaver2;")
  20. #head(beavers)
  21. #  day time  temp activ
  22. #1 346  840 36.33     0
  23. #2 346  850 36.34     0
  24. #3 346  900 36.35     0
  25. #4 346  910 36.42     0
  26. #5 346  920 36.55     0
  27. #6 346  930 36.69     0
  29. movies <- data.frame(
  30.   title=c("The Great Outdoors", "Caddyshack", "Fletch", "Days of Thunder", "Crazy Heart"),
  31.   year=c(1988, 1980, 1985, 1990, 2009)
  32.   )
  33. boxoffice <- data.frame(
  34.   title=c("The Great Outdoors", "Caddyshack", "Fletch", "Days of Thunder","Top Gun"),
  35.   revenue=c(43455230, 39846344, 59600000, 157920733, 353816701)
  36.   )
  38. sqldf("SELECT
  39.         m.*
  40.         , b.revenue
  41.       FROM
  42.         movies m
  43.       INNER JOIN
  44.         boxoffice b
  45.           ON m.title = b.title;")
  47. #               title year   revenue
  48. #1 The Great Outdoors 1988  43455230
  49. #2         Caddyshack 1980  39846344
  50. #3             Fletch 1985  59600000
  51. #4    Days of Thunder 1990 157920733

如果你喜欢sqldf，可以使用pandasql包来查询pandas中的DataFrame，通过SQL。

2. forecast

我不经常做时间序列分析，但是当我做的时候forecast包是我的选择。forecast对ARIMA，ARMA，AR，指数平滑等时间序列模型的预测简单的令人难以置信。

  1. install.packages("forecast")
  2. library(forecast)
  4. # mdeaths: 英国每月死于肺病的人数
  5. fit <- auto.arima(mdeaths)
  6. #定制你的置信区间
  7. forecast(fit, level=c(80, 95, 99), h=3)
  8. #         Point Forecast    Lo 80    Hi 80    Lo 95    Hi 95    Lo 99    Hi 99
  9. #Jan 1980       1822.863 1564.192 2081.534 1427.259 2218.467 1302.952 2342.774
  10. #Feb 1980       1923.190 1635.530 2210.851 1483.251 2363.130 1345.012 2501.368
  11. #Mar 1980       1789.153 1495.048 2083.258 1339.359 2238.947 1198.023 2380.283
  13. plot(forecast(fit), shadecols="oldstyle")

生预测的时序图。

10个令人相见恨晚的R语言包

3. plyr

当我第一次使用R时，我用基本的控制运算来操纵数据(for, if, while, etc.)。我很快知道这是一个业余的做法，并且有更好的方法去实现。

在R中，apply函数族是在对列表或者向量每个元素调用函数的首选方法。虽然R基础库中有这些函数，但它们的使用可能难以掌握。我发现plyr包 是一个对R基础库中诸如split,apply, combine的泛函的更好用的替代。

plyr 给予你一些函数 (ddply, daply, dlply, adply, ldply)按照常见的蓝图：将数据结构分组拆分，对每个组应用一个函数，将结果返回到数据结构中。

ddply 拆分一个数据框(data frame)并且返回一个数据框 (所以是 dd)。 daply 拆分一个数据框并且返回一个数组(array) (所以是 da)。希望你明白这个想法。

译者注：plyr包包含了12个命名与功能相关的函数，均以..ply命名，第一个.表示输入的数据类型(a数组 d数据框 l列表)，第二个.表示输出的数据类型(_表示不输出)

  1. install.packages("plyr")
  2. library(plyr)
  4. # 按照 Species 拆分数据库，汇总一下，然后转换结果
  5. # 到数据框
  6. ddply(iris, .(Species), summarise,
  7.       mean_petal_length=mean(Petal.Length)
  8. )
  9. #     Species mean_petal_length
  10. #1     setosa             1.462
  11. #2 versicolor             4.260
  12. #3  virginica             5.552
  14. # 按照 Species 拆分数据库，汇总一下，然后转换结果
  15. # 到数组
  16. unlist(daply(iris[,4:5], .(Species), colwise(mean)))
  17. #    setosa.Petal.Width versicolor.Petal.Width  virginica.Petal.Width
  18. #                 0.246                  1.326                  2.026

4. stringr

我发现R基础库的字符串功能使用起来非常困难和麻烦。Hadley Wickham编写的另一个包， stringr，提供了一些非常需要的字符串运算符。很多函数使用那些做基础分析时不常用的数据结构。

10个令人相见恨晚的R语言包

stringr 非常易于使用。几乎所有的（和所有的重要功能）都以”str”为前缀，所以很容易记住。

  1. install.packages("stringr")
  2. library(stringr)
  4. names(iris)
  5. #[1] "Sepal.Length" "Sepal.Width"  "Petal.Length" "Petal.Width"  "Species"
  6. names(iris) <- str_replace_all(names(iris), "[.]", "_")
  7. names(iris)
  8. #[1] "Sepal_Length" "Sepal_Width"  "Petal_Length" "Petal_Width"  "Species"
  10. s <- c("Go to Heaven for the climate, Hell for the company.")
  11. str_extract_all(s, "[H][a-z]+ ")
  12. #[[1]]
  13. #[1] "Heaven " "Hell "

5. 数据库驱动的包

  1. install.packages("RPostgreSQL")
  2. install.packages("RMySQL")
  3. install.packages("RMongo")
  4. install.packages("RODBC")
  5. install.packages("RSQLite")

每个人（包括我自己）开始的时候都会这样做。你刚在首选的SQL编辑器中写了一个很棒的查询。一切都是完美的—列名都是snake case（译者注：表示单词之间用下划线连接。单词要么全部大写，要么全部小写。），日期有正确的数据类型，最后调试出了"must appear in the GROUP BY clause or be used in an aggregate function"的问题。你现在准备在R中进行一些分析，因此你可以在SQL编辑器中运行查询，将结果复制到csv（或者……xlsx）并读入R，你并不需要这样做！

R对于几乎每一个可以想到的数据库都有好的驱动。当你在偶尔使用不具有独立驱动程序的数据库（SQL Server）时，你可以随时使用RODBC。

  1. library(RPostgreSQL)
  3. drv <- dbDriver("PostgreSQL")
  4. db <- dbConnect(drv, dbname="ncaa",
  5.                  user="YOUR USER NAME", password="YOUR PASSWORD")
  7. q <- "SELECT
  8.         *
  9.       FROM
  10.         game_scores;"
  12. data <- dbGetQuery(db, q)
  13. head(data)
  14. #id         school  game_date spread school_score   opponent opp_score was_home
  15. #1 45111 Boston College 1985-11-16    6.0           21   Syracuse        41    False
  16. #2 45112 Boston College 1985-11-02   13.5           12 Penn State        16    False
  17. #3 45113 Boston College 1985-10-26  -11.0           17 Cincinnati        24    False
  18. #4 45114 Boston College 1985-10-12   -2.0           14       Army        45    False
  19. #5 45115 Boston College 1985-09-28    5.0           10      Miami        45     True
  20. #6 45116 Boston College 1985-09-21    6.5           29 Pittsburgh        22    False
  21. nrow(data)
  22. #[1] 30932
  23. ncol(data)
  24. #[1] 8

下次你完成了完美的查询后，只需要粘贴到R里面，即可使用 RPostgreSQL, RMySQL,RMongo, SQLite, 或 RODBC执行。不仅可以避免生成数以百计的CSV文件，在R中运行查询还可以节省I/O和转换数据类型的时间。日期，时间等会自动设置为R中的等价表示。它还使你的R脚本可重复，因此你或你团队中的其他人可以轻松获得相同的结果。

6. lubridate

在R中处理日期我从来没有幸运过。我从来没有完全掌握用POSIXs和R内建日期类型合作的方法。请用 lubridate。

lubridate 是那些似乎完全按照你期望的神包之一。这些函数都有易懂的名字如 year,month, ymd, 和 ymd_hms。对于熟悉javascript的人来说，它类似于Moment.js 。

  1. install.packages("lubridate")
  2. library(lubridate)
  4. year("2012-12-12")
  5. #[1] 2012
  6. day("2012-12-12")
  7. #[1] 12
  8. ymd("2012-12-12")
  9. #1 按照 %Y-%m-%d 的方式解析
  10. #[1] "2012-12-12 UTC"

这是我在一篇文章发现的非常方便的参考卡片。它涵盖了你处理日期时可能想要做的一切事情。 我还发现了这个日期速查表也可以作为一个方便的参考。

7. ggplot2

另一个Hadley Wickham的包，也许是他最知名的一个。 ggplot2在每个人“喜爱的R包”的列表中排名很高。 它很容易使用，并且产生一些很好看的图像。 这是介绍你的工作的好方法，有很多资源可以帮助你开始使用。

  • ggplot2：数据分析与图形艺术 by Hadley Wickham (Amazon)
  • 从Excel到ggplot的罗塞塔石碑 (Yaksis Blog)
  • Hadley Wickham在Google的ggplot2演讲 (youtube)
  • R数据可视化手册 by Winston Chang (Amazon)

8. qcc

  1. install.packages("qcc")
  2. library(qcc)
  4. # 均值为10的序列，加上白噪声
  5. x <- rep(10, 100) + rnorm(100)
  6. # 测试序列，均值为11
  7. new.x <- rep(11, 15) + rnorm(15)
  8. # qcc 会标记出新的点
  9. qcc(x, newdata=new.x, type="xbar.one")
  1. install.packages("qcc")
  2. library(qcc)
  4. # 均值为10的序列，加上白噪声
  5. x <- rep(10, 100) + rnorm(100)
  6. # 测试序列，均值为11
  7. new.x <- rep(11, 15) + rnorm(15)
  8. # qcc 会标记出新的点
  9. qcc(x, newdata=new.x, type="xbar.one")

qcc 是用于 统计质量控制的库。 早在上世纪五十年代，现已不复存在的西方电气公司正在寻找一种更好检测电话线和电线问题的方法。他们提出了一系列 规则 来帮助识别有问题的线。规则观察一系列数据点的历史平均值，并且基于标准差的偏差，该规则有助于判断一组新的点是否经历均值漂移。

典型的例子是监控生产 螺母的机器。假设机器应该生产2.5英寸长的螺母。我们测量一系列的螺母： 2.48, 2.47, 2.51, 2.52, 2.54, 2.42, 2.52, 2.58, 2.51。机器出故障了吗？很难说，但上述规则可以帮助描述。

10个令人相见恨晚的R语言包

虽然你可能不会监控电话线，qcc可帮你监控你网站的交易量，数据库的访问者或者登录名，以及其他许多流程。

9. reshape2

我经常发现，任何分析中最难的部分是把数据转化成正确的格式。 reshape2 正是Hadley Wickham的另一个软件包，专门用于 “宽”数据表 和“窄”数据表 的转换。我一般会和ggplot2 及 plyr一起使用它。

  1. install.packages("reshape2")
  2. library(reshape2)
  4. # 为每一行生成唯一的ID; 这样我们可以稍后转回到宽格式
  5. iris$id <- 1:nrow(iris)
  7. iris.lng <- melt(iris, id=c("id", "Species"))
  8. head(iris.lng)
  9. #  id Species     variable value
  10. #1  1  setosa Sepal.Length   5.1
  11. #2  2  setosa Sepal.Length   4.9
  12. #3  3  setosa Sepal.Length   4.7
  13. #4  4  setosa Sepal.Length   4.6
  14. #5  5  setosa Sepal.Length   5.0
  15. #6  6  setosa Sepal.Length   5.4
  17. iris.wide <- dcast(iris.lng, id + Species ~ variable)
  18. head(iris.wide)
  19. #  id Species Sepal.Length Sepal.Width Petal.Length Petal.Width
  20. #1  1  setosa          5.1         3.5          1.4         0.2
  21. #2  2  setosa          4.9         3.0          1.4         0.2
  22. #3  3  setosa          4.7         3.2          1.3         0.2
  23. #4  4  setosa          4.6         3.1          1.5         0.2
  24. #5  5  setosa          5.0         3.6          1.4         0.2
  25. #6  6  setosa          5.4         3.9          1.7         0.4
  27. library(ggplot2)
  29. # 为数据集中每个数值列绘制直方图
  30. p <- ggplot(aes(x=value, fill=Species), data=iris.lng)
  31. p + geom_histogram() +
  32.   facet_wrap(~variable, scales="free")

这是一个快速查看数据集并且获得转接的方法。你可以使用 melt 函数将宽数据转换为窄数据， 使用 dcast 将窄数据转换为宽数据。

10个令人相见恨晚的R语言包

10. randomForest

如果这个列表不包括至少一个能你的朋友震惊的机器学习包就不会完整。随机森林 是一个很好的算法。它很容易使用，可以进行监督学习或者无监督学习，它可以与许多不同类型的数据集一起使用，但最重要的是它的高效率！这是它在R中的使用方法。

  1. install.packages("randomForest")
  2. library(randomForest)
  4. # 下载泰坦尼克号幸存者数据集
  5. data <- read.table("http://math.ucdenver.edu/RTutorial/titanic.txt", h=T, sep="\t")
  6. # 将Survived列转为yes/no因子
  7. data$Survived <- as.factor(ifelse(data$Survived==1, "yes", "no"))
  9. # 拆分为训练集和测试集
  10. idx <- runif(nrow(data)) <= .75
  11. data.train <- data[idx,]
  12. data.test <- data[-idx,]
  14. # 训练一个随机森林
  15. rf <- randomForest(Survived ~ PClass + Age + Sex,
  16.              data=data.train, importance=TRUE, na.action=na.omit)
  18. # 模型中每个变量的重要程度
  19. imp <- importance(rf)
  20. o <- order(imp[,3], decreasing=T)
  21. imp[o,]
  22. #             no      yes MeanDecreaseAccuracy MeanDecreaseGini
  23. #Sex    51.49855 53.30255             55.13458         63.46861
  24. #PClass 25.48715 24.12522             28.43298         22.31789
  25. #Age    20.08571 14.07954             24.64607         19.57423
  27. # 混淆矩阵 [[真反例, 假正例], [假反例, 正正例]]
  28. table(data.test$Survived, predict(rf, data.test), dnn=list("actual", "predicted"))
  29. #      predicted
  30. #actual  no yes
  31. #   no  427  16
  32. #   yes 117 195

End.

历史上的今天
5 月
30
2016年度中国软件开发者白皮书下载（PDF）
MySQL必知必会
小额消费信贷用户数据
R语言实战（中文完整版）

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: