查找并删除缺失数据

| 评论(1)

一、找出并去掉向量中的缺失值
--------------------------------
>a<-c(1,2,NA)
>b<-a[!is.na(a)]
>b
[1] 1 2
--------------------------------
二、找出并去掉矩阵中有缺失值的行
------------------------------------
> a
[,1] [,2] [,3]
[1,] 1 5 NA
[2,] 2 6 10
[3,] 3 NA 11
[4,] 4 8 12
> b<-which(is.na(a),arr.ind=TRUE)
> b
row col
[1,] 3 2
[2,] 1 3
> a<-a[-b[,1],]
> a
[,1] [,2] [,3]
[1,] 2 6 10
[2,] 4 8 12
----------------------------------------
which用来找缺失值的坐标,arr.ind=TRUE是必须的,不然默认是把对象当向量,返回的

就是把矩阵当作向量的这个序列里的位置,然后a[-b[,1],],负号表示要删除,b是一个

矩阵,第一列是缺失值行号。删除列就用a[,-b[,2]]。

三、实例

下载了上证A股10年的个股月收益率,列为股票,行为时间(月),缺失值有两种情况,

一是期初还未发行,自然无数据;二是非正常缺失,包括长期停牌或者退市。目标是将

出现第二种情况的股票剔除。按以下步骤操作:

1.a为原始data.frame,首先对期初已发行的股票进行筛选
b<-a[,which(!is.na(a[1,]))]#第一期缺失的先不考虑
c<-which(is.na(b),arr.ind=TRUE)
d<-unique(c[,2])#提取有缺失值的列
e<-colnames(b)[d]#这些列的股票代码
f<-match(e,colnames(a))#这些代码在原始data frame里的列位置
a<-a[,-f]#删掉这些列

2.a现在去掉了期初已上市股票中有缺失值的,开始对期初未发行的股票进行筛选
b<-a[,which(is.na(a[1,]))]#选择第一期缺失的
#由于这些股票从期初开始就有缺失,而要判断的是他们在序列中或者末是否有缺失,
#考虑以下方法筛选:当缺失值的最大位置大于缺失值数时,说明缺失值不是只有从
#期初开始的一串连续缺失,继而判定该列应该被删除。
n<-numeric(0)#设定一个向量来存放要删除的列号
for(i in 1:dim(b)[2])
{
ti<-max(which(is.na(b[,i])))-length(which(is.na(b[,i])))
if(ti>0){
n<-c(n,i)
}
}
m<-colnames(b[,n])
f<-match(m,colnames(a))#这些代码在a里的列号
a<-a[,-f]#删掉这些列
------------------------------------------------
现在的a就是去掉了有缺失值股票的数据了。


  大概一年半前,我在百无聊赖中混迹于一个很特别的论坛,论坛里各方势力割据,既宣称互相容忍又相互攻击,有人写花痴美文有人写热血檄文,有人呼朋引伴有人四处树敌,有人化解干戈有人离间挑拨。最奇妙的是,有人为了所谓的"自由"接纳了敌对势力的一些攻击性言论,而还有一些人,一边高喊"要自由"一边用下流肮脏的语言对其他势力进行攻击。这个论坛的创办者对于这个论坛的定位借用了伏尔泰的那句名言:"我不同意你说的话,但我誓死捍卫你说话的权利"。可惜在论坛经历了黄金时代白银时代来到青铜时代的时候,他忙于生活,对于论坛里的是是非非有些力不从心,离开了他一手创办的地方。

  在青铜时代的鼎盛时期,我来到了这个论坛,积极投身于混战的湍流中,热情洋溢地花痴,尖酸刻薄地骂人,加入各种活动,渐渐也成为了论坛的小名人。眼见论坛的日趋混乱,朝着没落滑去,坛子里"有爱,有责任感"的一群人开始商讨制定冗长细致的管理办法,希望能够既保证坛子里各方表达意见的自由,又不至于出现过分激烈的言辞而导致互相攻击,然而,经过种种努力,论坛还是无可挽回地堕落到黑铁时代了。我也掺和进了众人充满历史恩怨纠葛的辩论中,乐滋滋地谈论着什么民主,什么自由,什么公平,但实际上,我对这样的概念几乎只是叶公好龙,虽然觉得这几个概念看上去很美,但要我去了解到底它们代表了什么,有什么深刻的内涵,却很困难。每当我看到什么《论法的精神》,什么《论自由》,什么《社会契约论》我就头大。我猜想坛子里大多数人也和我一样,因为他们在辩论时也处于一种困惑混沌的兴奋状态。

  就在一个茫然而热切的夜里,我在坛子里看见了一个帖子。没错,是林达的几篇文章。我之前罗嗦了那么多话就是为了衬托我看到这几篇文章的惊讶和感动。那种感觉,叫做醍醐灌顶,就像一个"没头脑和不高兴"附体的青年突然从嘈杂的市场空间转换到清幽的山谷,山泉边上一位仙风道骨的老人家请你喝茶还给你讲故事。林达的文章用娓娓道来再合适不过了,没有咄咄逼人,不是嬉笑怒骂,既非灌输也非煽动,不用晦涩艰深的术语词句疏远你,也不想像个熔炉融化你。转贴林达文章的朋友向我推荐了林达的"近距离看美国"的四本书。就这样,这位朋友帮我打开了一扇门,而林达则带着我在美国200多年的历史马路上转悠起来,在路上,我看到了鲜活的自由、民主平等,当然,还有幸福。

  林达的"近距离看美国"系列一共有四本书:《历史深处的忧虑》、《总统是靠不住的》、《我也有一个梦想》、《如慧星划过夜空》,以书信的形式分别重点介绍了美国公民的自由是怎么回事,政府是怎么回事,民族问题,和建国历史与整个制度的思考。

  《历史深处的忧虑》从国人对美国的误解与好奇入手,以没落的三K党为引子,以一个关于氢弹秘密的案件为主介绍了美国人的言论自由,以辛普森案为主介绍了美国人持枪自由和法律制度。全书不但介绍了何为自由,更是一再强调为了保证自由所需要付出的各种代价,并且对美国公民能否在未来在更大的代价面前坚持自由表达了忧虑。书中对于言论自由的一段阐述极为精彩,关于言论自由并不是为了得到真理而存在而是一种天赋人权的介绍让我折服。

  《总统是靠不住的》从美国总统大选谈起,用收银机的故事做比喻,介绍了美国的政治制度。澄清了这样几个问题:立法、司法、行政如何分立?美国总统是干嘛的,有多大?联邦政府和州政府的关系如何?然后叙述了尼克松的水门事件及制度在其中所起的作用,介绍了新一代的总统克林顿,全书的重点是通过一个个故事介绍并探讨了整个美国政治制度的结构及其遇到的挑战。

  《我也有一个梦想》开篇就以洛杉矶骚乱强调了美国的种族问题,接着回顾历史,从美国建国前的奴隶制度谈起,介绍了建国时的妥协,一国两制,南北理念差距,南北冲突,然后是南北战争,可以看出,关于解放黑人奴隶的斗争,大多数时候是在白人内部进行的,是文明与野蛮擦出的火花;其后林达又介绍了黑人自身争取权利的思想和行动以及现代意义上的种族问题。从书中能够找到文明进步的线索和看到实现大同世界梦想中需要解决的问题。

  《如彗星划过夜空》的前半部分主要介绍的是美国政治制度是如何确立的,制宪会议的背景,美国国父们的思考,尤其是亚当斯和托马斯杰佛逊的理念冲撞,后半部分相当于前三本书的补充,也是政治制度确立以后遇到的种种问题的解决的过程介绍。最后,在变化越来越快的今天,美国人民应该如何应对,能否坚持他们"最初的梦想",是林达的一个疑问,也是很多美国人的疑问。

  林达的"近距离看美国"系列,书中所含的丰富信息,包括一段段历史故事、一句句发人深省的隽永话语、一个个直达深处的追问,都使其成为值得一读再读的经典之作。当然林达也有可能出现偏颇与错漏之处,如果能在阅读完这套"启蒙"书之后进一步阅读更广泛更深入的相关书籍,那就善莫大焉了。

Song:fix you
Artist:coldplay
From:British
Album: fix you
Rank (Personally):4.5

http://www.haoting.com/htmusic/106392ht.htm

Lyric:

When you try your best but you don't succeed
When you get what you want but not what you need
When you feel so tired but you can't sleep
Stuck in reverse


And the tears come streaming down your face
When you lose something you cannot replace
When you love someone but it goes to waste
Could it be worse?


Lights will guide you home
And ignite your bones
And I will try to fix you


And high up above or down below
When you're too in love to let it go
But if you never try you'll never know
Just what you're worth


Lights will guide you home
And ignite your bones
And I will try to fix you


Tears stream down your face
When you lose something you cannot replace
Tears stream down your face
And I will try to fix you


Tears stream down your face
I promise you I will learn from my mistakes
Tears stream down your face
And I will try to fix you


Lights will guide you home
And ignite your bones
And I will try to fix you

伟大的辩题

| 评论(1)
标 题: 银联杯"厦门大学第三届研究生辩论赛盛大开幕
发信站: BBS 鼓浪听涛站 (Fri Apr 25 23:52:51 2008), 站内

开场赛
时间:2008年4月26日 19:30-21:00 地点:群贤二102
正方:管理学院一队 反方:海洋环境学院
辩题:人际交往应该坦诚相待还是有所保留

第一轮其它对阵安排
2008年4月27日 群贤二102

第一场:19:00-20:15
正方:经济学院一队 反方:法学院一队
辩题:消除代沟主要责任在父母还是在子女

第二场:20:30-21:45
正方:新闻传播学院 反方:海韵三院
辩题:辩论赛中理论和表达哪个更重要

2008年4月27日 群贤二105

第一场:19:00-20:15
正方:生命科学学院 反方:管理学院二队
辩题:实现和谐社会主要靠德治还是法制

第二场:20:30-21:45
正方:公共事务学院 反方:法学院二队
辩题:爱与被爱哪个更幸福

  昨日在牛博看到十年砍柴发了一篇题为《九年前那些爱国青年今何在》的博客文章,以一个过来人和旁观者的角度表达了一下对热血青年的不屑,而王老板则以一种令大多数人不太愉快的文风痛斥了十年砍柴(我看得还挺high的)。不谈左与右哪个更"有理",王老板这样的文风是否过分,我是更认同王老板的"平等"的观点的,谁也不见得比谁高明多少,按电影台词来说,大家都是下三滥,谁嫌弃谁啊。而我自觉更大的收获则是我对"自由"这个概念有了一些新的体会。

  砍柴在博客里表达了这样一种观点:"因为散步(抗议国外政府的错误行径)是一种被利用的工具,是'赐给的自由',而我们并没有获得全面的自由(不能针对我国政府的错误行为散步抗议),所以他不接受这样的'恩赐',并为那些年轻人的被'利用'而感到悲哀"。而王老板针对这个观点的驳斥是反问砍柴"言论自由"(文字表达,如写博)难道不是朝廷恩赐才能进行的,为什么砍柴拒绝了一种恩赐而接受了另一种,为什么不在全面自由到来前闭嘴呢。

  我不太清楚王老板在这里要表达的意思是否仅仅是指出砍柴的双重标准,不过,通过王老板的话,我意识到,自由,从来也不是被恩赐才能获得的。我们可以把自由划分为两个概念,一个是你的心有多大,一个是你的行为受什么约束。按照我对自由的朴素的理解,自由就是想做什么就做什么,而想做什么,就是你的心有多大,"就做什么"还要考虑到你受到的约束。但是这个约束是什么呢?这个约束不像经济学里的预算约束线那样无法逾越,而是提醒你,如果你这么干了,你会有什么样的"负面效",也就是你的成本是什么。

  现在让我们来分析一下"自由是否是别人赐予的"这个问题。如果说,你受到的约束像经济学里的预算约束线那样无法逾越,那么,这个"别人"放宽对你的约束那确实是对你的一种恩赐。就好像你已经被五花大绑,嘴里塞一只臭袜子无法动弹的时候,你已经任人宰割了,要杀要刮你自己都无法选择了,这个时候刽子手在死法上让你做出选择,就是对你的一种恩赐。而前面说过了,对"自由"的约束其实是一个成本问题,你说一句粗话扇你一下嘴巴,你可以选择说粗话,被扇,或是不说粗话,不被扇,这和任人宰割完全是两码事。我们并不是完全不能表达自己的意见,只是成本很高而已。因言获罪不等于有口不能言,李敖因为骂******而坐牢,可以说他骂的自由是被恩赐的吗?

  那么,既然自由不是被恩赐的,为什么还有这么多人呼喊着"要自由"呢?因为这个"自由"的成本太高,如果骂一句就要被打一顿那自然会感觉自己的"自由"被侵犯了。而这种被侵犯的感觉和对成本的恐惧导致人们希望先争取到较小的成本再来行使自由。我觉得,这样的情况太糟糕了。怎么说?首先,这变成一种"乞讨",一种对"恩赐"的乞讨,先争取到小成本或无成本再来行使自由的行为会让人有这样的错觉:"只有争取到小成本才行使自由---->不争取到小成本就不行使自由---->行使自由受是否能争取到小成本决定---->行使自由的权利受高高在上的存在(大多数人或政府)影响(即使不是完全决定,起码也是博弈的一方)---->行使自由的权利需要被恩赐";其次,要拿什么作为博弈的筹码来争取更小的成本呢?既然你在这样的成本下不敢行使你的权利,那为什么要降低你的成本?你抗争就镇压你(因为你怕痛,所以打你你就屈服了)。这样下去,那个存在知道你将无所作为,而你,一面高喊着要争取自由(其实是争取降低成本),一面把自由的权利拱手让给对方,然后还以为自由本不属于你,需要他来"恩赐"。

  因此,争取自由的最好方法就是行使你的自由,而当你不敢行使自由的时候不要说"我不要恩赐的自由",因为是你自己先"不要",才导致自由变成一种了"恩赐"。