2008年7月24日星期四

怎么实现增量升级?

所谓增量升级,就是只升级两个版本对应文件不同的部分,而不是整个文件覆盖。好处是可以减少带宽,提高升级速度。在某些应用下(升级频繁,文件数多,文件变动不大),效果非常非常的好。

有一些商业的软件专门做这方面的增量升级,价格不菲。

这里推荐使用开源代码来解决这个问题,效果比商业软件要好很多。

一.文本文件增量升级

这个比较简单。有多种方法可以实现。 可以根据自己的实际情况来实验上面那种方法得到的patch文件最小。

二.二进制文件增量升级

这个也不难。只是选择只有一个了:bsdiff

这个玩意儿很强大,不仅在BSD下面可以用,在linux下面apt-get install bsdiff,也能拿到。windows下也有对应的版本,更有python的扩展。全部通吃。还是bsd的协议,真是爽啊!

------------------------------------------------
得到diff文件只是升级的一部分,还有其他很多要注意的问题。
------------------------
贴个测试数据,大家看看bsdiff的效果。

  • WPS从版本1151(184MB)升级到版本1238(181MB)
增加文件: 20
升级文件: 237
删除文件: 1
总共 : 138 MB (新增加文件+升级文件)

生成升级包:
RTPatch生成的zip包 : 12.6 MB
使用bsdiff后的zip包: 9.11 MB (节省带宽93.4%)

  • WPS从版本1238(181MB)升级到版本1239(139MB)
增加文件: 1
升级文件: 29
删除文件: 625
总共 : 48.4 MB(新增加文件+升级文件)

生成升级包:
RTPatch生成的zip包 : 2.28 MB
使用bsdiff后的zip包: 773 KB(节省带宽98.44%)

——————————————————————————
ps:2008-7-31
微软貌似也有二进制比较的工具,没有仔细研究,感兴趣的去看看这个

ps:2008-8-11
还有这样一个东西,vcdiff:RFC 3284中进行了描述

电脑的用处

刚才舅舅还打电话过来,让我给他推荐一款电脑,给上小学的弟弟用。我实在是不愿意让弟弟接触电脑,所以我大学用的电脑说什么都没有给他用,现在他想自己买。

我一直认为,接触电脑太早,绝对百害而无一利!

不错,现在是信息时代,不懂电脑好像很落后一样。父母们望子成龙,让孩子学英语,学钢琴,自然也不会放过学电脑。可现在的父母也多少熟悉电脑呢?小孩子无非是学学windows的基本操作,上上网,看看电影,玩玩游戏,还能做什么?这些对孩子的成长有什么用?

在网吧看到不少上小学,初中的孩子痴迷于游戏,真的很心痛,恨网吧老板,网游厂商的无良;他们的家长不配为人父母。小孩子容易受外界诱惑,也是形成人生观,价值观的关键时期,如果接触网络,游戏这些东西,无疑会造成巨大的伤害。不说小孩子,就是在大学里面,因为沉迷网络,游戏而自毁前程的人还少吗?

不会英语,不会钢琴,不会电脑,我们都可以再学。可是美好的童年逝去了,我们到哪儿去找回来呢?

童年是属于欢声笑语和无忧无虑的,不应该掺杂进去大人们自以为是的道理。每个人的路,要每个人自己去走,身为父母,你所能做的是避免他走入邪路,至于走哪条路,就随他去吧。

多抽点儿时间陪家人和孩子,比什么都重要。舍本逐末,为之奈何?

推荐一本好书,豆瓣的书评也很精彩

这是LML推荐的一本书。中午抽空在sina上面看了几章,觉得很不错。决定去买一本看。

豆瓣上面的书评也很精彩,一个达人结合IT著名的35岁问题展开论述,鉴于版权问题不能转述。建议大家都好好看看,认真想想。

2008年7月23日星期三

常在河边走,怎能不湿鞋

对于杀毒软件来说,误报就像吃饭喝水一样频繁,只不过大都误报些不常用软件,一般用户觉察不到而已。

每个月总有那么几天,某个常用软件升级pe文件了,没有进入误报库,又恰巧加了某些壳或者有类似病毒的行为,大的误报就这么出来了。又因为杀软厂商间交换样本和样本收集自动化处理,可能会导致误报的连锁反应。毒霸误报自己升级文件和这次360被多款杀软(小红伞,卡巴,毒霸)报毒,就是这种原因。

看到有人在YY,说这些误报是杀软厂商蓄意所为,这肯定是不真实的,只是门外汉的臆断。没有哪个厂商会主动误报,竞争规竞争,但不能砸自己的牌子吧?

怎么减少误报?这不只是杀软的事儿,也是常用软件的事儿
  • 将升级文件提供给杀软厂商,是防止误报最直接有效的办法
  • 扩大白名单,至少自家的文件和系统文件要全部包括
  • 爬虫关注各大软件站的更新页面
  • 扩大病毒分析师规模
  • 改进自动化处理程序和流程
听到有人说毒霸破解了kp的病毒库,直接拿来用了。我想kp的兄弟们看了肯定笑了。之所以给人这种印象,还是水银太强大,副作用也不小。还是那句话,提取的特征越多,误报的几率越大。在自动化处理中如此,人工处理也是这样。但是随着误报库的持续积累和自动化的改进,误报会越来越少。期待这一天早点儿到来!

2008年7月21日星期一

三个月前,谁知道?

谁知道以前宣称自己唱歌跑掉的人成为麦霸?

谁知道以前连球都接不住的人被高手喊好球?

谁知道从来没有玩过桌上足球的人第一次就成为冷静的好前锋?

----------------
生活就是这么美好,永远值得期待。

自带生产工具

上上个星期,丁丁用的03年的液晶显示器冒烟了,诺大的公司找不来一台液晶显示器,就搬来一个N年前的CRT,打开一看,也是坏的...又再换了一个CRT。

下面是前年几个同学去google参观拍的(点击图片查看大图)。

年初老求在年会上喊着加薪20%,忽悠了一大批热血青年,从此大家幼小纯洁的心灵不再相信口号。虽然这次万里喊着换笔记本(用笔记本就不能用台式机ORZ),同学们还是纷纷自掏钱包(狼来了后遗症),买了笔记本拿来公司用。于是我们终于用上了双核和2G内存,于是调程序的时候再也不用漫长的等待。

于是丁丁周末去深圳买了港行T61,于是老大对面不仅有一个硕大的CRT,还多了一个小黑。

预览后发现这里有空白,不能浪费,插播广告:推荐电影《last holiday》。人生观和我一样,哈哈

------------
记得去年年底和lwl打赌,结果输的特别的惨:( 现在想想,如果当初有现在这么高的觉悟,可能就不会输了。不过当时看到结果,REALLY A BIG SURPRISE.

2008年7月19日星期六

毒霸,加油

今天中午闲逛,到卡饭上面看了看杀软查毒率的排名,发现毒霸现在是稳步增长,比瑞星和江民强了不少,在国内杀软中稳居第一。虽然是意料之中,但也是非常的开心啊。

我没有一行代码跑在客户端,但我可以很自豪的说,毒霸这么高的静态样本查杀率,我也是做了很多贡献的:)毒霸和其他杀软相比,最强的就是病毒库, 特别是水银上线之后,每天海量样本的自动处理和分流,大大提高了毒霸对病毒的反应能力。

和其他杀软相比,毒霸还有很多不足甚至是致命的地方。自定义白名单,文件自保护,启发式查毒......所以毒霸,要加油!

----------------

360推出bitdenfender的OEM版本了,号称永久免费。360最宝贵的资产就是庞大的用户群和良好的口碑,这次做OEM杀软,肯定会抢占一部分市场。但是引擎和病毒库不在自己手中,会严重拖慢它的响应速度,出几次严重误报360就挂了。根据我的了解,从国内样本的查毒率上面看,bitdenfender和其他杀软比较还有不小的差距,也就是比mcafee好一些而已,而且误报比较多(谁让国内有流氓行为的软件太多呢)。

360牌杀软,我不看好你。

2008年7月17日星期四

组里新来了个活宝

今天部门年中总结,分组讨论的时候,我和一个刚来一周的新人分在了一个小组。那是一个看上去很腼腆的小伙子,刚毕业。

讨论的话题是这半年来你的成长和抱怨。该他发言了,他感觉python没有强类型,不好用,慢慢就引导我们进入语言选择这种无谓的争辩......最后他问:“我刚来,生活上面要注意一些什么?”小组的几个人都喷饭。

部门发言的时候,他说“我之前对python只懂一点点儿,经过一周的学习,我现在是...略懂...”汗,^--^诸葛先生来了^--^提到抱怨,他说公司体育活动太少,恩恩,这个确实。几个热心的老人七嘴八舌的给他推荐公司的羽毛球活动,一周两次,免费......讲完了,他说“我不怎么玩羽毛球”。倒--__--......

最后刘老师的总结,让我们大致了解一个老程序员的心路历程,当讲到“我的四级最高48分,翻译python tutorial的时候,用了三四个月,翻烂了牛津辞典”时,大家都很感动,也让我很惭愧,自己的英语不差,还过了六级,却没有真正的去用自己的优势。沉住气,别浮躁,专心做事。
------------
数据库要备份三份,DBA的真情告白。理解理解。数据库就是硬盘,运维就是备份

我看“瑞星的云安全”

7月16号,瑞星推出了卡卡6.0,同时还有“云安全”这个概念

大致看了一下,感觉瑞星真的是一家很了解中国市场的公司,很会炒作概念。早在今年3月份,瑞星第一次宣传这个系统的时候,打的标题是国内首个“病毒自动分析系统”建成 瑞星卡卡每天可查杀数万个新木马。那时候就闻到腥味了,知道瑞星在这个方面也要下手了。当时金山的水银是我所知道的杀毒软件公司里面最早开始样本收集,自动化处理,互联网验证这样模式的公司。之后赛门铁克,瑞星,panda都开始采用这种模式来作为传统杀软的补充。虽然瑞星是跟风,但现在不是“先下手为强”的互联网时代了,大家更多的是比服务,比速度。没有人敢掉以轻心。

使用这种系统的好处是相当明显的:可以收集到海量样本,提高对新病毒的反应速度;使用自动化处理,大大减轻了病毒分析人员的工作强度;互联网验证,减小客户端体积,提高查毒速度;与其他软件公司合作推广,抢占市场和用户......弊端也很明显:大规模自动化必然会导致误报的激增,怎么防止误报和处理误报是非常重要的机制。

金山一直很低调,到现在为止,只有一篇‘不靠谱专家’的一篇文章挂在毒霸的论坛上面。从里面这几句话中就能看出,现阶段,水银比瑞星的‘安全云’要强大很多:
金山毒霸的可信认证平台为毒霸的发展作出了重大贡献,目前的数据处理能力为:
  • 每天自动处理百万级的有效样本
  • 正常流程四天给出白名单(判定为正常)结果
  • 快速流程只要半天到一天
这里有一篇blog,是毒霸分析组自己在外面收集样本的情况(这个来源的文件占水银总数的很少一部分)
补充一句,快速流程要半天到一天,那还叫快吗?点点鼠标就搞定了。
--------------
金山有很多产品都是走在别人前面的,比如金山加加,输入法,卓越......最后都是不了了之,反而一些步后尘者赚的盆满钵满。希望这次水银不会。知己知彼,百战不殆。
--------------
PS:如果你是用户,不要太在意各个公司的宣传,哪个没有水分?都是找些你看不懂的东西忽悠你。最好的方法是去下载各个杀软的试用版,装上去看看,哪个用着更习惯和舒服就好。想不中毒,还是个人习惯更重要。

2008年7月16日星期三

入职周年记

在我的工资条上面,去年的今天就是我正式入职的那天,时间过的真快,转眼就一年了。

这一年发生太多事情了,比大学四年的日子过得都要充实,虽然浮躁不减当年。

当初冲着WPS的光环投了WPS部门,然后培训的时候被运维组看中,最后却进了水银,真是曲折:)。一起培训的大部分人去了毒霸,虽然也是wps招进来的。听说wps的人特郁闷,再也不让新人进金山训练营了-___-。

“让我们的软件运行在每一台电脑上”,多么煽动程序员的口号啊!我还没有一行代码运行在客户端,一直在服务器上面倒腾了......

客户端的程序还有测试帮比测,出了bug也不是很紧急。而我们现在互联应用,真的是快速反应,而且事关毒霸升级和病毒库,出不得半点儿差错。现在组里每个人身上都有事故背着。以前很羡慕DBA,现在才知道DBA的压力有多大。数据库事关重大,它一停或者出现性能问题,整个六楼有一半人就不用干活了。

到珠海感觉最深的就是这边消费很高...现在习以为常了,出去吃个饭没有二三十块钱是不够的。一个月前去免税商场闲逛,被一条1200的牛仔裤雷住了,实在无语,不是我不懂,世界变化太快......还好食堂吃饭不要钱,不然物价现在这样疯长,我的那点儿薪水真的很难生存。哦,还有那嚇死人的房价,据说加速度变小了,4个月工资就能买一平方米啦,很好很好。

都说金山是大四,给别的大公司做了不少嫁衣。来了之后确实如此。不少牛人走了,也有牛人来的。留不住人才,频繁的人员流动,造成产品质量和口碑的下降,应该是金山有钱后重点解决的问题。毕竟上市有钱了,再和其他公司薪水有2,3倍的差距,就很难让人有理由留在这里了。

要学的东西太多了,这是我现在最深切的感受。但是回家就想休息,不想看书了,也是一个矛盾。平衡,平衡,恩。

2008年7月9日星期三

有趣的espeak命令

前几天在邮件列表里面看到有人问TTS的东西,我这方面稍微知道一点儿。

有一个人回帖说在ubuntu里面直接调用espeak命令(各个平台的实现都有,支持中文,很强大)就可以了。试了一下,果然可以。

看了一下文件的大小,都很小,不知道它是怎么实现的?

2008年7月8日星期二

吃蟹(转贴)

转自张磊同学的qq空间,已经征得作者同意,哈哈
发表于:2008年7月8日 14时39分55秒来源:阅读(0)评论(0) 举报本文链接:http://user.qzone.qq.com/249616209/blog/1215499195


知道我要在几周后离开的消息后,朋友决定在我走之前,和我一起尽可能把珠海的美食吃一遍。于是在网上搜了一些网友推荐的珠海美食,并经筛选后,决定周日去吃“光头香辣蟹”。
可惜天公不做美,淅淅沥沥的雨下个不停。到吃饭时候下的雨更大了!
不过这丝毫没有影响我们要“痛快的过完我再珠海的最后日子”的“热情”。
当出租车停在一个有着“香辣蟹”招牌的饭店门口时,热情的服务员早已撑着一把大伞迎了上来。于是我们就跟着服务员走了进去。
珠海餐饮很火爆,一般周末不提前订座,通常请况下是没位置的。为此我们还提前打电话预定了座位。当我们问起我们订的座位时,服务员一脸的茫然。 “也许下雨的原因,店里人不是很多,坐哪儿都行”我们如是想,对服务员的茫然表情也没有在意。 当拿到菜单时,小吕发现蟹比网上说的贵了不少,网上说一斤48,而菜单上显示为68元/斤。我们无不慨叹物价飞涨。竟没也有怀疑什么。
还好蟹还算美味,其他菜就不敢恭维了,尤其我喜欢吃的茄子。
茶足饭饱,结帐离开。就要离开时温铭还在纳闷,“这个店为啥叫光头香辣蟹呢?老板貌似也不是光头。”
刚出门我们就找到了答案。
这时雨几乎停了。当我们再回首看这个慕名而来品尝其美味的饭店时,竟发现他的旁边还有一家“香辣蟹”并且招牌下面分明还有一个光头师傅的头像。呵呵,这下大家明白服务的茫然表情和蟹价的飞涨的原因了。
小吕貌似有些懊恼和惋惜---由于没看清楚,而错失了传说中的实惠美味。
我知道了真相后到觉得挺高兴的,这“错失而得美味“将永远留在心里。
这个事情也许就成为我讲给我以后的朋友,我的爱人的笑话。我们的真挚的情谊也会在这个笑话中保存着它的鲜味。

------------------------
生活就是这样有意思,充满了未知......