星期一临下班时被老板叫入房间,说有一些紧急的数据需要被处理好以在周末前寄去美国﹔处理数据的程序已经就绪,只差源数据的格式不是预期的FASTA格式。所以我的第一个任务是把所有的源数据转换成FASTA格式。好的我开始构思,源数据是一个20G的压缩档,解压后有太约45G。心里略有定案,决定用Memory File Mapping 的放式把整个档案映射到一个unsigned char 的指针,然后所有的转换手续在记忆体完成,这样子的速度会快过从档案里读出、写入记忆体再转换。起初我还淡定的套用OOP的方式来分类、封装等。后来酲悟这是一个针对目前特定情况也许只用这么一回的程式,实在不需要顾虑易用、重用和维护性。再加上解压出来的源档案是一百多个,最大的不过3G。而且我也懒得实现用指针的方式寻找字串这类的低阶算法。决定转用高级语言脚本Phyton,现成的函数加上简易方便的语法,一小时左右就完成了,再花一些时间调试、修改后就丢进伺服器执行,预期第二天清晨可以拿到结果。事情没有这么顺利,第二天回到公司看见程式在转换到第一百多个档案时挂掉,原因是硬盘的储存空间用完了(如果我事先仔细做个评估就好了)后来换另一个硬盘空间做为输出,两个小时后顺利完成格式转换。心底暗为Phyton的威力赞叹,实在是简单好用的语言,而且多数Linux系统都是缺省安装,也可以当作Shell script来使唤。
然后是第二个程式,用来做一些数据的后期处理,也即是接受另一个程式的输出数据,处理后再输出。我继续用Phyton,测试后发觉Phyton的速度不足以应付3O0G的数据(费时太久,而我这Phyton初学者的功力不足以优化程式)。于是花了一些时间用传统的C语言写了相同的程式,速度快了将近五倍。毕竟脚本语言在处理如此庞大数据下无法比拟编译语言的速度。如果说脚本语言在处理1OOMB的数据比编译语言慢了3O秒,乍看之下也许没什么要紧,也不过是半分钟的差别,热腾腾的咖啡还在冒烟呢!就算是1G的数据也还只是等多五分钟而已。可是3O0G的话呢?所以那晚在公司呆到十一点半。
来到第四个程式已经是星期四的事情了。是一个简单的验证用途的程式,是要在第一个程式输出的数据里找出重复的数据单位(fasta header)。笨方法是用一个迥圈来检视每个单位,再用一个内迥圈来检视接下来的每一个单位是否和迥圈外的单位重复。如果数据不多的话两个迥圈都不会太久。可是目前数据有二千万个单位,我只好花时间想一个有效率的算法来处理。
无论如何,最终还是做完了这些紧急工作。伺服器开足马力处理着数据,期待明天早上能够拿到完整的结果,也算值得。
See how much you can save on reliable, affordable car insurance. Get your free quote online or over the phone and compare auto insurance rates in minutes.
Thứ Năm, 29 tháng 9, 2005
Chủ Nhật, 25 tháng 9, 2005
第一个L镜头
canon 17-40 F4L, 黑身红圈的威严,实在硬朗的作风。这将会是我风景和日常摄影的最佳镜头。
昨天买了后拍了一些室内的静物照和室外的风景照,操作一流,色彩的表现极佳 (迟些再放上来,周末忙,还没来得及处理照片。)。我初步领会了L镜头的妙处,不管是实际的操作上、影像的输出、还是心理的踏实感。L镜头是一种毒,无药可救,只有以更多的L镜头来舒缓。
Thứ Năm, 22 tháng 9, 2005
TouchNGo
每个工作天晚上我从公司附近搭电动火车去KL Sentra以转乘Putra 轻快铁回家。一个站的距离,一块钱车资。为了省下每次排队买票的时间,最近我转用了TouchNGo ,所谓一触即通,每次进出只需要用卡轻触机关,门开门关,车费自动扣除。用了两个星期,除了好几次需要二或三触才通的状况之外都一切顺利。直到昨天在一个机关前二触不过,换另一个机关则一触即通,唯一不妥的卡内的佘额被扣除了16块钱!向火车站的工作人员反映后只得到一个"打电话去TouchNGo公司"的答案,并获知这类事情常发生。除了生气,还觉悲哀,为什么我们国家有一流的硬体,却没有匹配的软体?这种原旨便利的服务竟然带来更大的麻烦,什么意思?是的我还没拔电去TouchNGo公司追回佘额,预期是更多的麻烦,也许要亲自上去公司。对了,我不敢再用TouchNGo了,我想我还是继续排队买票好了。
Thứ Ba, 20 tháng 9, 2005
电影笔记 6 Cinderalla man

好久没看到这么扣人心弦的电影了,尤其是下半部,一场又一场的拳赛在凌厉又温柔的剪接下把我悬在半空的心收得服服贴贴,很容易就被电影里群众的沸腾热情感染,随着Jim Braddock渐扬的奋斗精神越飞越高。
电影之前我并不知道J这个在美国二十世纪上半叶的传奇人物,所以对于电影的真实性也无法确定。不过这恰好让我更顺利的投入,毕竞电影有它自己的生命。如果它和我产生共鸣,必然是我从里头经历了一回默契十足的梦境。
电影背景是三十年代经济大萧条时期,大多数人贫穷的活着,一大群青壮年有力难施,没能力维持家计,连吃一顿温饱都如此遥不可及。Jim Braddock在最困难的时候被没收了拳手执照,失去了最后的经济依据。那时他没有绝望,继续爱着美丽的妻子和儿女,尊严的用尽方法承担家计(是的他闯入俱乐部恳求金钱援助的那一幕也是尊严的,一种放下身段的尊严。)直到他有机会重上擂台,虽然不愎年轻之勇,仍义无反顾。他说﹕至少在擂台上我知道自已被谁击倒。听了这话我征住,至此才得以感会贫困的无奈和挫败感。实在不敢想像生在幸福一代的自己遭此困境时能否挺过。于是就对他的坚强和感恩的心怀折服了。
Chủ Nhật, 18 tháng 9, 2005
家乡的理发店

记忆中从懂事开始就是这位叔叔帮我理发,那是他在街上的一间理发店打工,另一位理发师是店主。每次我都执意要让他理发,一直到后来他在街上的另一头自已开店,我也跟着去那边理发,一直到我去都城念书工作,也从未在其他地方理发,总等到回家乡时才披着散乱的头发去他的理发店,人多的时候等一两个小时,随意翻阅桌上的过期娱乐八卦杂志。几年前店里添了一台电视机和VCD 机,从此摔角节目常驻店里那个阴暗的角落。天花板挂着两台电风扇牙牙学语,理发叔叔为我披上一块白布,一贯的闲话家常,一贯的发型。"你的头发少了",他往常般说。我微笑不语,过几年当我的头发掉光以后,就不来了。而那时他也老了,手里的剪刀静静躺在我二十多年来的记忆柜子,一个画面闪过,一个男人安详的坐在没有理发师的店里思索报纸里的填字游戏。
妈妈做的麻齐
Thứ Hai, 12 tháng 9, 2005
移民
昨天收拾房间时经过了一页页的负片,都是好几年前拍摄过的时光风景,一格一格的点滴。然后是一盒盒的幻灯片,自二年前领教过它的绚丽色彩和通透立体的影像后就坚守这摄影触觉。一直到上个月转用数码相机,世界仔细分成号码的无尽姿态,每一个组合个性鲜明,喜好居住在磁性轨道或反射性光膜。从此照片大量出世,各自排列预谋好的记忆片段。而我隐居在负片的记忆,就让它们随着时光褪色吗?我说不能,把收在柜里的Nikon LS 2000底片扫描仪拿出来,放入负片,把他们移植到数字,从此一贯亮丽。
一些几年前用负片拍的旧相片

[那时我们去热浪岛,自己举办的毕业旅行]

[也是毕业旅行的行程之一。现在大家都不常见面了,在自己的领域里各自各精彩。下一次聚会应该快到了吧;-)]

[老友鬼鬼,死党们我们回家乡过中秋好吗?]


[那时我们是昔加末拉曼分院的第一批学生。]
一些几年前用负片拍的旧相片

[那时我们去热浪岛,自己举办的毕业旅行]

[也是毕业旅行的行程之一。现在大家都不常见面了,在自己的领域里各自各精彩。下一次聚会应该快到了吧;-)]

[老友鬼鬼,死党们我们回家乡过中秋好吗?]


[那时我们是昔加末拉曼分院的第一批学生。]
Đăng ký:
Bài đăng (Atom)
Bài đăng phổ biến
-
Auto insurance as we all know is the insurance consumers purchase for their vehicle be it a car, truck or any other automobile. The purpose ...
-
By David Maillie With car sales prices continuously increasing, recent hikes in gas prices, and ever present sales and state taxes on our ca...
-
Like our life needs to be protected against the unwarned dangers, our assets too should be shielded from all kinds of damages that can happe...
-
我们是去吃早餐时经过的道路上,认识从远方望去是一间庄严佛寺的万佛殿,不太雄伟,像一个朴实衣装的老伯喁在一角阅读早报。后来我们吃过了早餐回到同一道公路,友人把驾驶盘一扭,我们来到了万佛殿。 “关丹最大的佛寺,有一个很漂亮的园景和湖,后面的山有很美丽的石壁。”,这是友人口中说起的万佛...
-
The world of car insurance can be a complicated one. So I thought I’d share the best resources I’ve found to help you navigate the car insu...
-
When an individual has been injured and needs a workers' compensation or personal injury attorney for the first time, it is almost imp...
-
我本来就懒惰购物,可是日常生活方式里的一切打点都离不开购物。尤其是吃这栏人生要事,食物是消耗性的,也因其保鲜期而不便大量长久储存。所以我每个星期至少购物两次补充食物,因为懒惰,总是买一样的东西一样的品牌。如此循环,既定的购物习惯和生活方式隐然结合,成型。而已经成型的壮态比较容易打...
-
The Lincoln MKS is powered by a Lincoln absolute new 3.7-liter V-6 engine. The powertrain has been acquired from the accurate 3.5-liter V-6 ...
-
Here are some tips on how to get lower car insurance premiums: 1. Install an alarm, immobilizer and tracker in your car. When the insurance ...
