2004年七月十一號。周日。上午九點。
A302。
趙強已經坐在電腦前了,眼睛裡還有點紅血絲,但精神頭很足。
」昨晚幾點睡的?」林遠走進去,把早餐往桌上一放。
」兩點多。」趙強頭也不抬,」把增量索引的架構想了一遍,大概有思路了。」
林遠看了眼他屏幕上的草稿——畫得密密麻麻,各種箭頭和方框。
本書由𝕥𝕨𝕜𝕒𝕟.𝕔𝕠𝕞全網首發
」行,先吃早飯。」林遠說,」今天還有壓力測試呢。」
趙強」嗯」了一聲,抓起包子啃了兩口,眼睛還盯著屏幕。
這人一旦進入狀態,就是個工作狂。
十點整。百都壓力測試正式開始。
」準備好了嗎?」林遠問。
」好了。」趙強手指放在回車鍵上,」測試伺服器在百都機房,三台PowerEdge 2650,一台爬兩台做索引。我們遠程連過去。」
」開始吧。」
趙強按下回車。
屏幕上,爬蟲狀態面板跳了出來——進度條、速度曲線、成功/失敗數、域名分布……密密麻麻的數據在滾動。
初始速度不快,每秒幾百頁。爬蟲在熱身,在建立連接池。
十秒後,速度開始往上沖。
一千。
兩千。
三千。
」還在漲。」趙強盯著速度曲線,眉頭微微皺起,」不對啊——我預估單機峰值大概三千五左右,怎麼還在漲?」
林遠也湊了過去。
速度曲線還在往上走,像一條昂頭的龍。
三千五。
四千。
四千二。
」我靠。」趙強低聲罵了一句,」怎麼這麼快?」
四千五。
四千八。
速度曲線終於開始平緩,在每秒四千八百頁左右波動。
趙強愣了好幾秒。
」這不可能啊——」他喃喃道,」單機四千八?我是不是哪裡算錯了?」
林遠盯著屏幕看了一會兒,嘴角微微上揚。
」不是你算錯了。」他說,」是CTIN引擎的IO調度優化起作用了。」
」IO調度?」
」嗯。」林遠點頭,」爬蟲下載下來的頁面,不是直接寫磁碟,而是先進內存隊列,由CTIN的IO調度模塊批量寫入。減少了磁碟尋道時間,吞吐量自然就上去了。」
趙強張了張嘴。
他知道CTIN引擎有IO優化,但沒想到效果這麼誇張——直接把單機爬蟲速度從三千五干到了四千八,漲了將近百分之四十。
」這也太猛了。」趙強說,」三台機器的話,一天能爬多少?」
林遠算了一下。
」單機四千八,三台就是一萬四千四百頁每秒。一天按二十小時算——」他頓了頓,」大概十億頁。」
趙強倒吸一口涼氣。
十億頁。
什麼概念?百都目前的索引庫也就十幾億網頁。按這個速度,一周就能把整個中文網際網路爬一遍。
」這速度——」趙強聲音有點發緊,」百都那邊知道嗎?」
」還沒說。」林遠笑了笑,」等他們自己發現。」
趙強也笑了。
想像一下百都技術團隊看到這個速度時的表情——一定很精彩。
下午兩點。
壓力測試跑了四個小時。
」三台機器,爬了大概六千萬頁。」趙強把報告打出來,」失敗率百分之零點三,主要是一些死鏈和超時。抓取質量沒問題。」
林遠翻了翻報告。
六千萬頁,四個小時。平均每秒四千一百多頁——比峰值低一點,因為有域名限速和反爬策略的影響。
但這個數字,已經足夠震撼了。
」索引構建呢?」林遠問。
」兩台索引機,已經同步處理了三千萬頁。」趙強說,」速度跟得上,沒瓶頸。」
」增量索引模塊呢?什麼時候能開始做?」
」明天。」趙強說,」今天壓力測試跑完,我明天就開工。預計一周左右搞定核心模塊,兩周內上線。」
林遠點了點頭。
兩周。也就是七月底。剛好能趕在百都正式上線之前。
」行。」他說,」那就辛苦你了。」
趙強擺了擺手,目光又回到屏幕上。
對他來說,寫代碼不是辛苦,是樂趣。
下午四點。
蘇明遠從外面回來,手裡拿著一沓列印紙。
」招聘信息發出去了。」他把紙放在桌上,」招聘網站、高校BBS、還有幾個技術論壇,都發了。招兩個崗位——高級後端工程師和前端工程師。」
」有回覆了嗎?」
」有一些。」蘇明遠翻了翻,」前端的不少,後端的也有幾個,但水平都一般。」
林遠想了想。
」後端的,重點找有搜尋引擎或者資料庫經驗的。普通Web開發的,暫時不用考慮。」
」行。」蘇明遠點點頭,」我篩一篩。」
他頓了頓。
」對了,還有一個事。」
」什麼?」
」我在水木清華BBS發帖子的時候,有人給我發私信推薦了一個人。」蘇明遠說,」清華計算機系的,大三,叫方展博。說是編程天才,ACM拿過金牌。」
」方展博?」林遠愣了一下。
這個名字——有點耳熟。
」他怎麼說?」
」推薦人說他技術很強,但性格有點怪,不太合群。」蘇明遠說,」問我們願不願意聊聊。我本來想先拒了——大三學生,再強能強到哪去?但想了想,還是先跟你說一聲。」
林遠摸了摸下巴。
方展博。清華計算機系。ACM金牌。
這個名字,他好像在哪聽過。想了半天,終於想起來了——前世的時候,好像有個叫方展博的人,是國內最早一批做分布式系統的專家。後來去了Google,再後來回國創業,做了一家很厲害的雲計算公司。
如果是同一個人的話——
這可是條大魚。
」約一下。」林遠說,」明天下午,讓他來公司聊聊。」
」啊?」蘇明遠愣了,」真要見?大三學生啊——」
」大三怎麼了?」林遠笑了笑,」我大二的時候,不也開始做公司了?」
蘇明遠張了張嘴,沒話說了。
也是。林遠自己就是個妖孽,沒資格說別人年輕。
」行。」蘇明遠點點頭,」我跟他約時間。」
下午五點半。
壓力測試接近尾聲。
趙強正在整理測試報告,手機突然響了。他看了一眼,是百都那邊的技術負責人李工。
」喂,李工。」
」小趙啊——」電話那頭的聲音有點喘,」你們的爬蟲,現在速度多少?」
」單機峰值四千八,平均大概四千一。」趙強憋著笑,」怎麼了?」
」四千一?!」李工的聲音一下子高了八度,」你們確定沒算錯?我們自己的爬蟲,單機也就一千五撐死了!」
」沒算錯。」趙強說,」三台機器跑了四個小時,爬了六千萬頁。你們那邊後台可以看到數據的。」
電話那頭安靜了幾秒。
」六千萬頁……」李工喃喃道,」這也太離譜了……」
又聊了幾句,掛了電話。
趙強忍不住笑出了聲。
」怎麼樣?」林遠問。
」驚呆了。」趙強笑著說,」說他們自己的爬蟲單機才一千五,問我們是不是用了什麼黑科技。」
林遠也笑了。
三倍多的差距。這個震撼,應該夠了。
正說著,蘇明遠的手機也響了。
他接起來,聽了幾句,表情變得有點奇怪。
」好的好的,沒問題。方總您放心。」
掛了電話,蘇明遠看著林遠。
」百都方總。」他說,」明天下午要過來。」
」方總?」林遠挑了挑眉,」來幹什麼?」
」說要親眼看看壓力測試的數據。」蘇明遠說,」還說——有重要的事要跟你談。」
林遠和趙強對視了一眼。
重要的事?
方總親自來,而且是」重要的事」——多半跟技術入股有關。
」有意思。」林遠笑了笑,」明天下午,看來有的忙了。」
晚上七點。
趙強還在調增量索引的框架,林遠在旁邊看代碼。蘇明遠已經下班了,走之前把方展博的資料放在了桌上。
林遠翻了翻方展博的資料。
清華計算機系大三,安徽人,高一就拿了NOI金牌,保送清華。大學期間連續兩年ACM區域賽金牌,去年全球總決賽拿了銀牌。
簡歷很漂亮,但更引起林遠注意的是——資料最後附了一個連結,是方展博自己寫的一個分布式文件系統的Demo,代碼託管在SourceForge上。
林遠點開看了看。
越看,眼睛越亮。
這個方展博,是真的有東西。
一個大三學生,自己設計並實現了一個簡化版的分布式文件系統,雖然還有很多粗糙的地方,但整體架構思路非常清晰,甚至有幾處設計相當巧妙。
這不是那種只會刷題的競賽選手——這是有架構思維的。
」看什麼呢?」趙強湊過來。
」一個候選人的資料。」林遠說,」你看看這個分布式文件系統的代碼。」
趙強看了幾分鐘,表情也變了。
」這是大三學生寫的?」他抬起頭,」有點東西啊。這個一致性哈希的實現,還有故障轉移的設計——比很多工作三五年的工程師都強。」
林遠點了點頭。
」明天下午,你也一起面。」
趙強眼睛一亮。
」行啊。」他說,」我倒要看看,這個方展博到底有多厲害。」
林遠笑了笑,把電腦合上。
方展博。
如果真的是他——那這趟招聘,賺大了。
窗外,天已經黑了。
A302的燈,還亮著。