首頁> 現代都市> 重生2000從寫歌開始科技強國> 第368章 百都壓力測試!爬蟲速度震驚全場!方總突然到訪!

第368章 百都壓力測試!爬蟲速度震驚全場!方總突然到訪!

2026-08-22 19:57:10 作者: 冷焰天
  2004年七月十一號。周日。上午九點。

  A302。

  趙強已經坐在電腦前了,眼睛裡還有點紅血絲,但精神頭很足。

  」昨晚幾點睡的?」林遠走進去,把早餐往桌上一放。

  」兩點多。」趙強頭也不抬,」把增量索引的架構想了一遍,大概有思路了。」

  林遠看了眼他屏幕上的草稿——畫得密密麻麻,各種箭頭和方框。

  本書由𝕥𝕨𝕜𝕒𝕟.𝕔𝕠𝕞全網首發

  」行,先吃早飯。」林遠說,」今天還有壓力測試呢。」

  趙強」嗯」了一聲,抓起包子啃了兩口,眼睛還盯著屏幕。

  這人一旦進入狀態,就是個工作狂。

  十點整。百都壓力測試正式開始。

  」準備好了嗎?」林遠問。

  」好了。」趙強手指放在回車鍵上,」測試伺服器在百都機房,三台PowerEdge 2650,一台爬兩台做索引。我們遠程連過去。」

  」開始吧。」

  趙強按下回車。

  屏幕上,爬蟲狀態面板跳了出來——進度條、速度曲線、成功/失敗數、域名分布……密密麻麻的數據在滾動。

  初始速度不快,每秒幾百頁。爬蟲在熱身,在建立連接池。

  十秒後,速度開始往上沖。

  一千。

  兩千。

  三千。

  」還在漲。」趙強盯著速度曲線,眉頭微微皺起,」不對啊——我預估單機峰值大概三千五左右,怎麼還在漲?」

  林遠也湊了過去。

  速度曲線還在往上走,像一條昂頭的龍。

  三千五。

  四千。

  四千二。

  」我靠。」趙強低聲罵了一句,」怎麼這麼快?」

  四千五。

  四千八。


  速度曲線終於開始平緩,在每秒四千八百頁左右波動。

  趙強愣了好幾秒。

  」這不可能啊——」他喃喃道,」單機四千八?我是不是哪裡算錯了?」

  林遠盯著屏幕看了一會兒,嘴角微微上揚。

  」不是你算錯了。」他說,」是CTIN引擎的IO調度優化起作用了。」

  」IO調度?」

  」嗯。」林遠點頭,」爬蟲下載下來的頁面,不是直接寫磁碟,而是先進內存隊列,由CTIN的IO調度模塊批量寫入。減少了磁碟尋道時間,吞吐量自然就上去了。」

  趙強張了張嘴。

  他知道CTIN引擎有IO優化,但沒想到效果這麼誇張——直接把單機爬蟲速度從三千五干到了四千八,漲了將近百分之四十。

  」這也太猛了。」趙強說,」三台機器的話,一天能爬多少?」

  林遠算了一下。

  」單機四千八,三台就是一萬四千四百頁每秒。一天按二十小時算——」他頓了頓,」大概十億頁。」

  趙強倒吸一口涼氣。

  十億頁。

  什麼概念?百都目前的索引庫也就十幾億網頁。按這個速度,一周就能把整個中文網際網路爬一遍。

  」這速度——」趙強聲音有點發緊,」百都那邊知道嗎?」

  」還沒說。」林遠笑了笑,」等他們自己發現。」

  趙強也笑了。

  想像一下百都技術團隊看到這個速度時的表情——一定很精彩。

  下午兩點。

  壓力測試跑了四個小時。

  」三台機器,爬了大概六千萬頁。」趙強把報告打出來,」失敗率百分之零點三,主要是一些死鏈和超時。抓取質量沒問題。」

  林遠翻了翻報告。

  六千萬頁,四個小時。平均每秒四千一百多頁——比峰值低一點,因為有域名限速和反爬策略的影響。

  但這個數字,已經足夠震撼了。


  」索引構建呢?」林遠問。

  」兩台索引機,已經同步處理了三千萬頁。」趙強說,」速度跟得上,沒瓶頸。」

  」增量索引模塊呢?什麼時候能開始做?」

  」明天。」趙強說,」今天壓力測試跑完,我明天就開工。預計一周左右搞定核心模塊,兩周內上線。」

  林遠點了點頭。

  兩周。也就是七月底。剛好能趕在百都正式上線之前。

  」行。」他說,」那就辛苦你了。」

  趙強擺了擺手,目光又回到屏幕上。

  對他來說,寫代碼不是辛苦,是樂趣。

  下午四點。

  蘇明遠從外面回來,手裡拿著一沓列印紙。

  」招聘信息發出去了。」他把紙放在桌上,」招聘網站、高校BBS、還有幾個技術論壇,都發了。招兩個崗位——高級後端工程師和前端工程師。」

  」有回覆了嗎?」

  」有一些。」蘇明遠翻了翻,」前端的不少,後端的也有幾個,但水平都一般。」

  林遠想了想。

  」後端的,重點找有搜尋引擎或者資料庫經驗的。普通Web開發的,暫時不用考慮。」

  」行。」蘇明遠點點頭,」我篩一篩。」

  他頓了頓。

  」對了,還有一個事。」

  」什麼?」

  」我在水木清華BBS發帖子的時候,有人給我發私信推薦了一個人。」蘇明遠說,」清華計算機系的,大三,叫方展博。說是編程天才,ACM拿過金牌。」

  」方展博?」林遠愣了一下。

  這個名字——有點耳熟。

  」他怎麼說?」

  」推薦人說他技術很強,但性格有點怪,不太合群。」蘇明遠說,」問我們願不願意聊聊。我本來想先拒了——大三學生,再強能強到哪去?但想了想,還是先跟你說一聲。」

  林遠摸了摸下巴。

  方展博。清華計算機系。ACM金牌。

  這個名字,他好像在哪聽過。想了半天,終於想起來了——前世的時候,好像有個叫方展博的人,是國內最早一批做分布式系統的專家。後來去了Google,再後來回國創業,做了一家很厲害的雲計算公司。

  如果是同一個人的話——

  這可是條大魚。

  」約一下。」林遠說,」明天下午,讓他來公司聊聊。」

  」啊?」蘇明遠愣了,」真要見?大三學生啊——」

  」大三怎麼了?」林遠笑了笑,」我大二的時候,不也開始做公司了?」

  蘇明遠張了張嘴,沒話說了。

  也是。林遠自己就是個妖孽,沒資格說別人年輕。

  」行。」蘇明遠點點頭,」我跟他約時間。」

  下午五點半。

  壓力測試接近尾聲。

  趙強正在整理測試報告,手機突然響了。他看了一眼,是百都那邊的技術負責人李工。

  」喂,李工。」

  」小趙啊——」電話那頭的聲音有點喘,」你們的爬蟲,現在速度多少?」

  」單機峰值四千八,平均大概四千一。」趙強憋著笑,」怎麼了?」

  」四千一?!」李工的聲音一下子高了八度,」你們確定沒算錯?我們自己的爬蟲,單機也就一千五撐死了!」

  」沒算錯。」趙強說,」三台機器跑了四個小時,爬了六千萬頁。你們那邊後台可以看到數據的。」

  電話那頭安靜了幾秒。

  」六千萬頁……」李工喃喃道,」這也太離譜了……」

  又聊了幾句,掛了電話。

  趙強忍不住笑出了聲。

  」怎麼樣?」林遠問。

  」驚呆了。」趙強笑著說,」說他們自己的爬蟲單機才一千五,問我們是不是用了什麼黑科技。」

  林遠也笑了。

  三倍多的差距。這個震撼,應該夠了。

  正說著,蘇明遠的手機也響了。

  他接起來,聽了幾句,表情變得有點奇怪。

  」好的好的,沒問題。方總您放心。」

  掛了電話,蘇明遠看著林遠。

  」百都方總。」他說,」明天下午要過來。」

  」方總?」林遠挑了挑眉,」來幹什麼?」

  」說要親眼看看壓力測試的數據。」蘇明遠說,」還說——有重要的事要跟你談。」

  林遠和趙強對視了一眼。

  重要的事?

  方總親自來,而且是」重要的事」——多半跟技術入股有關。

  」有意思。」林遠笑了笑,」明天下午,看來有的忙了。」

  晚上七點。

  趙強還在調增量索引的框架,林遠在旁邊看代碼。蘇明遠已經下班了,走之前把方展博的資料放在了桌上。

  林遠翻了翻方展博的資料。

  清華計算機系大三,安徽人,高一就拿了NOI金牌,保送清華。大學期間連續兩年ACM區域賽金牌,去年全球總決賽拿了銀牌。

  簡歷很漂亮,但更引起林遠注意的是——資料最後附了一個連結,是方展博自己寫的一個分布式文件系統的Demo,代碼託管在SourceForge上。

  林遠點開看了看。

  越看,眼睛越亮。

  這個方展博,是真的有東西。

  一個大三學生,自己設計並實現了一個簡化版的分布式文件系統,雖然還有很多粗糙的地方,但整體架構思路非常清晰,甚至有幾處設計相當巧妙。

  這不是那種只會刷題的競賽選手——這是有架構思維的。

  」看什麼呢?」趙強湊過來。

  」一個候選人的資料。」林遠說,」你看看這個分布式文件系統的代碼。」

  趙強看了幾分鐘,表情也變了。

  」這是大三學生寫的?」他抬起頭,」有點東西啊。這個一致性哈希的實現,還有故障轉移的設計——比很多工作三五年的工程師都強。」

  林遠點了點頭。

  」明天下午,你也一起面。」

  趙強眼睛一亮。

  」行啊。」他說,」我倒要看看,這個方展博到底有多厲害。」

  林遠笑了笑,把電腦合上。

  方展博。

  如果真的是他——那這趟招聘,賺大了。

  窗外,天已經黑了。

  A302的燈,還亮著。


上一章 書籤 目錄 下一章

關閉
Δ