用Python寫爬蟲就很low?你贊同嘛?
之前換了份工作,不再是單純的Web開發(fā)了,要學習的東西真的挺多的。入職的第1天,就讓我入手寫個爬蟲,只是這個爬蟲沒有采集幾個億數(shù)據(jù)量的業(yè)務(wù)場景。
于是,整理了下需求,簡單的設(shè)計了下方案就草草開始了。小B是我大學時候的舍友,那天這哥們約我吃飯,想看下能否順帶介紹幾個妹子。酒過三巡,不勝酒力,于是便聊起了最近的工作。
當他知曉我竟然在寫爬蟲,便起了憐憫之心,覺得我懷才不遇。仿佛寫爬蟲是件很低級很low的技術(shù)活。在他那家公司,招進來的實習生就多多少少會點爬蟲,什么nodejs、golang,哪個不是爬蟲的好手。沒想到我畢業(yè)多年,竟然淪落到做實習生的工作,可悲可泣。
接著建議我轉(zhuǎn)到Java陣營,如果到他公司去,多多少少也能混個組長的職位。搞得自己只能一番苦笑。
不知道從何時起,程序員的世界流行起了鄙視鏈這玩意。什么寫C語言的鄙視寫C++,寫C++的鄙視寫Java的,最后鄙視鏈最低端是PHP。具體是怎樣的關(guān)系,就不再深究了。
然而,縱觀整個行業(yè),都說Python火。具體有多火,看培訓機構(gòu)的廣告就知道了。在16年之前,Python還是1個若不見經(jīng)傳的單詞,之后各家培訓機構(gòu)鋪天蓋地的廣告,什么大數(shù)據(jù)、自動化運維全都跟Python扯上了關(guān)系。畢業(yè)學生薪資更是達到了50-100W,還老是招不到人。
更有意思的是,學Python最容易上手的過程就是寫爬蟲。什么Scrapy、Pysider是必學,HTML、Javascript是重點,外帶幾個豆瓣、花瓣網(wǎng)的實戰(zhàn)案例,讓你一下子就能解決企業(yè)的剛需。
這樣說來,難怪連實習生也能跟你搶飯碗了,技術(shù)發(fā)展的太快,各種框架完善的結(jié)果是釋放人力,降低成本。
據(jù)我了解,Python的優(yōu)勢集中于數(shù)據(jù)分析、信息安全這些領(lǐng)域。你可能聽說過Hadoop、Spark、Tensorflow這些高大上的名詞,但是對于數(shù)據(jù)取證、DLL注入等內(nèi)容可能從無聽聞。舉個簡單的例子,在數(shù)據(jù)取證中,由于犯罪人員不配合檢查機關(guān)的工作,通過數(shù)據(jù)取證技術(shù)我們可以進行一些信息的提取,從而輔助證實其犯罪記錄,如獲取系統(tǒng)密碼、瀏覽器中賬號及密碼。
聽起來感覺挺高大上的,但是如果我跟你說其過程就是對sqlite3文件數(shù)據(jù)庫查詢一下SQL,不知道你會不會覺得上述取證的例子瞬間挺low的。但是,當你不小心把微信消息的圖片刪掉想找回的時候,或許你能在Python中找到對應(yīng)的方案,而其他的語言還真沒發(fā)現(xiàn)有合適的。
于是,我安慰他說,搞完這波爬蟲騷操作,下一次就是數(shù)據(jù)分析了,你看不有前進了一步?
還數(shù)據(jù)分析,你反倒想的挺遠的。小B打斷了我的話,你覺得人家會讓你搞數(shù)據(jù)分析,沒有數(shù)據(jù)何來的分析。況且,沒有哪家公司會笨到把所有數(shù)據(jù)都暴露在互聯(lián)網(wǎng)上。你能看到的只是那冰山的一角。即使你想深入進去,沒有分布式技術(shù)支撐和幾十個億的數(shù)據(jù)業(yè)務(wù),你簡歷上也不會有亮點。
然后,又聊到他公司近期招了個大數(shù)據(jù)的開發(fā),薪資比他還要高出一大截,但是技術(shù)卻不咋地。我從小B的話里聽出了一絲不屑了。于是,又慫恿我不要再搞什么爬蟲了,還是搞Spark才有未來。既不用擔心大半夜服務(wù)掛了,又不用擔心完不成采集數(shù)量。完全是實打?qū)嵉臄?shù)據(jù),何樂而不為呢?
這話聽得我都有點動心了,沒有攀比就沒有傷害。但是一想到Java是加班加點工作,我還是打消了這個念頭。
我不知道該說些什么,只是覺得時間過得很慢,是種煎熬。于是只能岔開了話題,免得吃頓飯都艱辛。
結(jié)語
技術(shù)沒有l(wèi)ow不low,沒有爛的技術(shù),只有不會用的人。重要的是人家能給你多少錢,你能做成怎樣的結(jié)果。
這年頭會有多少公司愿意給實習生稅后1W+的月薪,而這一切都只是份養(yǎng)活自己的技能而已,別把面子太當回事。


























