路飛學城5個月變身自動化開發工程師

愛分享 愛生活 加油 2021 

 百度網盤

提取碼：qhhv 

 

1.就看了本python簡明教程，而後就開始摸索着寫，後來混跡各大論壇，看看別人發的代碼以及一些框架的源碼，本身仔細研究下別人寫的好的地方，而後重寫一遍，從沒看過視頻

2.工做中用到python來作線下的數據挖掘，主要是用python來寫一些hadoop中的mapreduce任務，還有就是重寫了整套監控系統，gangglia的api是生成xml文件，用python來處理xml仍是很給力的，如今主要的精力放在web開發方面

3.優點是語法簡潔，可閱讀性可維護性強，上手快，可是要寫好得須要多研究，對php和perl都瞭解一些，可是就是沒興趣寫php和perl

4.自動化運維方面主要就是監控，批量管理和部署平臺，以及對hadoop的流程化工具

5.工做中的一個腳本（主要用facebook開源thrift的模塊，來作c/s通訊的一個簡單應用，場景是hadoop異步處理完數據，給server推送一個消息，而後server到client取數據）

import sys

sys.path.append('../gen-py')       #安裝完thrift，添加路徑，好像默認支持c++,python

from Profile import Profile

from Profile.ttypes import *

from Profile.constants import *

from thrift import Thrift

from thrift.transport import TSocket

from thrift.transport import TTransport

from thrift.protocol import TBinaryProtocol    #導入各類模塊

class Profile_client:        #定義類

host=''

port=''

def __init__(self,host,port):   #類的初始化,初始建立鏈接須要的參數

global client

self.host = host

self.port = port

transport = TSocket.TSocket(self.host, self.port)

transport = TTransport.TBufferedTransport(transport)

protocol = TBinaryProtocol.TBinaryProtocol(transport)

client = Profile.Client(protocol)

transport.open()

def  connect_server(self,name,mess):                         #鏈接方法

client.notifyReload(tt,"yes ,data is ready,please get")

def __del__(self):    #關閉

return 0

本身多問下爲何學python

若是一門語言沒有改變你的編程思惟，那麼它不值得你去學習」。若是這麼說，咱們大學的時候，學習了c，c++，java，C#，算是值得學習麼？不少時候是不值得，我以爲咱們大學的課程就是用java，c#，c++把"C程序設計"又上了一遍.

這是由於，學校的老師會C和java之類的，因此要跟着規矩開這門課，（這也就是爲何，許多學校還在教vb，）,這也就是爲何，你因此爲的同樣就是你們都有For都有while，都有switch..都有Class...都有int 都有float,所謂的不同就是用C有指針，java沒有，這就是爲何教育是失敗的，這也就是爲何，我目前認識的幾個編程大牛

python的優勢：簡單 我所說的簡單，是相比於象C和C++這樣的語言,你爲了編程，要學習許多偏底層的東西.在好比，你在學習一個新的編程範式，或者想要立刻作個例子看看，試驗某個API,若是你是寫java的，你不得不去寫一個main，寫一些構造，即便有IDE這樣的東西，可以爲你帶來代碼生成器，而我作得就是寫一段「腳本」，或者打開python交互式解釋器就好了。

本身認識的python朋友出去工做，工資比較高，而後本身又剛恰好是會python因此選擇學習python，這樣的人比較危險可是也比較有激勵，還有就是以爲python比其餘開發語言好用。

學完python前景會咋樣

其實我我的是很看好python將來的就業前景的，由於我認識太多的工程師都已經在學python，不少都是月收入大幾萬的

我我的也並不是一直用python。前些年主要用c/c++以及java開發一些通訊，移動系統，互聯網通訊。近3年開始才轉向python。坦白的說，這可能與你相處的公司以及環境不大同樣。隨便舉個例子，google的protocol buffer協議一出來就具備c++/python/java三種語言支持。google的廣告系統早在03,04年左右就一併對python進行了webservice支持，大部分涉及基礎核心系統的公司，都開始對python進行了擴展支持。甚至開源社區的postgresql數據庫，除了自身的ansi SQL,pgsql,pg/TCL,PG/PERL以外對python進行了內嵌支持，惟獨卻沒有呼聲很高的java。在FREEBSD（MIT）/LINUX(GPL)平臺上，對java可能排斥性比較大，但綜合而言，目前python發展尚未java那種普及，主要是python大部分工做仍然是在較爲深刻地系統層和框架層作設計開發，例如django,SQLAlchemy,fail2ban,mail郵件系統,twisted等等。這部分對於那種習慣應用前輩們框架的編碼人員而言，缺少創造力的他們根本沒法適用這種開發。尤爲在python涉及一些系統層面須要有較強的c/c++能力，這部分人在國內要麼就累得要死沒時間，要麼就啥都不會就會拷貝代碼，而國內公司也鮮有主動去作這部分基礎勞動的，大多都是等別人作好了在直接拿來用，因此造就了任何技術性的東西出來，國內都是先等等看，而後抄襲應用。

大環境如此，但千萬誤認爲先等等看吧。對於一個技術人員而言，缺少對新技術的渴望與熱情，這是一種很是危險的事情。我工做8年了，按照國內不少的人的說法早已不作代碼了，但又一次在聽一個老外的演講，他說他50多歲仍然天天堅持寫代碼，瞭解最新的動態，因此他才能作到他們公司的首席科學家，所以它才能時刻指導項目團隊前進並保證項目的質量。他坦言對於一個不寫代碼而且不瞭解最新的技術動態的技術人員或者技術團隊的負責人而言，這種團隊也就足夠作做小項目，一旦壓力和項目過大，就會有不少問題漏出來。

對於新人而言，不管學習什麼技術，都要以鼓勵的姿態出現。太多用薪水和你我的所看到的現狀去衡量一門技術，那絕對是欠缺眼光的。任何一門技術，一旦有人學習，他有可能逐漸成爲這個領域的專家，即使再濫再沒有人用的開發語言技術，他也有可能就是明日的奠定者或者大師。

本身如何肯定目標

在生活中學會不斷挖掘本身的潛力。咱們都是一個普通人，可能並不清楚本身到底在哪方面佔有優點。因此，學着在生活中找到本身的優點，並根據優點選擇必定的就業方向。

不隨波逐流。不要看周圍的人作什麼，本身就作什麼，也許別人作的並不適合你。別人的優點極可能會成爲你的劣勢。因此，堅決本身的想法，讓本身知道那些方面適合本身，本身能夠勝任。

不斷嘗試可能成爲本身的優點。你不知道什麼適合本身，因此纔要大膽、勇敢地嘗試。找到一種能夠屬於你的獨特的優點。

堅決信念。一旦你堅決了本身的信念，就不要被別人的意見或是諷刺或是嘲笑所幹擾。別人不是你，不懂的你在想什麼，不清楚你開始這件事的源頭。你的事情，不瞭解你的人，沒有資格輕易評說。

不茫然，很少想。別讓太多的事幹擾到你奮鬥下去的信念。夢想不允許太多的雜念。那些雜念只會讓你的心越來越脆弱，多爲一我的考慮，到頭來，傷害的仍是本身。

每一個項目——不管你是在從事 Web 應用程序、數據科學仍是 AI 開發——均可以從配置良好的 CI/CD、Docker 鏡像或一些額外的代碼質量工具（如 CodeClimate 或 SonarCloud）中獲益。全部這些都是本文要討論的內容，咱們將看看如何將它們添加到 Python 項目中！

GitHub 庫中提供了完整的源代碼和文檔：https://github.com/MartinHeinz/python-project-blueprint。

開發環境中可調試的 Docker 容器

有些人不喜歡 Docker，由於容器很難調試，或者構建鏡像須要花很長的時間。那麼，就讓咱們從這裏開始，構建適合開發的鏡像——構建速度快且易於調試。

爲了使鏡像易於調試，咱們須要一個基礎鏡像，包括全部調試時可能用到的工具，像bash、vim、netcat、wget、cat、find、grep等。它默認包含不少工具，沒有的也很容易安裝。這個鏡像很笨重，但這沒關係，由於它只用於開發。你可能也注意到了，我選擇了很是具體的映像——鎖定了 Python 和 Debian 的版本——我是故意這麼作的，由於咱們但願最小化 Python 或 Debian 版本更新（可能不兼容）致使「破壞」的可能性。

做爲替代方案，你也可使用基於 Alpine 的鏡像。然而，這可能會致使一些問題，由於它使用musl libc而不是 Python 所依賴的glibc。因此，若是決定選擇這條路線，請記住這一點。至於構建速度，咱們將利用多階段構建以即可以緩存儘量多的層。經過這種方式，咱們能夠避免下載諸如gcc之類的依賴項和工具，以及應用程序所需的全部庫（來自requirements.txt）。

爲了進一步提升速度，咱們將從前面提到的python:3.8.1-buster建立自定義基礎鏡像，這將包括咱們須要的全部工具，由於咱們沒法將下載和安裝這些工具所需的步驟緩存到最終的runner鏡像中。說的夠多了，讓咱們看看Dockerfile：

# dev.Dockerfile

FROM python:3.8.1-buster AS builder

RUN apt-get update && apt-get install -y --no-install-recommends --yes python3-venv gcc libpython3-dev && \

    python3 -m venv /venv && \

    /venv/bin/pip install --upgrade pip

FROM builder AS builder-venv

COPY requirements.txt /requirements.txt

RUN /venv/bin/pip install -r /requirements.txt

FROM builder-venv AS tester

COPY . /app

WORKDIR /app

RUN /venv/bin/pytest

FROM martinheinz/python-3.8.1-buster-tools:latest AS runner

COPY --from=tester /venv /venv

COPY --from=tester /app /app

WORKDIR /app

ENTRYPOINT ["/venv/bin/python3", "-m", "blueprint"]

USER 1001

LABEL name={NAME}

LABEL version={VERSION}

從上面能夠看到，在建立最後的runner鏡像以前，咱們要經歷 3 箇中間鏡像。首先是名爲builder的鏡像，它下載構建最終應用所需的全部必要的庫，其中包括gcc和 Python 虛擬環境。安裝完成後，它還建立了實際的虛擬環境，供接下來的鏡像使用。接下來是build -venv鏡像，它將依賴項列表（requirements.txt）複製到鏡像中，而後安裝它。緩存會用到這個中間鏡像，由於咱們只但願在requirement .txt更改時安裝庫，不然咱們就使用緩存。

在建立最終鏡像以前，咱們首先要針對應用程序運行測試。這發生在tester鏡像中。咱們將源代碼複製到鏡像中並運行測試。若是測試經過，咱們就繼續構建runner。

對於runner鏡像，咱們使用自定義鏡像，其中包括一些額外的工具，如vim或netcat，這些功能在正常的 Debian 鏡像中是不存在的。