linux運維人員必會運維工具

Linux運維工程師工做職責

1. 從IT運維總體方面來說，運維工程師的職責分爲：硬件層面、網絡層面、系統層面、軟件層面；
2. 硬件層面，負責硬件設備的選型、配置設定、服務器硬件採購、機櫃、機房IDC底層硬件設施維護、維護硬件服務器狀態、關注硬件服務器運行狀況、硬盤燈；
3. 網絡層面，運維人員負責整個公司網絡的連通性，有問題，有故障第一時間解決，保證交換機、路由器、防火牆穩定運行；
4. 系統層面，運維人員要負責Windows/Linux操做系統維護，包括系統安裝部署、系統的調優、內核故障解決、系統的資源監控和管理；
5. 軟件層面，運維人員最核心的工做就是保證應用軟件、應用服務高效穩定的運行，例如WEB網站、數據庫、Nginx、Tomcat、Oralce、Hbase、ZK等；
6. 運維工程師最核心的工做就是保證企業WEB網站、數據庫、應用程序高效穩定的運行，有故障和問題，第一時間去解決，藉助開源的監控軟件：MRTG、Cacti、Nagios、Zabbix、Ganglia等；

iCloudBase系統的agent開發 ： 實現監控、心跳、註冊、執行腳本（Rabbitmg的Python）

經常使用應用服務部署及配置 ：Uubuntu和CentOS系統的日誌管理；

配置Apache的日誌管理、用戶認證、靜態緩存、防盜鏈、訪問控制、域名跳轉等功能；

配置Nginx的常規web服務以及反向代理、做緩存服務、負載均衡等功能；

配置Tomcat單機多實例部署，方便了公司研發對多個web項目的部署聯調；

MySQL的數據冷熱備份與恢復、MySQL調優、主從複製以及讀寫分離

Web服務構架 ： 、設計、搭建、配置、性能優化、安全控制、LAMP、LNMP、Nginx調優、內核調優；

系統構架 ：使用LVS+ Keepalived + Apache + MySQL  ;前端使用更高性能的    LVS實現負載均衡，使用Keepalived 作HA 集羣實現保證網站的穩定性，後端的MySQL主從數據庫採用MySQL Proxy實現讀寫分離 ，下降主庫的負載；

監控  : 編寫Nagios 監控工具 的Shell/Pyhon腳本 , 監控整個系統以及關鍵服務的運行以及發現安全隱患和性能瓶頸，實現郵件和短信報警。

備份 ： 按期數據備份，保證服務器數據的安全（iNeedle系統、外交部日誌系統、iCloudBase系統）；

排障 ： 利用系統管理工具以及日誌分析對服務器的軟硬件，網絡故障進行定位解決；

彙報 ：對於採用的系統服務和關鍵應用，撰寫安裝、開發總結文檔，按期向公司領導彙報；。

 

初學者完成Linux系統安裝之後，學習Linux操做系統必備的指令，基於Linux指令管理Linux操做系統，必備Linux指令有哪些？
基礎命令相關一：
Cd、ls、pwd、help、man、if、for、while、case、select、read、test、ansible、iptables、firewall-cmd、salt、mv、cut、uniq、sort、wc、source、sestatus、setenforce；
基礎命令相關二：
Date、ntpdate、crontab、rsync、ssh、scp、nohup、sh、bash、hostname、hostnamectl、source、ulimit、export、env、set、at、dir、db_load、diff、dmsetup、declare；
用戶權限相關：
Useradd、userdel、usermod、groupadd、groupmod、groupdel、Chmod、chown、chgrp、umask、chattr、lsattr、id、who、whoami、last、su、sudo、w、chpasswd、chroot；
文件管理相關：
Touch、mkdir、rm、rmdi、vi、vim、cat、head、tail、less、more、find、sed、grep、awk、echo、ln、stat、file；
軟件資源管理：
Rpm、yum、tar、unzip、zip、gzip、wget、curl、rz、sz、jar、apt-get、bzip二、service、systemctl、make、cmake、chkconfig；
系統資源管理：
Fdisk、mount、umount、mkfs.ext四、fsck.ext四、parted、lvm、dd、du、df、top、iftop、free、w、uptime、iostat、vmstat、iotop、ps、netstat、lsof、ss、sar；
網絡管理相關：
Ping、ifconfig、ip addr、ifup、ifdown、nmcli、route、nslookup、traceroute、dig、tcpdump、nmap、brctl、ethtool、setup、arp、ab、iperf；
Linux系統開關機：
Init、reboot、shutdown、halt、poweroff、runlevel、login、logout、exit；

 

linux運維人員必會開源運維工具體系

說明：不一樣的技術人員，不一樣的階段肯定知識邊界很是重要，不然，就像馬拉車，不知道終點在哪，累死也達不到目標。例如拿8K要學多少，拿15K要學多少。一個新手也許只想拿8k結果各類學,學了2年，發現都學了，結果8k仍是拿不到，歸根結底，沒邊界瞎學，熊瞎子掰苞米，掰一個丟一個，學知識是有周期的，學太多又拖太長和沒學差很少，2016年5月更新！

 

新手必會用深黃色（8-15k）標記，老鳥必會深黃色+淺藍色(15-25K)標記

==============================================

操做系統：Centos、Ubuntu、Redhat、suse、Freebsd、Windows Server

網站服務：nginx、apache、lighttpd、php、tomcat、resin

常見web服務器軟件 ： Apache 、nginx+php-fpm 、IIS 、Tomcat +jdk 、Nginx+uwsgi+python、
數據   庫：MySQL,   Mysql-proxy,  MariaDB,  PostgreSQL  ,oracle  , SQL Server 等

數據   庫鏈接池 ： HikariCP、Druid

數據   庫中間件 ： Sharding JDBC、Sharding Sphere、Mycat、Canal、

DB中間件：MyCat,atlas,cobar，amoeba,MySQL-proxy 、Oracle、PostgreSQL、MongoDB、MariDB

代理相關：lvs、keepalived、haproxy、nginx、heartbeat、Varnish、Squid、Nginx
網站緩存：squid、nginx,varnish

消息調用 ： Dubbo 、SOFA RPC、 Motan、Ribbon

消息隊列 ：ActiveMQ、RockettMQ、Metaq、MemcacheQ、Zeromq、Kafka、RabbitMQ

註冊中心 ： Euraka 、Zookeeper、Nacos、Consul Etcd

配置中心 ： Apollo 、Nacos、Spring Cloud Config、Disconf

做業調度 ：Elastic Job Lite 、Elastic Job Cloud、Quartz、XXL-Job

鏈路追蹤 ：SkyWalking、Zipkin、Pinpoint、CAT

分佈式事務 ： TCC Transaction 、Fescar、Happylifeplat TCC、Myth.

開發工具 ： Git、Maven、Jenkins、Intell IDEA

搜索引擎 ： Lucene、Elasticsearch、Solr

NOSQL庫：memcached、memcachedb、MongoDB、Cassandra、redis、CouchDB
存儲相關：Nfs、Moosefs(mfs)、Hadoop、glusterfs、HDFS、TFS、GFS、FastdFS、lustre、FastDFS

CDN : 騰訊雲、阿里雲、up雲

版本管理器（工具）：svn、git、VSS、cvs
監控報警：nagios、cacti、zabbix、munin、hyperic、mrtg、graphite、Grafana、Prometheus等

域名解析：bind、powerdns、dnsmasq
同步軟件：scp、rsync、inotify、sersync、drbd、csync二、union、lsyncd

負載均衡 ： LVS、Haproxy、Nginx 等

傳輸工具 ： Scribe、Flume 等
批量管理：Ssh Key、Saltstack、expect、puppet、ansible、cfengine

配置管理及服務發現 ：Puppet、Consul、Zookeeper 等
虛擬   化：kvm、Xen、OpenStack、ESXI等

雲計   算：openstack、docker、cloudstack
內網軟件：iptables、zebra、iftraf、ntop、tc、iftop
郵件軟件：qmail、posfix、sendmail、zimbra

遠程撥號：open***,pptp、openswan、ipip
統一認證：openldap

打包發佈：mvn、ants、jenkins（上線代碼）、svn

自動化部署平臺 ：GitLab、Jenkins、Ansible、sshpt、salt、Docker ：具備代碼託管、編譯、打包、環境部署、安裝和回滾、灰度等基礎功能，同時結合監控和報警系統構建動態擴縮容、自動化降級等系統。
測試軟件：ab（是httpd中的）、JMeter、Webbench、LoadRunner、http_load、tcpcopy

帶寬測試：smokeping、iozone

磁盤測試 iozone

性能測試：dd 

IOPS測試 fio

日誌相關：rsyslog、Awstats、flume、syslog、Flume、storm、kafka、storm、ELK(Elasticsearch+Logstash+Kibana)

搜索軟件：Sphinx、Xapian、Solr

DB代理：mysql-proxy,amoeba（更多仍是程序實現讀寫分離）

搜索軟件：Sphinx,Xapian（大公司會本身開發相似百度的小規模內部搜索引擎）

無人值守：kickstart,cobbler

軟件安裝：rpm,yum（設計rpm包定製及yum倉庫構建）

大數據平臺：HDFS，Hive，Hbase，Zookeeper，Pig，Spark，Mahout，flume，sqoop、MapReduce、Storm

大數據存儲 ： HBase、Cassandra、MongoDB、LevelDB 等

緩存技術 ： Redis、Memcache 等

時序數據 ： Druid、OpenTSDB 等

容器 : LXC、Docker、K8s 、swarm等

開發語言：Shell、Python，go、perl、  php。

集羣 ： Keepalived +Lvs、Heartbeat+nginx 、 haproxy  、Mysql-proxy

 

 

©著做權歸做者全部：來自51CTO博客做者壹休哥的原創做品 連接 ：http://blog.51cto.com/11638832/1793990