Shell：

時間  2019-11-30
標籤 shell 欄目 Unix 简体版
原文   原文鏈接

 

Bash Notes for professionalshtml

 ebookgit

 

 

 

https://blog.csdn.net/simple_the_best/article/details/52821136程序員

27個Jupyter Notebook小提示與技巧github

 

https://cloud.tencent.com/developer/article/1194156ajax

http://liuchengxu.github.io/pelican-blog/jupyter-notebook-tips.html shell

 

 

 

4個Shell小技巧，幫你提升機器學習生產效率

曉查 發自 凹非寺 
量子位 報道

在機器學習的實踐過程當中，用好Shell能幫你不少節省時間。瀏覽器

最近，有位來自ETHZ的學生分享了一些Shell小技巧。對程序員來講，這些技巧更重要的是讓你的思惟從瑣碎小事中解脫出來，大大提升了工做效率。bash

https://img.mukewang.com/5c87c1700001d1f906770417.jpg

下面就是他分享的4個tips。因爲本文中涉及到的shell腳本過多，你能夠去文末地址中查看全部腳本的源代碼。服務器

抓取遠程文件

當你在遠程服務器上監視程序運行時，若是想把一個遠程文件抓取到本地查看，一般你會怎麼作？機器學習

記下文件路徑，打開終端，用rsync之類的工具同步到本地，再到文件瀏覽器中查看。

實際上沒必要這麼麻煩。只須要事先寫好幾個shell腳本，就能夠避免重複的機械勞動。

在這裏強烈推薦iTerm 2，它比Mac自帶的終端要強大得多，能夠指定某個觸發關鍵詞執行某個相應的命令。

https://img4.mukewang.com/5c87c1ba0001087a06770268.jpg

先在遠程服務器上設置一個腳本t。當咱們輸入r awesome_video.mp4時，它會搜索awesome_video.mp4文件所在路徑，並連同主機名以字符串rtransfer <host> <path>的形式打印出來。

rtransfer做爲iTerm2的觸發關鍵詞，解析出主機和路徑，而後調用另外一個本地腳本t2。腳本t2將這個視頻文件傳輸到臨時目錄，而後在該目錄中打開Finder。

https://img.mukewang.com/5c87c1ce0001139506480421.jpg

使用iTerm 2觸發關鍵詞功能調用腳本，能夠大大提高效率，而你要作的只是在前期花費時間定製腳本。

遠程訪問TensorBoard

除了抓取遠程文件，另外一個讓人痛苦的是訪問遠程服務器上的TensorBoard實例。你能夠設置SSH端口轉發，可是哪一個端口對應哪一個服務器？它們都在Docker容器中。

ngrok可讓你把訪問本地端口變成訪問URL，好比輸入ngrok http 6006後，它會爲你生成一個URL網址http://683acac3.ngrok.io，你能夠在這個地址中查看TensorBoard實例。

結合腳本n，以更快的速度啓動ngrok，而後用腳本tb打開Web瀏覽器，啓動TensorBoard，在十秒內就能從運行目錄轉到顯示圖形。

ngrok有個缺點是它一次只能容許一個會話，所以在使用前須要殺死上一個ngork進程。若是你忘記在另一臺服務器上殺死ngrok，可能會比較麻煩。

ngrok下載地址：https://ngrok.com/

用tbplot代替TensorBoard繪圖

對於運行大量metrics的情形，咱們須要等待較長時間讓TensorBoard加載全部圖形。若是使用tbplot腳本，速度會快不少，而且能直接生成圖像文件。

https://img3.mukewang.com/5c87c1e30001646206770425.jpg

tbplot實際上調用的是Matplotlib，缺點是目前只能生成標量圖。

tbplot下載地址：https://github.com/mrahtz/tbplot

自動化崩潰監測

運行代碼時，最耗費精力的事情就是是擔憂遇到了錯誤並崩潰，所以須要不斷檢查他們的運行狀況。

當程序出現問題時，經過警報自動監控能夠緩解這種擔心。通常能夠把警報發送到郵箱中，爲了不這麼麻煩，可使用sqs-alerts，它依靠AWS AWS Simple Queue服務存儲和接收消息。

在每臺遠程機器上，使用cron運行一個腳本，監控日誌並在檢測到運行中斷時向隊列發送消息。而後在本地機器上運行一個服務來監控隊列，並在收到消息時彈出警報。

sqs-alerts下載地址：https://github.com/mrahtz/sqs-alerts

最後，本文使用的全部shell腳本均可以在如下地址中找到：
https://github.com/mrahtz/dotfiles/tree/master/.local/bin

 

                                                    — 完 —

 

 

 

有那些你相見恨晚的Linux命令 - hellojukay的文章 - 知乎 https://zhuanlan.zhihu.com/p/49450665

 

 

 

 

 

shell中的${}，##和%%的使用

查看腳本語法是否有錯誤：
bash -n modify_suffix.sh
跟蹤執行
sh -x modify_suffix.sh aaa

1.${var} 
2.$(cmd) 
3.()和{} 
4.${var:-string},${var:+string},${var:=string},${var:?string} 
5.$((exp)) 
6.$(var%pattern),$(var%%pattern),$(var#pattern),$(var##pattern)

1.Shell中變量的原形：${var}

 但當你要顯示變量值加隨意的字符(我這裏用_AA)時，就會出錯

這時應該用變量的原形:${var},便是加一個大括號來限定變量名稱的範圍

[root@bogon sh]# aa='ajax'
[root@bogon sh]# echo $aa
ajax
[root@bogon sh]# echo $aa_AA

[root@bogon sh]# echo ${aa}_AA
ajax_AA

批量修改一個目錄裏文件名

[root@bogon ~]# cat modify_suffix.sh
#!/bin/bash
dst_path=$1
for file in `ls $dst_path`
do
        if [ -d $1/$file ]
                 then echo `$0 $1/$file`
        elif [ -f $1/$file ]
                then    mv $1/$file $1/${file}._mod
        else
            echo $1/${file} is unknow file type
        fi

done;
./modify_suffix.sh  ./f
將 ./f 下的全部文件文件名添加了.mod

按 Ctrl+C 複製代碼

[root@bogon ~]# file="modify_suffix.sh.tar.gz"[root@bogon ~]# echo "${file%%.*}"
modify_suffix
[root@bogon ~]# echo "${file%.*}"
modify_suffix.sh.tar
[root@bogon ~]# echo "${file#*.}"
sh.tar.gz
[root@bogon ~]# echo "${file##*.}"
gz

按 Ctrl+C 複製代碼

2.$(cmd)

[root@bogon t]# ls
1.txt  2.txt
[root@bogon t]# echo $(ls)
1.txt 2.txt
[root@bogon t]# var=$(cat 3.txt)
cat: 3.txt: 沒有那個文件或目錄
[root@bogon t]# echo $var

$var顯然是空的

三、一串的命令執行()和{}
()和{}都是對一串的命令進行執行,但有所區別：
相同點：
()和{}都是把一串的命令放在括號裏面,而且命令之間用;號隔開
不一樣點
()只是對一串命令從新開一個子shell進行執行,{}對一串命令在當前shell執行
()最後一個命令能夠不用分號,{}最後一個命令要用分號
()裏的第一個命令和左邊括號沒必要有空格,{}的第一個命令和左括號之間必需要有一個空格
()和{}中括號裏面的某個命令的重定向隻影響該命令,但括號外的重定向則影響到括號裏的全部命令

[root@bogon t]# var=test
[root@bogon t]# echo $var
test
[root@bogon t]# (var=notest;echo $var)
notest
[root@bogon t]# echo $var
test
[root@bogon t]# { var=notest;echo $var;}
notest
[root@bogon t]# echo $var
notest
[root@bogon t]#

在{}中 第一個命令和{之間必須有空格,結束必須有;
{}中的修改了$var的值 說明在當前shell執行

[root@bogon t]# { var1=test1;var2=test2;echo $var1>a;echo $var2;}
test2
[root@bogon t]# cat a
test1
[root@bogon t]# { var1=test1;var2=test2;echo $var1;echo $var2;}>a
[root@bogon t]# cat a
test1
test2
腳本實例
(
    echo "1"
    echo "2"
) | awk '{print NR,$0}'

4.幾種特殊的替換結構：

${var:-string},${var:+string},${var:=string},${var:?string}

(1)

${var:-string} 和 ${var:=string}

若變量var爲空或者未定義,則用在命令行中用string來替換${var:-string}
不然變量var不爲空時,則用變量var的值來替換${var:-string}

[root@bogon ~]# echo $a

[root@bogon ~]# echo ${a:-bcc}
bcc
[root@bogon ~]# echo $a

[root@bogon ~]# a=ajax
[root@bogon ~]# echo ${a:-bcc}
ajax
[root@bogon ~]# unset a
[root@bogon ~]# echo $a

[root@bogon ~]# echo ${a:=bbc}
bbc
[root@bogon ~]# echo $a
bbc

發現

${var:-string}和${var:=string}

比較 後者發現$var爲空時,把string賦值給了var
後者是一種賦值默認值的常見作法

(2) ${var:+string}
規則和上面的徹底相反
即只有當var不是空的時候才替換成string,若var爲空時則不替換或者說是替換成變量var的值,即空值

[root@bogon ~]# a=ajax
[root@bogon ~]# echo $a
ajax
[root@bogon ~]# echo ${a:+bbc}
bbc
[root@bogon ~]# echo $a
ajax
[root@bogon ~]# unset a
[root@bogon ~]# echo $a

[root@bogon ~]# echo ${a:+bbc}

[root@bogon ~]#

(3). ${var:?string}
替換規則:若變量var不爲空,則用變量var的值來替換${var:?string}
若變量var爲空,則把string輸出到標準錯誤中,並從腳本中退出。
可利用此特性來檢查是否設置了變量的值

[root@bogon ~]# echo $a

[root@bogon ~]# echo ${a:?bbc}
-bash: a: bbc
[root@bogon ~]# a=ajax
[root@bogon ~]# echo ${a:?bbc}
ajax
[root@bogon ~]# a=ajax
[root@bogon ~]# echo ${a:-`date`}
ajax
[root@bogon ~]# unset a
[root@bogon ~]# echo ${a:-`date`}
2017年 02月 21日 星期二 10:13:46 CST
[root@bogon ~]# echo ${a:-$(date)}
2017年 02月 21日 星期二 10:13:59 CST
[root@bogon ~]# b=bbc
[root@bogon ~]# echo ${a:-$b}
bbc

5.$((exp)) POSIX標準的擴展計算
這種計算是符合C語言的運算符,也就是說只要符合C的運算符均可用在$((exp)),包括三目運算符
注意:這種擴展計算是整數型的計算,不支持浮點型和字符串等
如果邏輯判斷,表達式exp爲真則爲1,假則爲0

[root@bogon ~]# echo $(3+2)
-bash: 3+2: 未找到命令

[root@bogon ~]# echo $((3+2))
5
[root@bogon ~]# echo $((3.5+2))
-bash: 3.5+2: 語法錯誤: 無效的算術運算符 （錯誤符號是 ".5+2"）
[root@bogon ~]# echo $((3>2))
1
[root@bogon ~]# echo $((3>2?'a':'b'))
-bash: 3>2?'a':'b': 語法錯誤: 期待操做數 （錯誤符號是 "'a':'b'"）
[root@bogon ~]# echo $((3>2?a:b))
0
[root@bogon ~]# echo $((a=3+2))
5
[root@bogon ~]# echo $((a++))
5
[root@bogon ~]# echo $a
6

6.四種模式匹配替換結構:

${var%pattern}
${var%%pattern}
${var#pattern}
${var##pattern}

${var%pattern},${var%%pattern} 從右邊開始匹配
${var#pattern},${var##pattern} 從左邊開始匹配
${var%pattern} ,${var#pattern} 表示最短匹配,匹配到就中止,非貪婪
${var%%pattern},${var##pattern} 是最長匹配

只有在pattern中使用了通配符纔能有最長最短的匹配,不然沒有最 長最短匹配之分
結構中的pattern支持通配符
* 表示零個或多個任意字符
?表示零個或一個任意字符
[...]表示匹配中括號裏面的字符
[!...]表示不匹配中括號裏面的字符

[root@bogon ~]# f=a.tar.gz
[root@bogon ~]# echo ${f##*.}
gz
[root@bogon ~]# echo ${f%%.*}
a
[root@bogon ~]# var=abcdccbbdaa
[root@bogon ~]# echo ${var%%d*}
abc
[root@bogon ~]# echo ${var%d*}
abcdccbb
[root@bogon ~]# echo ${var#*d}
ccbbdaa
[root@bogon ~]# echo ${var##*d}
aa
#發現輸出的內容是var去掉pattern的那部分字符串的值

假設咱們定義了一個變量爲：
file=/dir1/dir2/dir3/my.file.txt

能夠用${ }分別替換獲得不一樣的值：
${file#*/}：刪掉第一個 / 及其左邊的字符串：dir1/dir2/dir3/my.file.txt
${file##*/}：刪掉最後一個 /  及其左邊的字符串：my.file.txt
${file#*.}：刪掉第一個 .  及其左邊的字符串：file.txt
${file##*.}：刪掉最後一個 .  及其左邊的字符串：txt
${file%/*}：刪掉最後一個  /  及其右邊的字符串：/dir1/dir2/dir3
${file%%/*}：刪掉第一個 /  及其右邊的字符串：(空值)
${file%.*}：刪掉最後一個  .  及其右邊的字符串：/dir1/dir2/dir3/my.file
${file%%.*}：刪掉第一個  .   及其右邊的字符串：/dir1/dir2/dir3/my

記憶的方法爲：
# 是 去掉左邊（鍵盤上#在 $ 的左邊）
%是去掉右邊（鍵盤上% 在$ 的右邊）
單一符號是最小匹配；兩個符號是最大匹配
${file:0:5}：提取最左邊的 5 個字節：/dir1
${file:5:5}：提取第 5 個字節右邊的連續5個字節：/dir2

也能夠對變量值裏的字符串做替換：
${file/dir/path}：將第一個dir 替換爲path：/path1/dir2/dir3/my.file.txt
${file//dir/path}：將所有dir 替換爲 path：/path1/path2/path3/my.file.txt

利用 ${ } 還可針對不一樣的變數狀態賦值(沒設定、空值、非空值)： 
${file-my.file.txt} ：假如 $file 沒有設定，則使用 my.file.txt 做傳回值。(空值及非空值時不做處理) 
${file:-my.file.txt} ：假如 $file 沒有設定或為空值，則使用 my.file.txt 做傳回值。 (非空值時不做處理)
${file+my.file.txt} ：假如 $file 設為空值或非空值，均使用 my.file.txt 做傳回值。(沒設定時不做處理)
${file:+my.file.txt} ：若 $file 為非空值，則使用 my.file.txt 做傳回值。 (沒設定及空值時不做處理)
${file=my.file.txt} ：若 $file 沒設定，則使用 my.file.txt 做傳回值，同時將 $file 賦值為 my.file.txt 。 (空值及非空值時不做處理)
${file:=my.file.txt} ：若 $file 沒設定或為空值，則使用 my.file.txt 做傳回值，同時將 $file 賦值為 my.file.txt 。 (非空值時不做處理)
${file?my.file.txt} ：若 $file 沒設定，則將 my.file.txt 輸出至 STDERR。 (空值及非空值時不做處理)

${file:?my.file.txt} ：若 $file 沒設定或爲空值，則將 my.file.txt 輸出至 STDERR。 (非空值時不做處理)

${#var} 可計算出變量值的長度：

${#file} 可獲得 27 ，由於/dir1/dir2/dir3/my.file.txt 是27個字節

轉載：https://blog.csdn.net/shmilyringpull/article/details/7631106
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程