shell编程：对于hadoop程序员，通常需要熟悉shell编程，因为shell可以非常方便的运行程序代码。

1、shell文件格式：xxx.sh

#!/bin/sh ---shell文件第一行必须这么写

#井号后面的内容是注释

echo 'abcd' ----echo是输出，回显

在hadoop0:

mkdir shellfile

cd shellfile

ls

vi test.sh

#!/bin/sh

echo 'abcd'

ls

ll

tset.sh ---现在执行发现没有权限，需修改权限才能执行

chmod u+x test.sh

ll    ---列出文件的详细信息

test.sh ---现在就能执行了，输出了abcd

 

vi test.sh

#!/bin/sh

i=0 ---变量不需要声明，初始化不需要指定类型。变量名称只能是字母、数字、下划线组成，不能使用数字开头。

echo $i ---显示变量值使用：echo $变量名

 

2、变量分类：临时变量和环境变量（/etc/profile:export XXX）

3、单引号、双引号、飘号的使用：

vi test.sh

#!/bin/sh

i=0

echo ${i}1234 ---输出01234，要想变量独立使用的时候，用大括号独立开

 

vi test.sh

#!/bin/sh

i=0

echo '$i' ---输出$i,单引号不解析变量

echo "$i" ---输出0，双引号解析变量

 

vi test.sh

#!/bin/sh

i=0

echo '$i'

echo "$i"

echo $(date) ---输出时间

echo `date` ---飘号是执行内容，类似于上面的$(XXX)。这里`data`==$(date)

 

4、位置变量：执行脚本时，传入的参数按照先后顺序使用$1、$2等顺序引用变量值 。

vi test.sh

#!/bin/sh

i=0

echo "first param:$1"

echo "second param:$2"

执行：test.sh abc 123

输出：first param:abc

        second param:123

 

5、使用date:（更详细的查看《》）

1、可以直接执行date，输出的是系统的当前时间。

 

2、格式化输出，date +%Y-%m-%d ---%Y 年 %m 月 %d 日 中间的是分隔符-，也可以换成别人分隔符 2017-4-10

 

3、date +%s      ---格式%s表示自1970-01-01 00:00:00以来的秒数

 

4、date --date=‘2017-4-10’ ---指定时间输出 --date='2009-01-01 11:11:11'

 

5、指定时间输出 --date='3 days ago'

 

6、标准输入、输出、错误：

1、标准输入、输出、错误都是命令行，使用文件描述符0、1、2引用

2、使用重定向可以把信息转换到其他位置

---------

ls > a.txt ---将test.sh转换到a.txt中输出了

ls 1>b.txt ---将a.txt和test.sh转换到b.txt中输出了

 

7、使用crontab（类似于Java中的timer）:

　　1、Linux下的定时任务

　　2、编辑使用crontab -e

　　　　　　　　* * * * * date>>/root/a.txt

　　　　　　　　一共六列，分别是：分 时 日 月 周 命令

　　　　　　　　(默认是按照每个小时的第一分钟输出)

　　　　　　　　要想按照每个小时的第5分钟输出，则需修改为：5 * * * * date>>/root/a.txt

　　　　　　　　要想每隔5分钟输出，则修改为：5,10,15,20,25,30 * * * * date>>/root/a.txt

　　3、查看使用crontab -l

 

8、if判断、for循环：（注意符号之间空格！每一行的结束都有一个空格！！！）

if [ ... ] ---if和[之间、[和条件之间、条件和]之间都有一个空格。

then

...

fi

for ((i=0;i<10;i++)) ---for和(之间有个空格

do

...

done

----------

vi if.sh

#!/bin/sh

if [ 'a'='a' ]

then

echo 'equal'

fi

chmod u+x if.sh

if.sh ---输出equal

 

vi for.sh

#!/bin/sh

for ((i=0;i<10;i++))

do

echo $i

done

chmod u+x for.sh

for.sh

 

9、自定义函数：

function 函数名(){

....

}

//最后一行语句是默认返回值

引用自定义函数文件时，使用source func.sh

------------------

vi func.sh

　　#!/bin/sh

　　function dat(){

　　　　date +%Y-%m-%d

　　}

　　dat

chmod u+x func.sh

func.sh

 

vi func.sh

#!/bin/sh

function dat(){

date --date="$1 days ago" +%Y-%m-%d

}

dat 2

func.sh ---输出当前时间的2天前的日期

-----------------

在test.sh中引用func.sh:

vi test.sh

#!/bin/sh

source func.sh ---最好指定路径

dat -2

test.sh ---输出2天后的日期