python教程分享利用Python编写的实用运维脚本分享

python在很大程度上可以对shell脚本进行替代。笔者一般单行命令用shell,复杂点的多行操作就直接用python了。这篇文章就归纳一下python的一些实用脚本操作。

1. 执行外部程序或命令

我们有以下c语言程序cal.c(已编译为.out文件),该程序负责输入两个命令行参数并打印它们的和。该程序需要用python去调用c语言程序并检查程序是否正常返回(正常返回会返回 0)。

#include<stdio.h>  #include<stdlib.h>  int main(int argc, char* argv[]){      int a = atoi(argv[1]);      int b = atoi(argv[2]);      int c = a + b;      printf("%d + %d = %dn", a, b, c);      return 0;  }  

那么我们可以使用subprocess模块的run函数来spawn一个子进程:

res = subprocess.run(["python-lang/cal.out", "1", "2"])  print(res.returncode)   

可以看到控制台打印出进程的返回值0:

1 + 2 = 3
0

当然,如果程序中途被杀死。如我们将下列while.c程序写为下列死循环(已编译为.out文件):

#include<stdio.h>  #include<stdlib.h>  int main(int argc, char* argv[]){      while(1);      return 0;  }  

我们同样用run函数接收其返回值:

res = subprocess.run("python-lang/while.out")  print(res.returncode)  

不过我们在程序运行中用shell命令将其终止掉:

(base) orion-orion@macbook-pro python-lang % ps -a |grep while 
11829 ttys001    0:17.49 python-lang/while.out
11891 ttys005    0:00.00 grep while
(base) orion-orion@macbook-pro python-lang % kill 11829

可以看到控制台打印输出的进程返回值为-15(因为负值-n表示子进程被信号n终止,而kill命令默认的信号是15,该信号会终止进程):

-15

如果程序陷入死循环不能正常终止,我们总不能一直等着吧?此时,我们可以设置超时机制并进行异常捕捉:

try:      res = subprocess.run(["python-lang/while.out"], capture_output=true, timeout=5)  except subprocess.timeoutexpired as e:      print(e)  

此时会打印输出异常结果:

command '['python-lang/while.out']' timed out after 5 seconds  

有时需要获取程序的输出结果,此时可以加上capture_output参数,然后访问返回对象的stdout属性即可:

res = subprocess.run(["netstat", "-a"], capture_output=true)  out_bytes = res.stdout  

输出结果是以字节串返回的,如果想以文本形式解读,可以再增加一个解码步骤:

out_text = out_bytes.decode("utf-8")  print(out_text)  

可以看到已正常获取文本形式的输出结果:


kctl       0      0     33      6 com.apple.netsrc
kctl       0      0     34      6 com.apple.netsrc
kctl       0      0      1      7 com.apple.network.statistics
kctl       0      0      2      7 com.apple.network.statistics
kctl       0      0      3      7 com.apple.network.statistics

(base) orion-orion@macbook-pro learn-python % 

一般来说,命令的执行不需要依赖底层shell的支持(如sh,bash等),我们提供的字符串列表会直接传递给底层的系统调用,如os.execve()。如果希望命令通过shell来执行,只需要给定参数shell=true并将命令以简单的字符串形式提供即可。比如我们想让python执行一个涉及管道、i/o重定向或其它复杂的shell命令时,我们就可以这样写:

out_bytes = subprocess.run("ps -a|wc -l> out", shell=true)  

2. 文件和目录操作(命名、删除、拷贝、移动等)

我们想要和文件名称和路径打交道时,为了保证获得最佳的移植性(尤其是需要同时运行与unix和windows上时),最好使用os.path中的函数。例如:

import os  file_name = "/users/orion-orion/documents/localcode/learn-python/python-lang/test.txt"  print(os.path.basename(file_name))   # test.txt  print(os.path.dirname(file_name))  # /users/orion-orion/documents/localcode/learn-python/python-lang  print(os.path.split(file_name))  # ('/users/orion-orion/documents/localcode/learn-python/python-lang', 'test.txt')  print(os.path.join("/new/dir", os.path.basename(file_name)))  # /new/dir/test.txt  print(os.path.expanduser("~/documents"))  # /users/orion-orion/documents  

其中os.path.expanduser当用户或$home未知时, 将不做任何操作。如我们这里的$home就为/users/orion-orion

(base) orion-orion@macbook-pro ~ % echo $home  /users/orion-orion  

如果要删除文件,请用os.remove(在删除前注意先判断文件是否存在):

file_name = "python-lang/test.txt"  if os.path.exists(file_name):      os.remove(file_name)  

接下来我们看如何拷贝文件。当然最直接的方法是调用shell命令:

os.system("cp python-lang/test.txt python-lang/test2.txt")  

当然这不够优雅。如果不像通过调用shell命令来实现,可以使用shutil模块,该模块提供了一系列对文件和文件集合的高阶操作,其中就包括文件拷贝和移动/重命名。这些函数的参数都是字符串,用来提供文件或目录的名称。以下是示例:

src = "python-lang/test.txt"  dst = "python-lang/test2.txt"    # 对应cp src dst (拷贝文件,存在则覆盖)  shutil.copy(src, dst)       src = "python-lang/sub_dir"  dst = "python-lang/sub_dir2"  # 对应cp -r src dst (拷贝整个目录树)  shutil.copytree(src, dst)    src = "python-lang/test.txt"  dst = "python-lang/sub_dir/test2.txt"  # 对应mv src dst (移动文件,可选择是否重命名)  shutil.move(src, dst)  

可以看到,正如注释所言,这些函数的语义和unix命令类似。如果你对unix下的文件拷贝/移动等操作不熟悉,可以参见linux shell进行文件解压,复制和移动详解

默认情况下,如果源文件是一个符号链接,那么目标文件将会是该链接所指向的文件的拷贝。如果只想拷贝符号链接本身,可以提供关键字参数follow_symlinks:

shutil.copy(src, dst, follow_symlinks=true)  

如果想在拷贝的目录中保留符号链接,可以这么做:

shutil.copytree(src, dst, symlinks=true)  

有时在拷贝整个目录时需要对特定的文件和目录进行忽略,如.pyc这种中间过程字节码。我们可以为copytree提供一个ignore函数,该函数已目录名和文件名做为输入参数,返回一列要忽略的名称做为结果(此处用到字符串对象的.endswith方法,该方法用于获取文件类型):

def ignore_pyc_files(dirname, filenames):      return [name for name in filenames if name.endswith('pyc')]       shutil.copytree(src, dst, ignore=ignore_pyc_files)  

不过由于忽略文件名这种模式非常常见,已经有一个实用函数ignore_patterns()提供给我们使用了(相关模式使用方法类似.gitignore):

shutil.copytree(src, dst, ignore=shutil.ignore_patterns("*~", "*.pyc"))  

注:此处的"*~"模式匹配是文本编辑器(如vi)产生的以"~"结尾的中间文件。

忽略文件名还常常用在os.listdir()中。比如我们在数据密集型(如机器学习)应用中,需要遍历data目录下的所有数据集文件并加载,但是需要排除.开头的隐藏文件,如.git,否则会出错,此时可采用下列写法:

import os  import os  filenames = [filename for filename in os.listdir("python-lang/data") if not filename.startswith(".")] #注意,os.listdir返回的是不带路径的文件名  

让我们回到copytree()。用copytree()来拷贝目录时,一个比较棘手的问题是错误处理。比如在拷贝的过程中遇到已经损坏的符号链接,或者由于权限问题导致有些文件无法访问等。对于这种情况,所有遇到的异常会收集到一个列表中并将其归组为一个单独的异常,在操作结束时抛出。示例如下:

import shutil    src = "python-lang/sub_dir"  dst = "python-lang/sub_dir2"    try:      shutil.copytree(src, dst)  except shutil.error as e:      for src, dst, msg in e.args[0]:          print(src, dst, msg)  

如果提供了ignore_dangling_symlinks=true,那么copytree将会忽略悬垂的符号链接。

需要了解更多python教程分享利用Python编写的实用运维脚本分享,都可以关注python教程分享栏目—猴子技术宅(www.ssfiction.com)

本文来自网络收集,不代表猴子技术宅立场,如涉及侵权请点击右边联系管理员删除。

如若转载,请注明出处:https://www.ssfiction.com/pythons/1091947.html

(0)
上一篇 3天前
下一篇 3天前

精彩推荐

发表评论

您的电子邮箱地址不会被公开。