Linux上使用supervisor完成守护进程的工作

　　我们经常需要当一个进程挂了之后能自动被拉起来，保证服务正常运行，这时候可以考虑使用supervisor。概念
　　supervisor是用Python开发的一套通用的进程管理程序（ C/S 模型），可以方便的启动、重启、关闭单个或多个进程（包括非 Python 进程）。
　　supervisor 是类似于一个监管员，它在系统中是一个进程管理工具，当系统进程中断的时候 supervisor能自动重新启动它。可以运行在各种类unix的机器上。
　　supervisor 是一个 C/S 模型的程序，supervisord是server端，supervisorctl是client端。下载python3-pip的离线安装包
　　为了方便后面做离线安装包，这里将所有的依赖的包下载到本地，可以方便到无网络环境下安装。
　　apt-get download python3-pip && apt-cache depends -i python3-pip | awk ＂/Depends:/ {print $2}＂ | xargs apt-get download
　　apt-get download python3-distutils && apt-cache depends -i python3-distutils | awk ＂/Depends:/ {print $2}＂ | xargs apt-get download
　　apt-get download python3-setuptools && apt-cache depends -i python3-setuptools | awk ＂/Depends:/ {print $2}＂ | xargs apt-get download
　　apt-get download python3-wheel && apt-cache depends -i python3-wheel | awk ＂/Depends:/ {print $2}＂ | xargs apt-get download本地安装python3-pip【不需要网络】
　　dpkg -i  python3-distutils_3.10.6-1~22.04_all.deb
　　dpkg -i  python3-setuptools_59.6.0-1.2_all.deb
　　dpkg -i  python3-wheel_0.37.1-2_all.deb
　　dpkg -i  python3-pip_22.0.2+dfsg-1_all.deb下载supervisor并安装
　　pip3 download supervisor-4.2.5-py2.py3-none-any.whl
　　pip3 install supervisor-4.2.5-py2.py3-none-any.whl
　　安装完成后，可以找到/usr/local/bin/supervisorctl创建配置
　　mkdir -p /etc/supervisord/conf.d
　　echo_supervisord_conf > /etc/supervisord.conf修改配置
　　配置末尾的include注释，改为：
　　vi /etc/supervisord.conf
　　[include]
　　files = /etc/supervisor/conf.d/*.ini ; 打开注释(;)，将路径修改为/etc/supervisord/conf.d/
　　; 这句代码说明它会加载/etc/supervisor/conf.d/ 文件夹中的所有.ini配置文件
　　[root@bogon etc]# vi /etc/supervisord.conf
　　去掉注释前：;[inet_http_server] ; inet (TCP) server disabled by default ;port=127.0.0.1:9001 ; ip_address:port specifier, *:port for all iface ;username=user ; default is no username (open server) ;password=123 ; default is no password (open server)
　　去掉之后：[inet_http_server] ; inet (TCP) server disabled by default port=*:9001 ; ip_address:port specifier, *:port for all iface username=root ; default is no username (open server) password=root ; default is no password (open server)
　　[supervisord] logfile=/tmp/supervisord.log ; main log file; default $CWD/supervisord.log logfile_maxbytes=50MB        ; max main logfile bytes b4 rotation; default 50MB logfile_backups=10           ; # of main logfile backups; 0 means none, default 10 loglevel=info                ; log level; default info; others: debug,warn,trace pidfile=/tmp/supervisord.pid ; supervisord pidfile; default supervisord.pid nodaemon=false               ; start in foreground if true; default false silent=false                 ; no logs to stdout if true; default false minfds=1024                  ; min. avail startup file descriptors; default 1024 minprocs=200                 ; min. avail process descriptors;default 200 ;umask=022                   ; process file creation umask; default 022 ;user=supervisord            ; setuid to this UNIX account at startup; recommended if root ;identifier=supervisor       ; supervisord identifier, default is ＂supervisor＂ ;directory=/tmp              ; default is not to cd during start ;nocleanup=true              ; don＂t clean up tempfiles at start; default false ;childlogdir=/tmp            ; ＂AUTO＂ child log dir, default $TEMP ;environment=KEY=＂value＂     ; key value pairs to add to environment ;strip_ansi=false            ; strip ansi escape codes in logs; def. false  ; The rpcinterface:supervisor section must remain in the config file for ; RPC (supervisorctl/web interface) to work.  Additional interfaces may be ; added by defining them in separate [rpcinterface:x] sections.
　　将;user=supervisord修改为user=root
　　启动服务
　　supervisord -c /etc/supervisord.conf
　　启动完成后可以使用ps -ef|grep supervisor命令查看进程root@lj-default-string:/usr/local/SINO/package# ps -ef|grep supervisor root 1159338 1 0 16:46 ? 00:00:00 /usr/bin/python3 /usr/local/bin/supervisord -c /etc/supervisord.conf root 1202622 639110 0 17:17 pts/1 00:00:00 grep --color=auto supervisor root@lj-default-string:/usr/local/SINO/package#浏览器查看服务状态
　　http://ip:9001 然后输入用户名和密码
　　即可登录supervisor web管理页面，其界面如下
　　配置文件详解 ; Sample supervisor config file.   [unix_http_server] file=/var/run/supervisor/supervisor.sock   ; socket 路径   ;chmod=0700                 ; socket 文件的权限 ;chown=nobody:nogroup       ; socket 所属用户及组 ;username=user              ; 用户名 ;password=123               ; 密码   ;[inet_http_server]         ; 是否启用服务，默认是关闭的（启用的话可以看到supervisor 管理的服务状态） ;port=127.0.0.1:9001        ; 监听的IP及端口 ;username=user              ; 用户名 ;password=123               ; 密码   [supervisord]               ; supervisord 全局配置 logfile=/var/log/supervisor/supervisord.log  ; supervisor 日志路径 logfile_maxbytes=50MB       ; 单个日志文件最大数 logfile_backups=10          ; 保留多少个日志文件（默认10个） loglevel=info               ; (log level;default info; others: debug,warn,trace) pidfile=/var/run/supervisord.pid ; pid 文件路径 nodaemon=false              ; 启动是否丢到前台，设置为false ，表示以daemon 的方式启动 minfds=1024                 ; 最小文件打开数，对应系统limit.conf 中的nofile ,默认最小为1024，最大为4096 minprocs=200                ; 最小的进程打开数，对应系统的limit.conf 中的nproc,默认为200 ;umask=022                  ; (process file creation umask;default 022) ;user=chrism                 ; 启动supervisord 服务的用户，默认为root ;identifier=supervisor       ; (supervisord identifier, default is ＂supervisor＂) ;directory=/tmp              ; 这里的目录指的是服务的工作目录 ;nocleanup=true              ; (don＂t clean up tempfiles at start;default false) ;childlogdir=/tmp            ; (＂AUTO＂ child log dir, default $TEMP) ;environment=KEY=value       ; (key value pairs to add to environment) ;strip_ansi=false            ; (strip ansi escape codes in logs; def. false)   ; the below section must remain in the config file for RPC ; (supervisorctl/web interface) to work, additional interfaces may be ; added by defining them in separate rpcinterface: sections [rpcinterface:supervisor] supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface   [supervisorctl] serverurl=unix:///var/run/supervisor/supervisor.sock ; use a unix:// URL  for a unix socket ;serverurl=http://127.0.0.1:9001 ; use an http:// url to specify an inet socket ;username=chris              ; should be same as http_username if set ;password=123                ; should be same as http_password if set ;prompt=mysupervisor         ; cmd line prompt (default ＂supervisor＂) ;history_file=~/.sc_history  ; use readline history if available   ; The below sample program section shows all possible program subsection values, ; create one or more ＂real＂ program: sections to be able to control them under ; supervisor.   ;[program:theprogramname]      ; 定义一个守护进程 ，比如下面的elasticsearch  ;command=/bin/cat              ; 启动程序使用的命令，可以是绝对路径或者相对路径 ;process_name=%(program_name)s ; 一个python字符串表达式，用来表示supervisor进程启动的这个的名称，默认值是%(program_name)s ;numprocs=1                    ; Supervisor启动这个程序的多个实例，如果numprocs>1，则process_name的表达式必须包含%(process_num)s，默认是1 ;directory=/tmp                ; supervisord在生成子进程的时候会切换到该目录 ;umask=022                     ; umask for process (default None) ;priority=999                  ; 权重，可以控制程序启动和关闭时的顺序，权重越低：越早启动，越晚关闭。默认值是999 ;autostart=true                ; 如果设置为true，当supervisord启动的时候，进程会自动启动 ;autorestart=true              ; 设置为随 supervisord 重启而重启，值可以是false、true、unexpected。false：进程不会自动重启 ;startsecs=10                  ; 程序启动后等待多长时间后才认为程序启动成功，默认是10秒 ;startretries=3                ; supervisord尝试启动一个程序时尝试的次数。默认是3 ;exitcodes=0,2                 ; 一个预期的退出返回码，默认是0,2。 ;stopsignal=QUIT               ; 当收到stop请求的时候，发送信号给程序，默认是TERM信号，也可以是 HUP, INT, QUIT, KILL, USR1, or USR2 ;stopwaitsecs=10               ; 在操作系统给supervisord发送SIGCHILD信号时等待的时间 ;user=chrism                   ; 如果supervisord以root运行，则会使用这个设置用户启动子程序 ;redirect_stderr=true          ; 如果设置为true，进程则会把标准错误输出到supervisord后台的标准输出文件描述符 ;stdout_logfile=/a/path        ; 把进程的标准输出写入文件中，如果stdout_logfile没有设置或者设置为AUTO，则supervisor会自动选择一个文件位置 ;stdout_logfile_maxbytes=1MB   ; 标准输出log文件达到多少后自动进行轮转，单位是KB、MB、GB。如果设置为0则表示不限制日志文件大小 ;stdout_logfile_backups=10     ; 标准输出日志轮转备份的数量，默认是10，如果设置为0，则不备份 ;stdout_capture_maxbytes=1MB   ; 当进程处于stderr capture mode模式的时候，写入FIFO队列的最大bytes值，单位可以是KB、MB、GB ;stdout_events_enabled=false   ; 如果设置为true，当进程在写它的stderr ;stderr_logfile=/a/path        ; 把进程的错误日志输出一个文件中，除非redirect_stderr参数被设置为true ;stderr_logfile_maxbytes=1MB   ; 错误log文件达到多少后自动进行轮转，单位是KB、MB、GB。如果设置为0则表示不限制日志文件大小 ;stderr_logfile_backups=10     ; 错误日志轮转备份的数量，默认是10，如果设置为0，则不备份 ;stderr_capture_maxbytes=1MB   ; 当进程处于stderr capture mode模式的时候，写入FIFO队列的最大bytes值，单位可以是KB、MB、GB ;stderr_events_enabled=false   ; 如果设置为true，当进程在写它的stderr到文件描述符的时候，PROCESS_LOG_STDERR事件会被触发 ;environment=A=1,B=2           ; 一个k/v对的list列表 ;serverurl=AUTO                ; 是否允许子进程和内部的HTTP服务通讯，如果设置为AUTO，supervisor会自动的构造一个url   ; The below sample eventlistener section shows all possible ; eventlistener subsection values, create one or more ＂real＂ ; eventlistener: sections to be able to handle event notifications ; sent by supervisor.  #这个地方是自定义一个守护进程 [program:elasticsearch]                       ; 定义一个守护进程 elasticsearch environment=ES_HOME=/usr/local/elasticsearch  ; 设置ES_HOME 环境变量 user=elk                                      ; 启动elasticsearch 的用户 directory=/usr/local/elasticsearch            ; 进入到这个目录中 command=/usr/local/elasticsearch/bin/elasticsearch ; 执行启动命令 numprocs=1                                    ; Supervisor启动这个程序的多个实例，如果numprocs>1，则process_name的表达式必须包含%(process_num)s，默认是1 autostart=true                                ; 设置为随 supervisord 启动而启动 autorestart=true                              ; 设置为随 supervisord 重启而重启 startretries=3                                ; 设置elasticsearch 重启的重试次数 priority=1                                    ; 权重，可以控制程序启动和关闭时的顺序，权重越低：越早启动，越晚关闭。默认值是999     ;[eventlistener:theeventlistenername] ;command=/bin/eventlistener    ; the program (relative uses PATH, can take args) ;process_name=%(program_name)s ; process_name expr (default %(program_name)s) ;numprocs=1                    ; number of processes copies to start (def 1) ;events=EVENT                  ; event notif. types to subscribe to (req＂d) ;buffer_size=10                ; event buffer queue size (default 10) ;directory=/tmp                ; directory to cwd to before exec (def no cwd) ;umask=022                     ; umask for process (default None) ;priority=-1                   ; the relative start priority (default -1) ;autostart=true                ; start at supervisord start (default: true) ;autorestart=unexpected        ; restart at unexpected quit (default: unexpected) ;startsecs=10                  ; number of secs prog must stay running (def. 1) ;startretries=3                ; max # of serial start failures (default 3) ;exitcodes=0,2                 ; ＂expected＂ exit codes for process (default 0,2) ;stopsignal=QUIT               ; signal used to kill process (default TERM) ;stopwaitsecs=10               ; max num secs to wait b4 SIGKILL (default 10) ;user=chrism                   ; setuid to this UNIX account to run the program ;redirect_stderr=true          ; redirect proc stderr to stdout (default false) ;stdout_logfile=/a/path        ; stdout log path, NONE for none; default AUTO ;stdout_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB) ;stdout_logfile_backups=10     ; # of stdout logfile backups (default 10) ;stdout_events_enabled=false   ; emit events on stdout writes (default false) ;stderr_logfile=/a/path        ; stderr log path, NONE for none; default AUTO ;stderr_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB) ;stderr_logfile_backups        ; # of stderr logfile backups (default 10) ;stderr_events_enabled=false   ; emit events on stderr writes (default false) ;environment=A=1,B=2           ; process environment additions ;serverurl=AUTO                ; override serverurl computation (childutils)   ; The below sample group section shows all possible group values, ; create one or more ＂real＂ group: sections to create ＂heterogeneous＂ ; process groups.   ;[group:thegroupname]          ; 服务组管理，可以将多个服务名写到这里管理(组名自定义） ;programs=progname1,progname2  ; 上面配置好的服务名，比如elasticsearch,kibana,logstash ;priority=999                  ; the relative start priority (default 999)   ; The [include] section can just contain the ＂files＂ setting.  This ; setting can list multiple files (separated by whitespace or ; newlines).  It can also contain wildcards.  The filenames are ; interpreted as relative to this file.  Included files *cannot* ; include files themselves.   [include] files = /etc/supervisord.d/*.ini  ;具体进程
　　下面到了最关键步骤，自己定义一个ini文件，将需要守护的进程的配置放到
　　/etc/supervisor/conf.d/这个目录下，如下图[program:main_sound_belt] user=jetson directory=/mnt/aialgorithm/ command=python3 main_sound_belt.py autostart=true autorestart=true startretries=1 redirect_stderr=true stdout_logfile=/mnt/aialgorithm/log/main_sound_belt.log stderr_logfile=/mnt/aialgorithm/log/main_sound_belt.log stdout_logfile_maxbytes=1MB stdout_logfile_backups=5 nodaemon=true environment=OPENBLAS_CORETYPE=ARMV8, LD_PRELOAD=/mnt/aialgorithm/lib/scikit_learn.libs/libgomp-d22c30c5.so.1.0.0
　　注意上面的environment表示启动时需要的环境变量。修改项目配置文件后，重新加载root@lj-default-string:/usr/local/SINO/package# supervisorctl reload Restarted supervisord
　　启动成功可以在网页上面看到running的状态