После очередной настройки сервера пришел к выводу, что Supervisor не надо ставить в виртуальное окружение, как я делал раньше. Его надо устанавливать с помощью apt-get и запускать под рутом. Настраивается так же, с одним нюансом - путь для сокетов надо указывать в /var/run
Перезапуск процессов с помощью supervisorctl также из-под рута.