Реализация на основе официальной документации из https://www.jenkins.io/doc/book/installing/linux/

Подключаем официальный репозитарий

# curl -fsSL https://pkg.jenkins.io/debian-stable/jenkins.io.key | sudo tee /usr/share/keyrings/jenkins-keyring.asc > /dev/null
# echo deb [signed-by=/usr/share/keyrings/jenkins-keyring.asc] https://pkg.jenkins.io/debian-stable binary/ | sudo tee   /etc/apt/sources.list.d/jenkins.list > /dev/null
# apt-get update

Установка максимально простая

# apt-get install jenkins
# systemctl enable jenkins
# systemctl start jenkins

По умолчанию Jenkins стартует на самом популярном порту 8080, но это легко исправляется правкой

# systemctl edit jenkins

Добавляем 

[Service]
Environment="JENKINS_PORT=28081"

Таким образом мы переопределяем параметры порта, если напрямую редактировать сервис, то все будет как было после обновления пакета.

Последующие действия

• Настройка через web-интерфейс
• Пароль админа в файле /var/lib/jenkins/secrets/initialAdminPassword