Главная - Компьютеры
Как создать новый репозиторий в Git. Делаем свой локальный deb репозиторий (Debian, Ubuntu etc.) своими руками Ubuntu локальный репозиторий

Возник праздный интерес (пригодится обязательно, уверен, но пока праздный), допустим есть н-ное количество машин на Ubuntu, и если их много, то трафик обращений к репозиториям всех машин будет по-сути прямо-пропорционален их количеству и если апдейт одной машины - это еще куда ни шло, то 20 или больше, это уже серьезно. С анлимами для корпоратива у нас в стране плохо, поэтому вопрос трафика часто стоит очень остро. Да и канал грузить почем-зря тоже не стоит, когда имеются простые и элегантные решения.

Если загуглить на данную тему, то прежде всего вылезают 2 популярных решения: apt-mirror и apt-proxy. Оба решения по-своему привлекательны, но поскольку для перевода этого всего в практическую плоскость надо осознать и сделать выбор, я расскажу вкратце особенности.

Apt-mirror - это пакет, который делает полное локальное зеркало репозиториев. Оно устанавливается, настраивается, затем запускается и выкачивает все содержимое репозиториев, которые указали в настройках. В принципе хорошо, ведь все возможные пакеты будут доступны сразу и на высокой скорости. Но с другой стороны нам придется выкачать ВСЕ что нужно и не нужно. По-крайней мере этот нюанс поставил крест на выборе apt-mirror.

Apt-proxy - работает по-несколько иному принципу, мне он понравился больше. Я считаю, что принцип даже более интеллектуален. Он не выкачивает все подряд, а качает только то, что было запрошено, то есть фактически при первом обращении он выкачивает нужный пакет из интернета, поэтому придется подождать, при последующих отдает его локальную копию. В общем кеширующее проксирование репозитория - наш выбор!

В руках у меня, для экспериментов, оказались 2 машинки. Небольшой маловажный сервачок на Debian Squeese и десктоп с Ubuntu 9.10 Karmic. (На дебиане решил развернуть прокси для репов кармика, на десктопе соответственно подправить sources.list)

Но ВНЕЗАПНО я не обнаружил в репах Squeese пакета apt-proxy. Побродив по интернетам, на странице проекта apt-proxy я познал, что жизнь штука сложная и что кто-то там разбился в автокатастрофе, возвращаясь с какой-то ITшной тусы. В итоге обещанный рефакторинг не закончен и в общем фиг его знает. Однако там же я увидел список клонов проекта, и о чудо, в дебиане оказался один из них: apt-cacher.

НА СЕРВЕРЕ:

Установка:
$ sudo apt-get install apt-cacher
Настройка:
$ sudo vim /etc/apt-cacher/apt-cacher.conf

Поскольку наши клиентские машины пользуют убунту, в конфиге прописываем path_map:
path_map = ubuntu ru.archive.ubuntu.com/ubuntu; ubuntu-updates ru.archive.ubuntu.com/ubuntu ; ubuntu-security security.ubuntu.com/ubuntu ; ubuntu-partner archive.canonical.com/ubuntu

Дефолтный порт apt-caher - 3142. Для того, чтобы повесить его на порт <1024, надо запускать его из под рута, что в целом не нужно.

Таким образом получаем следущие связки:
http://localrepo:3142/ubuntu => http://ru.archive.ubuntu.com/ubuntu http://localrepo:3142/ubuntu-updates => http://ru.archive.ubuntu.com/ubuntu http://localrepo:3142/ubuntu-security => http://security.ubuntu.com/ubuntu http://localrepo:3142/ubuntu-partner => http://archive.canonical.com/ubuntu

Причем, что порадовало, в отличие от многих пакетов, тут не надо указывать конкретный дистрибутив, то есть с этими настройками мы сможем обслуживать машины с любым дистрибутивом убунту.

Включаем автозапуск демона:
$ sudo vim /etc/default/apt-cacher
Устанавливаем значение: AUTOSTART=1
Рестартим:
$ sudo /etc/init.d/apt-cacher restart
Вуаля. Все готово к работе.

НА ДЕСКТОПНОЙ МАШИНЕ:

Теперь вносим наш репозиторий в sources.list десктопной машинки:
$ sudo vim /etc/apt/sources.list

Недавно наткнулся на утилиту reprepro . Она помогает создавать локальный репозиторий deb-based дистрибутивов. Тут та меня осенило. Я давно собираю пакеты которых нет в официальных архивах потому каждый раз прогибаться по ним и устанавливать стало в падлу и я решил создать раздел с хранящимися там репозиториями таких пакетов. Так что бы при смене системы просто под монтировать его и пользать по надобности. Вещь как мне кажется полезнее чем сохранять кеш из apt-get.


Кратко о reprepro
Необходимо создать директорию для репозитория. У меня выбор падает на /repository потому для работы нужны права суперпользователя. А в принцепе если права записи на этот каталог будут только у администратора то есть большая вероятность что никто посторонний не сможет навредить вашему "архиву"
# mkdir /repository
переходим туда:
Создаем папку /repository/conf/ для конфигурационных файлов
# mkdir /repository/conf

Создаем файл , добавляя нужные секции (подробнее об этом можно почитать в выводе команды man reprepro в разделе CONFIG FILES)
# mousepad /repository/conf/distributions
В оригинале текста объяснения автор предоставляет такой пример этого файла


Origin: Debian
Suite: testing
AlsoAcceptFor: unstable experimental
Codename: lenny
Version: 5.0
Architectures: i386 source
Components: main contrib non-free
UDebComponents: main contrib non-free
Description: my local repository
где:
Origin - Имя дистрибутива = Debian
Suite - ветка = testing
AlsoAcceptFor - позволяет "засовывать" в репозиторий тестинга пакеты для других веток = unstable experimental, если опция не указана, то будет ругаться вот так при попытке добавить пакеты из анстэбл/экспериментал веток.
Codename - кодовое имя ветки = lenny
Version - версия ветки = 5.0
Architectures - архитектуры, у меня x86 процессор, соответственно есть i386, также иногда закидываю в репозиторий исходники, поэтому есть source
Components - разделы ветки, куда можно поместить deb-пакеты, а также исходники = main contrib non-free (можно еще насоздавать, сколько угодно)
UDebComponents - разделы ветки, куда можно поместить udeb-пакеты (бывают и такие) = main contrib non-free (лучше, когда совпадают со строкой выше)
Description - краткое словесное описание репозитория = например, my local repository

Если каталог репозиторий не являеться текущим то в строке команды прописывают так называемую BASEDIR опции -b BASEDIR (в моем случае BASEDIR=/repository ).

После создания файла /repository/conf/distributions инициализацируем репозиторий
# reprepro export
# reprepro createsymlinks

Можно репозиторий заполнять пакетами. Для этого существует множество команд и опций, подробнее о которых можно узнать в man reprepro
Наиболее употребляемые

Добавление deb-пакета в репозиторий.
В общем виде выглядит так:
# reprepro -b BASEDIR -C РАЗДЕЛ includedeb ВЕТКА /путь/до/файла/имя_файла.deb
Как я и описывал раньше это пример добавления пакета не из каталога с репозиторием, а из произвольного каталога. Если вы находитесь в каталоге репозитория то команда выглядит так же но без -b BASEDIR
К примеру, для добавления пакета foo_1.0.deb , находящегося в папке /home/user/debian , в раздел main ветки lenny команда будет иметь следующий вид
# reprepro -b /repository -C main includedeb lenny /home/user/debian/foo_1.0.deb

Удаление deb-пакета из репозитория
Для удаления одного deb-пакета из указанной ветки репозитория нужно дать такую команду
# reprepro remove ветка имя_пакета

К примеру, для рассмотренного пакета foo_1.0.deb , находящегося в ветке lenny даем такую команду:
# reprepro remove lenny foo

Для использования репозитория нужно добавить его в файл /etc/apt/sources.list в виде следующей строки (в общем виде):
deb file:///путь_к_папке_репозитория/ ветка разделы

Что для нашего примера будет выглядеть так:
deb file:///repository/ lenny main contrib non-free

Это базовое что я считаю достаточно в моем случае. Статья оригинала находиться

Для того, чтоб можно было если вдруг что случится с системой Linux не скачивать программы заново, а установить из того что уже скачали.

Вот я и подумал, как бы сделать так чтоб эти самые скачанные программы мы могли бы устанавливать самым обычным образом при помощи команды apt-get ? Размышляя о этом я пришёл к мысли о том, а почему бы с этих самых пакетов не создать локальный репозиторий? Подумал, погуглил, взял главный инструмент системного администратора, админский бубен и начал делать.

Итак deb-пакеты у меня находятся там же где я их и оставил, до того как в качестве эксперимента переустановил систему, а именно в домашней директории в папке deb . У меня это /home/dante/deb , я описывал все это , у Вам же та директория куда Вы сохранили пакеты. Открываем терминал и переходим в папку с deb-пакетами. В моём случае в терминале команда выглядит так:

cd /home/dante/deb

Вы же должны ввести путь к своим deb-пакетам.
После того как Вы перешли в папку с сохранёнными deb-пакетами. Вводим следующую команду:

sudo apt-ftparchive packages ./ |gzip -9 > Packages.gz

Далее вводим пароль и ожидаем пока будет создан фаил Packages.gz
Теперь наш репозиторий практически задан, осталось его добавить в source.list . Обратно беремся за терминал. Открываем файл:

sudo nano /etc/apt/sources.list

У меня данный файл выглядит так:

deb file:///home/dante/deb ./
# deb cdrom:/ oneiric main restricted

# See http://help.ubuntu.com/community/UpgradeNotes for how to upgrade to
# newer versions of the distribution.
deb http://archive.ubuntu.com/ubuntu oneiric main restricted
deb-src http://archive.ubuntu.com/ubuntu oneiric restricted main multiverse universe #Added by software-properties

## Major bug fix updates produced after the final release of the
## distribution.
deb http://archive.ubuntu.com/ubuntu oneiric-updates main restricted
deb-src http://archive.ubuntu.com/ubuntu oneiric-updates restricted main multiverse universe #Added by software-properties


## team. Also, please note that software in universe WILL NOT receive any
## review or updates from the Ubuntu security team.
deb http://archive.ubuntu.com/ubuntu oneiric universe
deb http://archive.ubuntu.com/ubuntu oneiric-updates universe

## N.B. software from this repository is ENTIRELY UNSUPPORTED by the Ubuntu
## team, and may not be under a free licence. Please satisfy yourself as to
## your rights to use the software. Also, please note that software in
## multiverse WILL NOT receive any review or updates from the Ubuntu
## security team.
deb http://archive.ubuntu.com/ubuntu oneiric multiverse
deb http://archive.ubuntu.com/ubuntu oneiric-updates multiverse

## N.B. software from this repository may not have been tested as
## extensively as that contained in the main release, although it includes
## newer versions of some applications which may provide useful features.
## Also, please note that software in backports WILL NOT receive any review
## or updates from the Ubuntu security team.
deb http://archive.ubuntu.com/ubuntu oneiric-backports main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu oneiric-backports main restricted universe multiverse #Added by software-properties

deb http://archive.ubuntu.com/ubuntu oneiric-security main restricted
deb-src http://archive.ubuntu.com/ubuntu oneiric-security restricted main multiverse universe #Added by software-properties
deb http://archive.ubuntu.com/ubuntu oneiric-security universe
deb http://archive.ubuntu.com/ubuntu oneiric-security multiverse

## Uncomment the following two lines to add software from Canonical"s
## "partner" repository.
## This software is not part of Ubuntu, but is offered by Canonical and the
## respective vendors as a service to Ubuntu users.
deb http://archive.canonical.com/ubuntu oneiric partner
deb-src http://archive.canonical.com/ubuntu oneiric partner

## This software is not part of Ubuntu, but is offered by third-party
## developers who want to ship their latest software.
deb http://extras.ubuntu.com/ubuntu oneiric main
deb http://archive.ubuntu.com/ubuntu/ oneiric-proposed restricted main multiverse universe
deb-src http://archive.ubuntu.com/ubuntu/ oneiric-proposed restricted main multiverse universe
deb-src http://extras.ubuntu.com/ubuntu oneiric main

Для того чтобы добавить нашу папку с deb-пакетами в источники приложений нам необходимо добавить следующую строчку.

deb file:///home/dante/deb ./

Добавлять её лучше в самый верх файла, так как система сначала опрашивает те репозитории которые находятся в начале. Что я как Вы уже увидели я и сделал. У вас путь к папке может быть иной, только не забудьте в конце ./

Все репозиторий добавлен. Можете посмотреть на это в источнике приложений. Теперь Вам осталось лишь обновить списки пакетов. Сделать это можно в терминале при помощи команды:

sudo apt-get update

Вот теперь Мы можем устанавливать программы из своего репозитория который мы создали из сохранённых deb-пакетов. Это ещё и достаточно удобно если мы скачивали deb-пакеты на одном компьютере, а устанавливаем их на другой.

Вместо использования dpkg -i package_name.deb для установки, можно создать локальный репозиторий для пакетов, принесенных на флешке или другом носителе, а потом использовать synaptic/kynaptic (или apt-get install package_name).

1. Все действия лучше проводить как root

sudo su

2.Теперь установите пакет dpkg-dev. Он будет содержать утилиту dpkg-scanpackages, которая нам и нужна.

apt-get install dpkg-dev

3.Поместите все.deb пакеты в директорию например, /myrepo (причем не непосредственно в эту директорию, а в поддиректории, расположенные в этой директории)

4. Выполните

cd /myrepo dpkg-scanpackages . /dev/null | gzip -9c > Packages.gz

5. Теперь нужно внести новый репозиторий в /etc/apt/sources.list. Вставьте в /etc/apt/sources.list строчку (лучше вставить ближе к началу, т.к. apt-get (synaptic/kynaptic) ставит более высокий приоритет источнику, находящемуся раньше остальных)

deb file:/myrepo ./

6. Обновление списка репозиториев

apt-get update

Если изменится содержимое директории с пакетами, повторите шаги 1,4.

Для системных администраторов данная тема является чуть ли не первоочередной по важности. Ведь обычно любая организация, заботясь о безопасности и надёжности работы своих серверов и вообще сетей, разрабатывает и внедряет определённые политики безопасности. Которые, в свою очередь, предусматривают ограничения на доступ в открытый интернет для большинства клиентских машин из локальной сети. Однако и без этого никак нельзя, поскольку при их обслуживании необходимо проводить обновления программного обеспечения (ПО). Распространение этих обновлений при помощи сменных носителей очень неудобно, а при наличии большого числа компьютеров в обслуживаемой локальной сети практически невозможно. В данном случае, рациональным вариантом является организация локальных репозиториев пакетов, предварительно загруженных из Интернет. О двух основных подходах при решении данной задачи на примере систем Ubuntu будет далее изложено в данной статье.

Как работают репозитории пакетов в системах Linux?

Разработчики для поддержки своих дистрибутивов и комфортной работы пользователей снабжают (СУП) специальными ссылками. Они указывают на удалённые сервера, на которых хранятся самые актуальные и протестированные разработчиками пакеты ПО для данного дистрибутива. Благодаря этим ссылкам СУП «знает» когда и откуда загрузить и установить обновления пакетов. Эти ссылки могут указывать как на удалённый ресурс, так и на локальный. Во втором случае это может быть как другой компьютер в локальной сети, так и локальный накопитель и/или даже, если постараться - оптический привод.

Deb http://ru.archive.ubuntu.com/ubuntu/ bionic universe

Это и есть один из системных репозиториев, включенный в дистрибутив изначально. Существуют также репозитории, организованные отдельными проверенными пользователями, например:

Deb https://repos.codelite.org/ubuntu/ bionic universe

Это репозиторий, созданный разработчиком среды разработки CodeLite, специально для Ubuntu. И эта ссылка была добавлена в файл sources.list уже вручную самим пользователем-администратором компьютера. После чего становится возможной автоматическая установка актуальных и стабильных версий пакетов CodeLite, а также их обновление. А вот так может выглядеть ссылка на репозиторий, хранимый на оптическом носителе:

Deb cdrom:/ bionic main multiverse restricted universe

Как видно, ключевым словом, определяющим протокол доступа является значение, следующее после «deb». Для оптического носителя это «cdrom», а для доступа по сети - «https».
Получается, что источники репозиториев можно дополнять по собственному усмотрению, предварительно организовав соответствующим образом хранилище пакетов.

Использование прокси для организации локального репозитория

Данный метод подразумевает доступ к репозиториям через кеш на прокси-компьютере, который имеет прямое подключение в Интернет. Механизм работы такого локального репозитория заключается в следующем:

  • на какой-либо клиентской машине в обычном порядке запрашивается какой-либо пакет для установки/обновления через компьютер-сервер;
  • запрошенный пакет скачивается сервером, сохраняется в специально отведённом хранилище-кеше и далее становится доступным всем остальным клиентам;
  • в качестве распространителя пакетов клиентам выступает веб-сервер Apache, поэтому его установка обязательна.

Итак, для начала необходимо установить всё необходимое, т. е. веб-сервер и саму утилиту кеширования пакетов:

$ sudo apt-get install apache2 apt-cacher

При установке apt-cacher будет показан диалог настройки, в котором можно настроить нужное поведение утилиты, например задать автозапуск и работу в режиме демона. Также эти и некоторые другие важные настройки можно сделать (например с помощью редактора ) в конфигурационном файле /etc/default/apt-cacher . Для включения автозапуска apt-cacher нужно установить параметр AUTOSTART в значение «1»:

$ sudo nano /etc/default/apt-cacher . . . # Set to 1 to run apt-cacher as a standalone daemon, set to 0 if you are going # to run apt-cacher from /etc/inetd or in CGI mode (deprecated). Alternatively, # invoking "dpkg-reconfigure apt-cacher" should do the work for you. # AUTOSTART=1 . . .

$ sudo nano /etc/apt-cacher/apt-cacher.conf . . . ## Uncomment and set the IP range ## allowed_hosts = 192.168.1.105 - 192.168.1.125 #denied_hosts = . . .

Как можно видеть, просто указывается диапазон нужных IP-адресов. После сохранения сделанных настроек необходимо перезапустить веб-сервер Apache:

$ sudo service apache2 restart

$ sudo systemctl restart apache2

Теперь необходимо указать клиентам, куда им нужно обращаться для установки пакетов и обновлений. Для этого на клиентских машинах нужно создать файл /etc/apt/apt.conf.d/01proxy с помощью того же редактора nano:

$ sudo nano /etc/apt/apt.conf.d/01proxy

И добавить в него строку со следующей инструкцией:

Acquire::http::Proxy "http://192.168.1.100:3142";

Здесь в качестве адреса сервера, на котором установлен и работает apt-cacher указывается 192.168.1.100. Конечно, это может быть любой другой адрес, настроенный для этого сервера.

Теперь можно проверить работу локального репозитория (а точнее удалённого, но доступного через прокси), выполнив команду обновления данных о доступных пакетах:

$ sudo apt-get update

APT-MIRROR – полноценный локальный репозиторий

Данный способ является более «продвинутым» по сравнению с использованием apt-cache. Поскольку предполагает наличие полноценного хранилища пакетов прямо на локальном компьютере/сервере или в локальной сети. Но сначала такое хранилище необходимо создать, загрузив в него все необходимые пакеты. Как и в случае с apt-cache , в качестве распространителя пакетов выступает веб-сервер . Порядок настройки локального репозитория при помощи утилиты apt-mirror следующий:

  1. установка необходимых пакетов: apt-mirror и apache2;
  2. создание локального хранилища и настройка источников для загрузки, загрузка пакетов в хранилище;
  3. открытие доступа к готовому хранилищу для клиентов;
  4. настройка клиентов для использования локального репозитория.

Итак, установка необходимых утилит и пакетов:

$ sudo apt-get install apache2 apt-mirror

$ sudo mkdir /localrepo

Теперь в конфигурационном файле /etc/apt/mirror.list нужно отредактировать строку с инструкцией «set base_path». Указав в ней только что созданный каталог для хранилища:

$ sudo nano /etc/apt/mirror.list ############ config ################## # set base_path /localrepo

Далее, в этом же файле можно добавить необходимые репозитории, с которых будут загружены пакеты. Можно скопировать все стандартный репозитории из /etc/apt/sources.list .
Сохранив настройки можно запустить загрузку пакетов командой:

$ sudo apt-mirror

Это может занять длительное время, в зависимости от скорости соединения с Интернет. Данную команду очень полезно добавить в список регулярных процедур , чтобы локальный репозиторий обновлялся автоматически.

После того, как локальный репозиторий будет полностью загружен, его содержимое должно быть примерно следующим:

$ ls /localmirror mirror skel var

Для последующего удобства настройки клиентов полезно создать на хранилище, которое содержится в каталоге mirror:

$ cd /localrepo $ sudo ln -s /localrepo/mirror/us.archive.ubuntu.com/ubuntu/ ubuntu

Теперь ссылка ubuntu будет использоваться для задания репозиториев на стороне клиентов с помощью редатирования файла /etc/apt/sources.list:
Открыв этот файл (с использованием команды ) с помощью редактора nano, нужно теперь добавить в него следующие репозитории:

Deb http://192.168.1.100/ubuntu trusty universe deb http://192.168.1.100/ubuntu trusty main restricted deb http://192.168.1.100/ubuntu trusty-updates main restricted . . .

Здесь адрес 192.168.1.100 - это IP-адрес компьютера, на котором был создан и настроен локальный репозиторий.
Теперь, для работы с пакетами можно использовать обычные команды apt:

$ sudo apt-get update $ sudo apt-get install имя_пакета

Заключение

В заключение следует напомнить, что способы организации локальных репозиториев, описанные выше подходят для систем на базе формата debian-пакетов. Для систем, основанных на RPM следует использовать другие инструменты.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter .



 


Читайте:



Перенос текста на новую строку в одной ячейке в Excel

Перенос текста на новую строку в одной ячейке в Excel

Большинство настроек Microsoft Excel задаются по умолчанию, среди них ограничение: одна ячейка – одна строка. Но бывает множество случаев, когда в...

Описание услуги «Локатор» от МТС Услуга локатор мтс подключить без согласия

Описание услуги «Локатор» от МТС Услуга локатор мтс подключить без согласия

Сейчас мы познакомимся с услугой "МТС Локатор". Данная возможность интересует очень многих абонентов. Ведь она позволяет отслеживать местоположение...

Несколько вариантов выключения компьютера под управлением Windows8

Несколько вариантов выключения компьютера под управлением Windows8

Каким бы простым с виду ни казался вопрос, как полностью выключить ноутбук на базе ОС Windows 8, ответить на него удается далеко не всем...

Microsoft.NET Framework. Что это? Где скачать все версии, как узнать какая версия установлена? Способы удаления Microsoft.NET Framework Восстановление работоспособности платформы

Microsoft.NET Framework. Что это? Где скачать все версии, как узнать какая версия установлена? Способы удаления Microsoft.NET Framework Восстановление работоспособности платформы

Во всех версиях операционной системы Windows установлена программа.NET Framework. Она очень важна, стирать её можно только в некоторых случаях. При...

feed-image RSS