Структура клубных репозиторий Опции Поделиться

[dango_]

За последнее время в клубе уже неоднократно поднимался вопрос о структуре клубных репозиторий.
Поэтому открываю эту тему для обсуждений и конкретных предложений.
На текущий момент репозитории club-p7 и club-sisyphus имеют следующую структуру
repo
|__ i686 __ base (RPMS и SRPMS)
|.........|___ RPMS.hasher (включая пакеты debuginfo)
|__ SRPMS.hasher (i686)
|__ x86_64__ base (RPMS)
..........|___ RPMS.hasher (включая пакеты debuginfo)

Какие есть мнения на этот счет?

Сообщение отредактировал dango_ - 23.10.2015, 19:23

[kostyalamer]

Мое мнение то что выходит в хашере то и оставить ( а в хашере как раз эта структура и выходит ) , лишняя работа совершенно не прельщает
Заодно, давай и структуру индексных файлов пообсуждаем.
PS Если кому-то сильно не нравятся дебаги, то готов обсудить при наличии соответствующих ключей хашера, разные самописные костыли не интересуют ( хватит с нас моего самописного genbasedir - ного костылика без которого действительно никак )

Сообщение отредактировал kostyalamer - 23.10.2015, 20:16

[dango_]

Заодно, давай и структуру индексных файлов пообсуждаем.

1) src-хи отдельным индексом
2) дебаги как сейчас у тебя сделано в конце индекса для rpm-ов
3) отдельный индекс для выкачивания репы ( без src-х , но с каталогом base )
Это черновые наброски, давай свои идеи .

Ну вот такой вариант
Для широкого круга:
1. Список RPM i686 (без debuginfo)
2. Список RPM x86_64 (без debuginfo)
Для специалистов:
1. Список RPM i686 (только debuginfo)
2. Список RPM x86_64 (только debuginfo)
3. Список SRPM
4. Список файлов для зеркал и локальных репозиториев

[Balbes]

ИМХО дебаги вообще не нужны в клубных репах (тратить на них место и время), тем кому приспичит что-то отлаживать , сможет и сам из исходников собрать дебаг вариант, поэтому можно использовать варианты :
- сразу собирать в хашере без дебаг пакетов , если не путаю, есть пара макросов которые отключают сборку дебагов (кстати, это уменьшит и время и место для сборки)
- второй вариант - самый простой , добавить в скриптик генерации индексов предкоманду зачистки от дебагов., а потом уже генерить индексы


п.с. Решайте как считаете нужным.

[kostyalamer]

- сразу собирать в хашере без дебаг пакетов , если не путаю, есть пара макросов которые отключают сборку дебагов (кстати, это уменьшит и время и место для сборки)
- второй вариант - самый простой , добавить в скриптик генерации индексов предкоманду зачистки от дебагов., а потом уже генерить индексы


п.с. Решайте как считаете нужным.

Костыль из второго варианта нафиг , а вот макросы давай если этот вариант прокатит то можно попытать имеющихся у нас в клубе тимовцев , что они думают по дебажному вопросу

[kostyalamer]

Ну вот такой вариант
Для широкого круга:
1. Список RPM i686 (без debuginfo)
2. Список RPM x86_64 (без debuginfo)
Для специалистов:
1. Список RPM i686 (только debuginfo)
2. Список RPM x86_64 (только debuginfo)
3. Список SRPM
4. Список файлов для зеркал и локальных репозиториев

Для старых реп ( 4, 5, 6 ) ввиду их архивности предлогаю такую упрощенную структуру:
1) RPM i686 и SRPM одним файлом
2) Индекс на выкачивание всей репы wget-ом (без src-х , зачем тащить лишнее )
Для новых реп согласен с тобой .
PS сервак уже сам генерит индексные файлы ( п1 ) -роботизация наступает
Думаю для старых бранчей одного раза в сутки хватит

Сообщение отредактировал kostyalamer - 23.10.2015, 21:16

[dango_]

Костыль из второго варианта нафиг , а вот макросы давай если этот вариант прокатит то можно попытать имеющихся у нас в клубе тимовцев , что они думают по дебажному вопросу

Короче, ждем, кто еще выскажется по вопросу "Оствлять debuginfo в клубных репах или нет?

Для старых реп ( 4, 5, 6 ) ввиду их архивности предлогаю такую упрощенную структуру:
1) RPM i686 и SRPM одним файлом
2) Индекс на выкачивание всей репы wget-ом (без src-х , зачем тащить лишнее )
Для новых реп согласен с тобой .
PS сервак уже сам генерит индексные файлы ( п1 ) -роботизация наступает
Думаю для старых бранчей одного раза в сутки хватит

Ок. А если за debuginfo никто не проголосует, то для специалистов останется
3. Список SRPM
4. Список файлов для зеркал и локальных репозиториев


Сообщение отредактировал dango_ - 23.10.2015, 22:01

[kostyalamer]

Короче, ждем, кто еще выскажется по вопросу "Оствлять debuginfo в клубных репах или нет?

Ок. А если за debuginfo никто не проголосует, то для специалистов останется
3. Список SRPM
4. Список файлов для зеркал и локальных репозиториев

Не совсем так, если мне объяснят какими ключами хашера можно собирать пакеты без дебагов и если умудренные опытом люди скажут что они нам нафиг не нужны - то мы их выкинем штатными средствами . Из старых реп я могу их выбросить прямо сейчас ( если они там вообще есть ) опять-таки если наши тимовцы эту тему здесь обсудят

PS пока я тут флужу уже и 5-ая репка просамоиндексировалась
Жалко на серваке не Альт, а то можно было бы совсем интересно почудить

Сообщение отредактировал kostyalamer - 23.10.2015, 22:14

[Дмитрий Ханжин]

Не совсем так, если мне объяснят какими ключами хашера можно собирать пакеты без дебагов и если умудренные опытом люди скажут что они нам нафиг не нужны - то мы их выкинем штатными средствами . Из старых реп я могу их выбросить прямо сейчас ( если они там вообще есть ) опять-таки если наши тимовцы эту тему здесь обсудят

Нет таких ключей, есть только макросы.
Надо вспомнить, как применить макрос без вписывания в спек, ибо лениво.

[dango_]

У меня хэшер запускается из скриптов с нужными ключами в заданные сборочницы. Дописать в эти скрипты rm пакетов debuginfo не составит труда. Жду решения товарищей по клубу.
По теме структуры клубных репозиторий предлагаю обсудить (исправил "осудить" Х-) ) следующую схему:
|__ i686 __ base (RPMS)
|.........|___ RPMS
|__ SRPMS __ base (SRPMS)
|.........|___ SRPMS
|__ x86_64__ base (RPMS)
..........|___ RPMS
Суть: каждая ветка со своим base.
Вопрос знатокам: Есть ли принципиальная разница между SRPMS, собранными на i686 и x86_64?

[kostyalamer]

Дан, а в чем смысл |__ SRPMS __ base (SRPMS) ?

[dango_]

Дан, а в чем смысл |__ SRPMS __ base (SRPMS) ?

Смысл вынести индексы SRPMS в отдельный base.
Для подключения по необходимости.

[kostyalamer]

Смысл вынести индексы SRPMS в отдельный base.
Для подключения по необходимости.

Или я чего-то не понимаю или одно из двух
Куда ты их подключать собрался ?

[Дмитрий Ханжин]

Нет таких ключей, есть только макросы.
Надо вспомнить, как применить макрос без вписывания в спек, ибо лениво.

Значтак, надо добавить в команду сборки

Код

--build-args="--define '_debuginfo_skiplist %prefix/*'"

Внимание, два вида кавычек.

[dango_]

Или я чего-то не понимаю или одно из двух
Куда ты их подключать собрался ?

Чтобы, по-умолчанию, пользователем подключался только RPMS.
Зачем ему SRPMS?

[Дмитрий Ханжин]

Смысл вынести индексы SRPMS в отдельный base.
Для подключения по необходимости.

Крайний раз я видел, как apt-get'ом качать сырцы, в документации к M2.4.
Что касается структуры, либо не менять то, что даёт hasher, и оставить два base,
либо посмотреть на Sisyphus, и сделать один base на всех.
Я склоняюсь к первому.

[Дмитрий Ханжин]

Вопрос знатокам: Есть ли принципиальная разница между SRPMS, собранными на i686 и x86_64?

Нет. Они идентичны.

[kostyalamer]

Значтак, надо добавить в команду сборки

Код

--build-args="--define '_debuginfo_skiplist %prefix/*'"

Внимание, два вида кавычек.

Спасибо, Дмитрий !
В результате мужики мы можем вынести дебаги из репы штатным путем.
Нужно ли это делать или нет, какие мнения ?
PS Дан если тебе больше нравится твоя структура для Сизифной репы , то делай ее.
Ты все равно ответственный по этой репе - тебе и карты в руки.
Для 7-ой репы мне она не нравится - лишняя работа , а я довольно ленив

[dango_]

Спасибо, Дмитрий !
В результате мужики мы можем вынести дебаги из репы штатным путем.
Нужно ли это делать или нет, какие мнения ?
PS Дан если тебе больше нравится твоя структура для Сизифной репы , то делай ее.
Ты все равно ответственный по этой репе - тебе и карты в руки.
Для 7-ой репы мне она не нравится - лишняя работа , а я довольно ленив

Костя, мое предложение также вынесено на обсуждение.
Если в нем никто не увидит никакого профита, то соответственно все останется так как есть.

[Balbes]

Может исходники просто, как в хашере, держать в отдельном каталоге и без индексов, а на страницу с описанием, где и как подключать клубные репы, добавить отдельную ссылку на файл-индекс для скачивания исходников ? А то без дополнительного пинка не сообразишь, что ссылки на исходники в той же репе, но в низу.

[dango_]

Может исходники просто, как в хашере, держать в отдельном каталоге и без индексов, а на страницу с описанием, где и как подключать клубные репы, добавить отдельную ссылку на файл-индекс для скачивания исходников ? А то без дополнительного пинка не сообразишь, что ссылки на исходники в той же репе, но в низу.

Возможно, так даже и лучше будет.
Принцип простой. Чтобы было удобно и просто как для обычных пользователей, так и для разработчиков.

[kostyalamer]

Может исходники просто, как в хашере, держать в отдельном каталоге и без индексов, а на страницу с описанием, где и как подключать клубные репы, добавить отдельную ссылку на файл-индекс для скачивания исходников ? А то без дополнительного пинка не сообразишь, что ссылки на исходники в той же репе, но в низу.

Наверное на этом и остановимся , остался один вопрос - что делать с дебагами ?
Выбрасываем мы их или оставляем , высказывайте мнения

Сообщение отредактировал kostyalamer - 26.10.2015, 22:12

[Balbes]

Наверное на этом и остановимся , остался один вопрос - что делать с дебагами ?
Выбрасываем мы их или оставляем , высказывайте мнения

Мне наверное можно не высказываться, и так известно, что я за - " выбросила в пропасть ... " (с)
Пользователей наших пакетов из клубной репы не много, т.ч. если у кого-то возникунт проблемы, отпишется на форуме и можно будет оперативно разобрать причину или собрать специально для отладки нужную версию, а уж установить одиночные файлы, теперь не проблема, любой с может.

[dango_]

Приходим к консенсусу?
1. RPM i686 и x86_64 оставить со своими base и индекс-файлами
2. SRPMS оставить в своем каталоге, но не индексировать в base, а индекс-файл отдельный
3. Пакеты debuginfo выкинуть в пропасть

[kostyalamer]

Думаю пришли, структуру оставляем как есть - дебаги выбрасываем. Правда я их выкину только из 7-мой 32-разрядной репы ,
лезть в более древние репы ввиду их практической мертвости - лень. Делаем отдельные индексаторы для пакетов и src-х, а заодно отдельный индексатор для каталога base. Всей этой лабудой в первую очередь и займусь , потом надо добить с Иваном
ДистроКреатор, после чего активно подключимся к CoderLive

[Balbes]

Сильно не пинайте, если ляпну глупость ...

Интересно, а какой размер получается у файлов архивов, если в них полностью упаковать по отдельности каждую репу ?

Repo 4
Repo p5/t5
Repo p6/t6

т.е. что-бы после распаковки из такого файла, сразу получить всю нужную структуру репы для локального использования, что-бы кроме прописывания в sources.list больше ни чего не требовалось..

Кстати, а можно ли сборать такой пакет, который будет тупо распаковывать архив с репой в заранее заданный каталог (например /var/ftp/ALTLinux/club/repo_* ) и будет прописывать эту репу в sources.list ?
Т.е. скачал пакет, установил, и сразу получил подключенную как надо локальную репу.
Эт я уже мечтаю, как-бы по проще прикрутить в будущем к сборочницам возможность простейшего получения и подключения клубных реп или специфичных реп для сборки конкреных дистров.
Например, собрал дистр того же ДистроКреатора, в состав образа которого включен такой пакет-репа (с нужными для его самосборки пакетами, которых нет в общих сетевых оф.репах), пользователь скачал образ, залил его на флэшку, запустил его на ПК и получил сразу всю нужную инфраструктуру, в том числе подключенную локальную репу с нужными пакетами, а по мере появления в сетевых клубных репах новых версий такого пакета-репы будет очень просто обновляться на свежую, просто скачал, установил и получил сразу свежую локальную репу.

Сообщение отредактировал Balbes - 28.10.2015, 10:52

[kostyalamer]

Сильно не пинайте, если ляпну глупость ...

Пинать не буду но есть способ на порядок проще и разумнее, просто мужики либо вы сильно торопитесь , либо у меня мало свободного времени. В выходные все будет по крайней мере для сизифа и 7-мой репы.

[kostyalamer]

Ну вот для начала: кто хотел качать репы - качайте , кто хотел написать скрипт - пишите, кто хотел сделать пакет - делайте
Подсказка wget -i адрес ссылки в текущем каталоге репы , перемещение по каталогам или их первоначальное создание на совести вашего скрипта ( мне пока другой работы хватает, если никто не сделает сделаю сам но не скоро )
Пока только 32 -битная 7-репа но в перспективе всё будет сделано также:
http://www.altlinuxclub.ru/repo/repo_p7.html
http://www.altlinuxclub.ru/repo/repo_p7_base.html
А это src-хи - до кучи : http://www.altlinuxclub.ru/repo/repo_p7_src.html
На сайте еще ничего не обновлял - в выходные.
PS повесил всю эту радость на cron сервака, теперь эти индексные файлы автоматически обновляются 2 раза в сутки .

Сообщение отредактировал kostyalamer - 29.10.2015, 0:07

[dango_]

PS повесил всю эту радость на cron сервака, теперь эти индексные файлы автоматически обновляются 2 раза в сутки .

Костя, а если дату время индексирования в шапку индекс-файла добавить? ИМХО, лишним не будет.

[kostyalamer]

Костя, а если дату время индексирования в шапку индекс-файла добавить? ИМХО, лишним не будет.

Дан, это наверное лишнее, скрипты то у нас запускаются по cron-у , дата будет меняться например 2 раза в сутки.
Но ничего страшного в этом нет, wget штука умная будет тянуть только изменившиеся или новые файлы