Hasher Опции Поделиться

[ИВК]

Вопрос к более опытным пользователям хэшера : вы его рабочий каталог обычно создаёте в tmpfs или на винчестере? В каких условиях уместен какой-то из этих вариантов?

[Drool]

Вопрос к более опытным пользователям хэшера : вы его рабочий каталог обычно создаёте в tmpfs или на винчестере? В каких условиях уместен какой-то из этих вариантов?

Код

# du -sh ./hasher-w
2.5G    ./hasher-w

При наличии достаточного объема ОЗУ, способного безболезненно вместить хашер и чтоб еще осталось для безпроблемной работы системы - имеет смысл разместить каталог хашера в ОЗУ, т.к. это весьма заметно ускоряет работу.

[ИВК]

hsh --init с параметром -v болтает вроде бы обо всём, что делает.... но, оказывается, не совсем. Когда он останавливается на

Код

hsh-initroot: calculated package file list.
hsh-initroot: Generated initial package file list.

то начинающий, который ещё не знает, что к чему, должен лезть в хашерницу и глядеть, что куда там добавляется - лишь тогда становится ясно, что hsh в это время качает пакеты из инета в свой кэш. Он же не говорит : качаю, подождите Ну да, я понимаю, что проблема проявляется лишь в нестандартной ситуации, когда на компе нет зеркала и инет медленный, и тем не менее заполнение кэша - достаточно важный этап, о нём в логе должно говориться как-то более вразумительно

[Drool]

hsh --init с параметром -v болтает вроде бы обо всём, что делает.... но, оказывается, не совсем. Когда он останавливается на

Код

hsh-initroot: calculated package file list.
hsh-initroot: Generated initial package file list.

то начинающий, который ещё не знает, что к чему, должен лезть в хашерницу и глядеть, что куда там добавляется - лишь тогда становится ясно, что hsh в это время качает пакеты из инета в свой кэш. Он же не говорит : качаю, подождите Ну да, я понимаю, что проблема проявляется лишь в нестандартной ситуации, когда на компе нет зеркала и инет медленный, и тем не менее заполнение кэша - достаточно важный этап, о нём в логе должно говориться как-то более вразумительно

Ну, можно и фичреквест на хашер повесить.

[ИВК]

Ну, можно и фичреквест на хашер повесить.

Скажут : пока нет на компе зеркала - нечего и хашерницами всякими заниматься

[Drool]

Не факт.

[ИВК]

Повесил

[ИВК]

Интересно, можно ли как-то без помощи рута (настоящего, имею в виду, не хешерного) прервать сборку в хешере (на любом этапе)?

[Drool]

Прибить процесс хашера? Что-то типа killall -9 hsh или как-то так, нужно посмотреть по процессам в этот момент.

[ИВК]

Там примерно вот что получается. Пока создаётся сборочная среда, то прихлопнуть это дело с помощью

Код

killall -9 hsh-install

всё-таки можно. Но когда уже пошла сама сборка, то

Код

killall -9 hsh
killall -9 hsh-rebuild

ничего не дают.

Код

ps ax | grep hsh

уже ничего не показывает, а сборка всё равно идёт. То есть жители хашерницы, похоже, получили srpm и дальше им уже по барабану hsh. Пробую сам залезть в хашерницу в качестве тамошнего рута и там что-то сделать - не получается (команда зависает). Но, оказывается, если дать команды

Код

hsh-shell <каталог хашера> (хоть с --rooter хоть без)
killall -9 hsh

вместе (неважно, какую раньше), то сборка сразу прерывается с сообщением типа

Код

hsh-rebuild: rebuild of `branding-tester-linux-0.1-alt0.1.src.rpm' failed

Вход в чрут при этом успешно осуществляется, только это уже не нужно
Короче, у меня получается прервать сборку лишь таким варварским образом. А как более правильно - информации не нашёл и сам придумать не могу

[Drool]

Нужно смотреть, какие процессы крутятся при сборке.

[ИВК]

Нужно смотреть, какие процессы крутятся при сборке.

Точно.

Код

killall hsh hsh-install hasher-priv

убивает вроде с гарантией
Хотя всё равно это варварство.

[gostsdmitry]

Перемещено из темы "Возрождение клуба"

Ну и ещё один вопрос: Хэшер перед работой с Альтовыми репами очистить, или необязательно? А то у меня в нём куча собранных пакетов и исходников сейчас.

[dango_]

Перемещено из темы "Возрождение клуба"

Ну и ещё один вопрос: Хэшер перед работой с Альтовыми репами очистить, или необязательно? А то у меня в нём куча собранных пакетов и исходников сейчас.

хэшеру можно параметрами сказать, что откуда брать, подо что собирать, где собирать и куда класть.
Один из моих скриптов:

Код

#!/bin/bash
#---------------------------------------------
# name: bp-cp10-64.sh
# desc: script for building packages in hasher
#---------------------------------------------
# input variable
tmppath="/tmp/.private/$USER/hasher"
targetpath="$HOME/works/hasher/club_p10_64"
aptconf="$targetpath/apt/apt.conf"
repopath="$targetpath/repo"
hashpath="$tmppath"
platf="x86_64"
echo "starting..."
echo $(date +"%m.%d.%Y %T")
# creating hasher catalog
if [ -d "$tmppath" ]
then
  rm -Rf "$tmppath" &>/dev/null
fi
mkdir "$tmppath"
# creating logs catalog
logpath="$targetpath/log/"
if ! [ -d "$logpath" ]
then
  mkdir "$logpath"
fi
echo "build preparing...ok"
# cycle for files
for file in $@
do
  logname="$(basename $file)"
  logfile="$logpath$logname.log"
  hsh --apt-conf="$aptconf" --no-sisyphus-check --target="$platf" --repo="$repopath" "$hashpath" $file &> $logfile
  echo "building $logname...ok"
  if grep "failed" "$logfile"
  then
    mv $logfile $logpath"1"_$logname.log
    echo "creating $logname.log...attention"
  else
    echo "creating $logname.log...ok"
  fi
done
rm -Rf "$repopath/$platf/RPMS.hasher/"*debuginfo* &>/dev/null
echo "ending..."
echo $(date +"%m.%d.%Y %T")

Скрипт запускать с параметром: /путь_к_каталогу_с_исходниками/*.src.rpm (список файлов)
В apt.conf можно указать как локальные репы, так и сетевые.

Сообщение отредактировал dango_ - 22.9.2023, 21:13

[gostsdmitry]

хэшеру можно параметрами сказать, что откуда брать, подо что собирать, где собирать и куда класть.

Просто, не будет ли конфликтов при подключении и зеркалировании реп? Ведь в Хэшере у меня может быть одна пакетная база, а в репах и их зеркалах - совсем другая... Вот этот момент интересует.
За скрипт - благодарствую!

Сообщение отредактировал gostsdmitry - 22.9.2023, 21:16

[dango_]

Просто, не будет ли конфликтов при подключении и зеркалировании реп? Ведь в Хэшере у меня может быть одна пакетная база, а в репах и их зеркалах - совсем другая... Вот этот момент интересует.
За скрипт - благодарствую!

tmppath="/tmp/.private/$USER/hasher" (где собираем, здесь: tmpfs)
hashpath="$tmppath" (дублер "где собираем" для самого хэшера)
targetpath="$HOME/works/hasher/club_p10_64" (куда класть, здесь нужный каталог для данной сборки)
repopath="$targetpath/repo" (а это уточнение "куда класть" для самой репы с пакетами)
aptconf="$targetpath/apt/apt.conf" (конфиг определения источников пакетов для создания сборочного окружения)
platf="x86_64" (собственно платформа сборки)

Это ~/works/hasher/club_p10_64//apt/apt.conf:

Код

Dir::Etc::main "/dev/null";
Dir::Etc::parts "/var/empty";
Dir::Etc::SourceParts "/var/empty";
Dir::Etc::SourceList "/home/user/works/hasher/club_p10_64/apt/sources.list";

Это ~/works/hasher/club_p10_64//apt/sources.list:

Код

rpm file:/mnt/data/ALTLinux p10/branch/x86_64 classic
rpm file:/mnt/data/ALTLinux p10/branch/noarch classic
rpm file:/mnt/data/club/Repo_P10 x86_64 hasher

В данном случае, для сборочного окружения используется локальные зеркало альтовского p10 x86_64 и клубной репы p10 x86_64.
Короче, можно сделать сборку так как ты хочешь, не смешивая результаты.
P.S. Скрипт не дописан. Руки никак не доходили. В планах была оптимизация, автозамена старых версий пакетов новыми собранными, индексация реп и заливка на сайт.

Сообщение отредактировал dango_ - 23.9.2023, 7:18

[gostsdmitry]

Приветствую!
Вопрос к Дану: как настроить Хэшер так, чтобы на нём производилась сборка для отличной от системы архитектуры, т.е. у меня x86_64, а нужно собрать пакет(ы) для i686 (32 бита) или сразу для обеих архитектур?
Возможно, где-то это указано, но я не прочитал или не понял...
Спасибо!

[dango_]

Приветствую!
Вопрос к Дану: как настроить Хэшер так, чтобы на нём производилась сборка для отличной от системы архитектуры, т.е. у меня x86_64, а нужно собрать пакет(ы) для i686 (32 бита) или сразу для обеих архитектур?
Возможно, где-то это указано, но я не прочитал или не понял...
Спасибо!

Привет!
Посмотри в моем скрипте:

platf="x86_64"

Для 32бита указать:

Код

platf="i686"

И не забыть про:

aptconf="$targetpath/apt/apt.conf"

Для сборки 64бит и 32бит я пускал связку соответствующих скриптов.
Ничто не мешает организовать в одном скрипте цикл по списку платформ с соответствующими параметрами.

Сообщение отредактировал dango_ - 11.12.2023, 20:16

[gostsdmitry]

Ага! Вот он что!
Спасибо!
Просто я твой скрипт ещё ни разу не применял. Для 64-бит. хватает того, что Иван составил.

[dango_]

Без проблем. Спрашивай, если что.

[gostsdmitry]

Вот такая проблема вылезла сегодня при попытке собрать пакет:

Код

$ hsh --no-sisyphus-check kernel-manager-1.11-alt2.src.rpm
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе

Сообщение отредактировал gostsdmitry - 11.7.2024, 18:44

[dango_]

Вот такая проблема вылезла сегодня при попытке собрать пакет:

Код

$ hsh --no-sisyphus-check kernel-manager-1.11-alt2.src.rpm
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе
/usr/bin/hsh-sh-functions: строка 527: lockf: Failed to open file /etc/hasher-priv/user.d/using: Отказано в доступе

Не сталкивался. Хотя на что-то похоже. Но с моей памятью что-то стало. И сильно.
Да еще и проверить не на чем стало.
Спроси на альтовском форуме. Или напиши Антону.
Я

[gostsdmitry]

Но с моей памятью что-то стало. И сильно.