Перейти к содержимому

Фотография
- - - - -

Применение распределенных вычислений в Астрономии

Наука

  • Авторизуйтесь для ответа в теме
Сообщений в теме: 3

#1 4cvaqwlkk

4cvaqwlkk

    Новичок

    • Городтюмень
    • Имя:4cvaqwlkk
    • Сфера деятельности:Образование и наука
  • Зарегистрирован
  • Pip
  • 7 сообщений

Отправлено 10 Январь 2020 - 16:09

Применение распределенных вычислений в Астрономии

 

В настоящее время астрономия активно развивается не только благодаря использованию
прямых наблюдений в разных диапазонах электромагнитного спектра. Многие объекты и процессы непосредственно зафиксировать бывает довольно затруднительно. Поэтому используются различные методы косвенного обнаружения и
исследования на основании имеющихся данных. И тут без анализа больших объёмов информации не обойтись. В таких случаях на помощь приходят
распределённые вычисления, суть которых состоит в том, что объёмная вычислительная задача делится на множество небольших заданий, которые раздаются на компьютеры пользователей через интернет, вычисления производятся локально, после
чего готовые результаты отправляются обратно на сервер научного центра.
История применения распределённых вычислений в области астрономии начинается с 17
мая 1999 года, когда был запущен знаменитый проект SETI@Home, который занимается поиском сигналов внеземных цивилизаций. Основатели
проекта – Д. Геди и К. Кэснов из лаборатории космических исследований Калифорнийского университета в Беркли. На радиотелескопе
обсерватории Аресибо (Пуэрто-Рико) записывается космический шум. Любой пользователь, подключенный к сети интернет, может установить на
свой компьютер программу-клиент для проекта SETI@Home. Эта программа скачивает через интернет с серверов проекта небольшую порцию данных, записанных с радиотелескопа, и в течение нескольких часов обрабатывает их. Обработка
заключается в попытке выделить из космического (и техногенного) шума сигналы, возможно принадлежащие внеземным цивилизациям.
Следующим большим шагом в истории развития распределённых вычислений стал момент, когда разработчики из того же самого университета
Беркли решили создать для своего проекта SETI@Home программную платформу BOINC. А после появления универсальной версии этой платформы, вслед за SETI@Home на её основе возникло множество проектов распределённых вычислений из различных областей науки. Да и сам проект SETI@Home за несколько лет значительно
видоизменился. Постоянно совершенствуется и оптимизируется счётный модуль. Основная работа по совершенствованию счётного модуля велась в направлении, чтобы счётный модуль смог игнорировать помехи и сигналы земного происхождения.

 

В 2008 году помимо основного приложения, которое анализирует данные в диапазоне частоты 1420 МГц, было запущено ещё и новое, дополнительное приложение Astropulse, которое в рамках этого же проекта изучает данные в значительно более широком диапазоне частот. До середины 2011 года проект SETI@Home анализировал данные, просто записанные радиотелескопом с различных участков неба. Однако с середины 2011 года проект начал исследовать звёздные системы, где были открыты экзопланеты.
Для исследований были выбраны 86 планет, ранее обнаруженных космическим телескопом Kepler. Из множества открытых экзопланет, для исследований
были отобраны именно те 86, температура поверхности которых от 0 до 100 градусов, т.е.
подразумевает наличие воды в жидкой фазе. Таким образом, поиски в SETI@Home стали более целенаправленными.
Наконец, в проекте SETI@Home, помимо счётных приложений для центрального процессора, были созданы и запущены в работу приложения, использующие для счёта графические процессоры видеокарт NVidia и ATI. У современных видеокарт имеются десятки и даже сотни графических процессоров и разработаны библиотеки (CUDA, OpenCL), позволяющие задействовать их не для обработки графических изображений, а для параллельных математических вычислений. Приложения для видеокарт в проекте
распределённых вычислений SETI@Home предоставляют возможность в десятки раз ускорить выполнение задания по анализу сигнала, записанного с радиотелескопа.
До сих пор в мире проект SETI@Home остаётся одним из самых популярных среди всех (не только астрономических) проектов добровольных распределённых вычислений. К концу июня 2014 года в проекте приняло участие свыше 1,4 миллиона человек со всего мира, было подключено свыше 3,6 миллионов компьютеров. В начале 2012 года, после
того, как полгода производился анализ сигналов из звёздных систем, где есть экзопланеты, было обнаружено несколько подозрительных сигналов, однако пока нет точной уверенности, что они произведены именно внеземным разумом, а не являются земными помехами. Телескоп Kepler открывает по многу экзопланет в день, поэтому
вероятность обнаружения внеземных цивилизаций все же пока остается весьма низкой.
 

Но рассмотрим и другие проекты распределённых вычислений, ведущие исследования
в области астрономии. Вторым по популярности среди пользователей является проект Einstein@Home (см. рисунок в начале статьи). Этот проект был запущен в 2005 году. Проект координируется Университетом Висконсина-Милуоки (Милуоки, США) и Институтом гравитационной физики имени Макса Планка (Ганновер, Германия). В проекте поставлено несколько задач. Ведётся обработка данных, поступающих сразу из нескольких обсерваторий. Данные, идущие с двух интерферометров обсерватории LIGO (Лазерно-интерферометрической гравитационно-волновой обсерватории) и интерферометра GEO600 анализируются проектом с целью проверки гипотезы Эйнштейна о существовании гравитационных волн. С 2009 года в
рамках проекта начался поиск радиопульсаров. Для решения этой задачи анализируются данные, полученные с радиотелескопа обсерватории Аресибо (Пуэрто-Рико) и радиотелескопа обсерватории Паркс, которая находится в Австралии. Открывшему
пульсар в Einstein@Home высылается именной сертификат в рамочке от руководителя проекта Брюса Аллена. К настоящему времени (август 2017 года) проектом обнаружено 54 новых радиопульсаров (1 в 2010 году, 15 в 2011, 30 в 2012, 1 в 2013, 1 в 2014 и 5 в 2015 году).

 

Также в рамках этого проекта производится поиск гамма-пульсаров, для чего анализируются данные, полученные в гамма-обсерватории Fermi. При анализе данных с гамма-телескопа GLAST за 4 прошедших года были открыты 18 гамма-пульсаров.
Две другие активные задачи этого проекта в настоящее время являются поиск гравитационных волн от направления, соответствующего сверхновой Кассиопея A и подробное исследование рукава Персея на предмет поиска радиопульсаров. Прочитать подробнее о проекте и ознакомиться с его открытиями Вы можете на странице
http://ru.wikipedia....i/Einstein@Home.

 

Совсем недавно, летом 2012 года, в Международном центре радиоастрономических
исследований (The International Centre for Radio Astronomy Research) стартовал новый проект the SkyNet POGS. Цель этого проекта – создать многоволновый атлас ближайшей Вселенной в ультрафиолетовом, оптическом и инфракрасном диапазонах. Для этого на компьютерах добровольцев обрабатываются данные, полученные с трёх разных телескопов (GALEX – орбитальный космический телескоп, работающий в ультрафиолетовом диапазоне; система оптических телескопов PanSTARRS1; инфракрасный космический телескоп WISE). Проектом изучаются такие физические
параметры, как звёздная масса галактик, поглощение излучения пылью, масса пылевой компоненты, скорость образования звёзд. Адрес, который нужно ввести в BOINC для подключения к проекту the SkyNet POGS следующий: http://pogs.theskynet.org/pogs/ Также интересно отметить, что программа-планетарий Stellarium может показать пользователю все галактики, которые были обработаны на его компьютерах (подробнее по
ссылке: https://vk.com/wall-53333580_95 ).
Также недавно теми же разработчиками, что и theSkyNet POGS, был запущен новый проект theSkyNet Sourcefinder https://sourcefinder...et.org/duchamp/ . Он занимается моделированием поиска расположения радиоисточников в определённом заданном кубе
данных. Пока проект находится в стадии тестирования (на смоделированных данных
тестируется счётное приложение), но в будущем этот проект будет вести уже анализ реальных полученных данных. Однако этот проект для расчётов помимо BOINC использует ещё и виртуальную машину Oracle VirtualBOX, а, следовательно, очень требователен к оперативной памяти компьютера и потребляетбольшой Интернет-трафик.
 

Также недавно был запущен новый проект Asteroids@Home. Его цель – определение формы, параметров вращения и направление оси вращения астероидов по данным фотометрических наблюдений. Проект обрабатывает данные из Центра малых планет (MPC). Уже получены первые научные результаты, которые опубликованы на
странице проектаhttp://asteroidsatho...ic_results.html. Чтобы присоединиться к проекту Asteroids@home, в BOINC нужно ввести адрес: http://asteroidsathome.net/boinc/.
 

В начале января 2014 года в проектеAsteroids@Home помимо счётного приложения для
центрального процессора было выпущено счётное приложение, которое не использует центральный процессор, а считает только на видеокартах NVidia.
Это приложение во много раз позволяет ускорить время расчёта одного задания.
Помимо основных проектов распределённых вычислений есть также вспомогательные, тестовые проекты. Это два проекта – SETI@Home Beta (адрес для подключения: http://setiweb.ssl.berkeley.edu/beta/) и Albert@Home (адрес для подключения: http://albert.phys.uwm.edu/). Они не занимаются научными расчётами, а ведут расчёты только для теста новых программных счётных модулей, недавно разработанных. Соответственно, SETI@Home Beta тестирует новые счётные модули для основного проекта SETI@Home, а проект Albert@Home занимается тестом новых счётных модулей для проекта Einstein@Home. Однако участие пользователей в этих двух проектах также очень важно и интересно. Ведь чем быстрее будут протестированы и отлажены новые счётные модули в тестовом проекте, тем быстрее они будут выпущены в основной проект, и тем быстрее он будет продвигаться. Поэтому сейчас присоединиться к счёту проектов SETI@Home Beta и особенно Albert@Home может быть также интересно для многих пользователей, желающих внести вклад в развитие астрономии с помощью распределённых вычислений. Также из области астрономии существует проект Orbit@home, который изучает траектории движения всех малых тел, проходящих рядом с
Землёй. В 2008 году проектом смоделировано падение астероида 2008 TC3 на теневую сторону Земли. Однако в настоящее время проект временно приостановлен. Но его в ближайшем будущем всё же планируют запустить снова. Следите за новостями на сайте проекта http://orbit.psi.edu/ и сайтах статистики распределённых вычислений (например, http://boincstats.com/ ), когда он будет снова запущен и какой будет его новый адрес.
 

Принять участие в проектах распределённых вычислений может каждый. Для этого достаточно иметь современный компьютер и постоянное подключение к Интернету (желательно по безлимитному тарифу, поскольку, например, проекты Albert@Home и Einstein@Home потребляют достаточно большой трафик для загрузки данных для
анализа). На компьютер нужно установить программную оболочку BOINC, которую можно загрузить с официального сайта BOINC http://boinc.berkeley.edu/. По ссылке
http://solidstate.ka...ns2/boinc/1.htm приведена иллюстрация процесса установки программы BOINC, она достаточно проста и сложностей не вызывает. После подключения к проекту можно зайти в созданный аккаунт на его сайте и выбрать настройки, такие, как например, получать ли задания для видеокарты или только для
центрального процессора и другие.

Помимо астрономических проектов можно также подключить в BOINC и поддержать несколько отечественных российских проектов, ведущих исследования в других областях науки, например, Acoustics@home http://www.acousticsathome.ru/boinc/ - проект для решения обратных задач в подводной акустике. SAT@home http://sat.isa.ru/pdsat/ - различные задачи в области математики. XANSONS for COD http://xansons4cod.com/xansons4cod/ - проект из области материаловедения. Все заинтересовавшиеся могут получить ответы и поддержку на многих русскоязычных сайтах и форумах, посвящённых распределённым вычислениям, таких как: http://vk.com/boinc, http://forum.boinc.ru/ http://distributed.org.ua/forum/ Основная мотивация к участию в проектах распределённых вычислений – это помощь науке, стремление принять участие в научных исследованиях, тем более что в данном случае от пользователя практически ничего не требуется (задания на компьютере выполняются в фоновом режиме на низком приоритете и поэтому незаметно для пользователя). Кому-то может быть будет даже интересно посоревноваться в количестве выполненных заданий с другими участниками или командами. Но основное – это привлечь практически неиспользуемый во время набора текста или использования интернета процессор и видеокарту на решение многих интересных научных задач в области астрономии.

http://www.boinc.ru

http://forum.boinc.r...aspx?g=mytopics

http://boinc.berkeley.edu/download.php

http://www.boinc.ru/...boinc_setup.htm

 

 



#2 4cvaqwlkk

4cvaqwlkk

    Новичок

    • Городтюмень
    • Имя:4cvaqwlkk
    • Сфера деятельности:Образование и наука
  • Зарегистрирован
  • Pip
  • 7 сообщений

Отправлено 11 Январь 2020 - 10:20

RakeSearch - тестирование приложения для Raspberry Pi

Всем привет! Мы попробовали сделать версию расчётного модуля проекта для Raspberry Pi. (Да, их не так много и это маломощные одноплатные компьютеры, но, во-первых - это было интересно, а во-вторых - одноплатные компьютеры — это вещь, настолько поднимающая настроение одним своим видом, что это было ещё и весело!)

В данный момент приложение работает на компьютере № 9257 [ https://rake.boincfa...how_host_detail.. ]- Raspberry Pi Model 3B+ при помощи файла app_info.xml.

Жизненно важное(!) примечание: перед запуском вычислений на Raspberry Pi, "малинку" обязательно надо оснастить радиаторами (хотя бы одним - на CPU) и продумать обдув - лучше сразу всей платы.

В нашем случае, установка комплекта из двух маленьких алюминиевых радиаторов (на CPU и контроллер сети + USB) и помещение платы в поток воздуха, выходящего из другого компьютера (да, бедная "малинка" была привязана бандажной проволокой к решётке вентилятора на задней стенке!) - привело к тому, что температура процессора остаётся на уровне ~54C при нагрузке на все 4 ядра, а остальная часть платы (на ощупь) - едва тёплая, что важно для сохранности данных на SD-карте.

Добавлю, что просто установкой радиатора, скорее всего, обойтись не удастся. Нужен ещё и обдув.

Приложение скомпилировано в рамках модели 3B+, под процессор Cortex-A53. Вы можете скачать его отсюда - [ https://yadi.sk/d/2gajZUElYj3rQA ] и, если это необходимо - консольную версию клиента BOINC, скомпилированного в этом же окружении - [ https://yadi.sk/d/iTqOQ8Ql4ccycg ]. Если вы хотите попробовать запустить вычисления на другой модели RPi, то напишите об это в комментариях, мы попробуем скомпилировать отдельное тестовое приложение.

Спасибо за внимание к проекту и участие в нём!



#3 4cvaqwlkk

4cvaqwlkk

    Новичок

    • Городтюмень
    • Имя:4cvaqwlkk
    • Сфера деятельности:Образование и наука
  • Зарегистрирован
  • Pip
  • 7 сообщений

Отправлено 18 Январь 2020 - 07:55

Проекты распределённых вычислений
Folding@Home и Rosetta@Home

Общая информация о проектах:  vk.com/boinc , tsc.overclockers.ru , www.boinc.ru , distributed.org.ua и distributed.ru

Подключайте Ваши компьютеры к проектам распределённых вычислений! Этим Вы окажете большую помощь в развитии математики, медицины и других наук, при этом это никак не скажется на скорости работы Ваших компьютеров, так как проекты работают на приоритете IDLE (то есть счёт ведётся только тогда, когда другие службы и программы не используют Ваш процессор)

Краткий обзор проектов

Проект Folding@Home - исследование фолдинга белков (то есть их "сворачивания" в уникальную пространственную структуру, определяющую функции белка), преимущественно в аспекте борьбы с некоторыми заболеваниями, порождёнными нарушениями их функций (например, болезнь Альцгеймера, отдельные виды рака, "коровье бешенство" и др.). Исследование осуществляется путём компьютерного моделирования процесса фолдинга ("сворачивания") белков на машинах добровольцев. Клиентское ПО забирает с одного из многочисленных серверов Folding@Home данные о белках и проводит на компьютере пользователя моделирование фолдинга (от нескольких часов до нескольких суток и более) и отправляет результаты обратно на сервер.

Проект Rosetta@Home - вычисление трехмерной структуры белков из их аминокислотных последовательностей. Это одна из самых больших проблем в молекулярной биологии. Одно из самых важных открытий в молекулярной биологии - то, что в пространстве белковая структура (связка аминокислот) стремится занять такое положение, чтобы энергия этой структуры была минимальна (представьте шар в трубе - шар будет всегда катиться вниз к основанию трубы, потому что это - самое устойчивое состояние). Итак, задача программы Rosetta@Home - посчитать наименьшую энергию белковой системы, если известны составляющие этой системы (аминокислоты) - при этой минимальной энергии это и будет искомый белок! Одна из сложностей заключается в том, что последовательностей аминокислот, из которых состоит белок много, в пространстве их можно соединить разными способами. Сочетание различных комбинаций соединений аминокислот дает огромные цифры - вот причина, по которой проекту так нужны большие вычислительные мощности.
По сути Rosetta - это компьютерная программа для поиска:
- структуры с наименьшей энергией для заданной аминокислотной последовательности для предсказания структуры белка
- обратная задача - поиск аминокислотной последовательности с наименьшей энергией для заданной белковой структуры
- расчета взаимодействия комплекса белок-белок.

Какой проект выбрать

Выбор проекта, который будет использоваться на Вашем компьютере зависит в первую очередь от вида подключения к Интернет/оплаты трафика. Проект Rosetta@Home в день потребляет до 30 мегабайт входящего трафика и 500 килобайт исходящего. А вот проект Folding@Home в среднем скачивает задание размером всего 300 килобайт, считает его несколько дней и потом столько же отдаёт и закачивает новое. Так что если у Вас безлимитный Интернет и широкий канал, то лучше выбрать проект Rosetta@Home , а иначе - Folding@Home . Также выбор во многом зависит и от количества оперативной памяти компьютера. Проект Rosetta@Home занимает до 300 мегабайт ОЗУ, а Folding@Home - занимает в памяти всего 20 мегабайт (если не включен режим получения больших заданий, при котором может требоваться около 120 мегабайт ОЗУ). И все эти цифры следует умножить на число ядер у процессора.

Также в данный момент лучше при технической возможности (большой объём ОЗУ и неограниченный трафик) подключиться к проекту Rosetta@Home , поскольку сейчас в мире для проекта Rosetta@Home остро не хватает вычислительной мощности, в то время как у Folding@Home сейчас большое число считающих компьютеров, а также приставок PS3, видеокарт и т.д.

Ещё нужно придерживаться правила, что чем быстрее процессор, тем целесообразнее на нём считать Folding@Home , а чем слабее - тем выше целесообразность счёта на нём проекта Rosetta@Home . (А если процессор очень старый, менее 1 ГГц, то тогда Folding@Home вообще не целесообразно считать на нём). В таком случае лучше считать проект Rosetta@Home (если позволяет ОЗУ и интернет-трафик), а при малых количествах ОЗУ и когда нельзя позволить большой интернет-трафик - то считать либо POEM@Home либо Spinhenge@Home (см. ниже).

Также перед выбором проекта - см. ветку форума http://forums.overclockers.ru/viewforum.php?f=21

Если Вы используете сеть "ВКонтакте", в ней группа команды распределённых вычислений следующая: http://vkontakte.ru/club186520 в ней много полезной справочной информации, можно задавать вопросы по проекту Folding@Home . По BOINC-проектам группа такая: http://vkontakte.ru/club11963359

http://my.mail.ru/community/cranch - группа о распределённых вычислениях в сети "Мой мир" на Mail.Ru.

http://my.mail.ru/community/fhclub/ - группа о проекте Folding@Home в сети "Мой мир" на Mail.Ru.

http://www.facebook.com/group.php?gid=12646995655 - группа о распределённых вычислениях в сети "Facebook".

http://minskfoldingteam.at.tut.by/ - форум в Минске.

http://vip.karelia.ru/viewtopic.php?t=51525 - форум в Петрозаводске.

distributedcomputing.info - Самая свежая информация о текущих активных проектах распределённых вычислений.

www.gridrepublic.org
- Статистика и описание проектов распределённых вычислений на платформе BOINC

http://blog.karelia.ru/yura8/ - Новости про науку, образование, распределённые вычисления

http://ru.wikipedia.org/wiki/%D0%A0%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D1%91%D0%BD%D0%BD%D1%8B%D0%B5_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F - статья в энциклопедии о распределённых вычислениях.

Новые интересные статьи про распределённые вычисления. Интересно прочитать всем:

1) Распределенные вычисления: волонтеры на службе науки (статья из журнала): http://www.vechnayamolodost.ru/pages/drugienaukiozhizni/rasvyvonaslnab6.html


2) Интернет-журнал «Распределенные вычисления»: самые свежие новости проектов и их результаты и достижения: http://new-distributed.livejournal.com/

3) Статья «Распределенные вычисления: домашний компьютер как научная лаборатория»: http://prostonauka.com/raspredelennye-vychislenija
 

Всем кому интересно - по адресу http://boinc.gorlaeus.net/FinishedProjects.php полное описание (файлы в формате PDF, PPT, XLS) уже завершённых решённых задач по классической динамике (с помощью проекта Leiden Classical . Там на нидерландском языке, но всё равно, много графиков и иллюстраций, на которые интересно посмотреть, чтобы понять ценность и важность применения распределённых вычислений для решения различных задач из различных областей физики.

Также есть сайт сравнительно новый сайт (недавно появился): http://boinc.netsoft-online.com/ где можно посмотреть различную подробную статистику по текущим BOINC проектам (и завершённым BOINC проектам)

Платформа BOINC и проект Rosetta@Home

Установка BOINC, регистрация аккаунта для проекта Rosetta@Home настолько просты, что подробно здесь описываться не будут.
 

Иллюстрация процесса установки программы BOINC
 

На сайте www.boinc.ru есть FAQ, подробная информация по установке, проекту Rosetta@Home и другим проектам. Саму программу BOINC можно загрузить с сайта http://boinc.berkeley.edu/ . Для подключения к проекту - адрес: http://boinc.bakerlab.org/rosetta

Кстати, для более надёжной работы проектов в BOINC необходимо в "Настройки клиента..." - "диск и память" - поставить галку "Оставлять неактивные приложения в памяти".

Ещё в настройках BOINC нужно в "Настройки клиента..." - "процессор" - "В многопроцессорных системах использовать" ___ % процессоров - обязательно поставить 100 % (иначе будут использоваться не все ядра процессора).

Другие, наиболее интересные проекты на платформе BOINC, которые также полезны для науки и медицины:

1) Проект LHC@Home - научно-исследовательский BOINC-проект распределенных вычислений, изучающий движение заряженных частиц в Большом Адронном Коллайдере. Присоединиться к проекту - http://lhcathomeclassic.cern.ch/sixtrack/

2) Ещё один полезный проект, к которому также можно подключиться пользователям BOINC - это RALPH@Home который занимается тестированием новых счётных модулей для проекта Rosetta@Home . Присоединиться к проекту - http://ralph.bakerlab.org/
Требования к компьютеру и Интернету у RALPH@Home точно такие же, как и у проекта Rosetta@Home , поэтому если Вы подключились к Rosetta@Home , то желательно подключиться одновременно и к RALPH@Home . Участвовать в RALPH@Home как только в одном проекте нет смысла, поскольку задания для него бывают раз в 3 или 4 недели (когда выходит новый счётный модуль).

3) Asteroids@home - проект изучает форму и параметры вращения астероидов по фотометрическим данным. Присоединиться к проекту - http://asteroidsathome.net/boinc/

4) Проект POEM@Home - в проекте используется метод моделирования структуры белка. Комбинированный подход в изучении строении белка, дальние цели этого проекта - разработать метод моделирования белковых молекул, которые уже могут использовать фармацевты, врачи, ученые, а также детально изучить структуру мебранных белков. Присоединиться к проекту - http://boinc.fzk.de/poem/

boincstats.com - просмотр статистики, состояния всех BOINC-проектов.

boincsynergy.com - просмотр статистики, новости BOINC-проектов.

http://boincstats.com/stats/project_graph.php?pr=bo
- статистика BOINC проектов за последний день, месяц, и т.д.

 

Проект Folding@Home
установка на компьютер клиента

Здесь будет рассмотрен самый простой и распространённый случай, когда устанавливается консольный клиент в качестве службы (без задействования видеокарт ATI / NVIDIA или нескольких процессоров, для которых совсем другие клиенты).

Необходимо войти на компьютер с правами администратора (поддерживаются системы Windows 2000/XP/2003).

Далее создать каталог C:\WINDOWS\system32\FAH\ в который поместить файлы FAH504-Console.exe, client.cfg, FoldinGL.exe и дать команду:

sc create FAH type= own start= auto error= normal binPath= "C:\WINDOWS\system32\FAH\FAH504-Console.exe -svcstart" obj= LocalSystem DisplayName= FAH

Внимание, если используется версия 6.хх консольного клиента, то сам файл будет называться не FAH504-Console.exe, а Folding@home-Win32-x86.exe и в параметрах сервиса надо указывать путь к каталогу, куда он устанавливается, то есть команда для установки сервиса будет такой:

sc create FAH type= own start= auto error= normal binPath= "C:\WINDOWS\system32\FAH\Folding@home-Win32-x86.exe -svcstart -d C:\WINDOWS\system32\FAH" obj= LocalSystem DisplayName= FAH

Теперь можно открыть сервисы Windows и запустить сервис FAH (либо вообще просто дать команду sc start FAH ). И всё, клиент подключится к серверам Folding@Home - проекта, скачает задание и счётное ядро и будет считать в течении нескольких дней. Всё будет далее работать незаметно для пользователя.

Вот назначение файлов:
FAH504-Console.exe или Folding@home-Win32-x86.exe - собственно сам сервис
client.cfg - настройки клиента
FoldinGL.exe - программа для 3D просмотра обрабатываемых молекул

Сейчас конечно лучше ставить саму последнюю версию, а информация о 5.04 приведена только потому, что она была с ноября 2005 и по август 2008 повсеместно используемой и не менялась за эти 3 года, что говорит о её проверенной стабильности.

Структура файла client.cfg

[settings]

username=Colombia

team=47191

asknet=no

bigpackets=no

machineid=1

local=0

 

[http]

active=no

usereg=no

usepasswd=no

proxy_name=

proxy_passwd=

host=

port=

 

[core]

priority=0

cpuusage=99

disableassembly=no

checkpoint=15

ignoredeadlines=no

 

[power]

battery=no

 

[clienttype]

memory=480

type=0

Теперь краткое описание файла client.cfg:

username=   Ваше имя, которое будет отображаться на серверах статистики
team=47191   - номер команды
bigpackets= Для 5.04 и 6.хх версий этот параметр может принимать разные значения. В версии 5.04 - no - получать из Интернет задания размером до 20 килобайт (в ОЗУ будут занимать до 10 мегабайт), yes - получать из Интернет задания размером до 3 мегабайт (в ОЗУ будут занимать до 120 мегабайт). В версиях 6.хх - small получать меньше 5 Мб, normal - получать до 10 Мб, а big - получать более 10 Мб. Реально же, если указать small, то задания пока выдаются меньше 300 килобайт.
priority=0 - ставьте priority всегда равным 0 (иначе Folding не будет вытесняться при сканировании дисков антивирусом Symantec или Kaspersky).
cpuusage=99 - ставить 100 не рекомендуется (при 100 были сообщения о проблемах с Nero).
memory=480 - сколько ОЗУ не жалко для проекта (хотя на данный момент максимум будет расходоваться 120 Мб).

Вот готовый архив для быстрого запуска: fah-client.zip - в этом архиве самая свежая консольного клиента (на данный момент - 6.23). Архив нужно распаковать в каталог C:\WINDOWS\system32\ (получится каталог C:\WINDOWS\system32\FAH\). Из него надо просто запустить 1 раз файл Run.cmd - он установит в систему сервис FAH. И всё, можно дать команду sc start FAH - и сервис запустится.

Если у Вас процессор с Hyper Threading или с несколькими ядрами, то тогда следует установить несколько копий клиента на компьютер. Второй - в папку например C:\WINDOWS\system32\FAH1\ и только не забыть в файле Run.cmd перед его запуском в 4 местах слово FAH заменить на FAH1 и в файле client.cfg вместо machineid=1 поставить machineid=2

На всякий случай - архив с предыдущей 5.04 версией клиента: old-fah-client-504.zip - эта версия уже устарела, но на всякий случай может кому и потребуется (ведь она была с ноября 2005 и по август 2008 повсеместно используемой и не менялась за эти 3 года, что говорит о её проверенной стабильности).

Ещё одна важная причина, по которой на странице до сих пор выложена версия 5.04, - это то, что было замечено, что новые версии клиента (6.20, 6.23 и т.д.) при ВСЕХ значениях параметра bigpackets= выдают задания случайных размеров, когда большие, когда маленькие. Так что на компьютерах с малым количеством ОЗУ и где платный интернет до сих пор актуальна версия клиента 5.04, так как при значении bigpackets=no она точно выдаёт короткие задания (до 300 килобайт), которые требуют мало ОЗУ.

Внимание! Концы строк в файле client.cfg должны быть только символом $0A (если Ваш редактор сделает $0D$0A, то при запуске программы файл client.cfg не только не будет прочитан, но и всё его содержимое будет стёрто).
Используйте для редактирования client.cfg только FAR Manager (после редактирования - проверьте, какие концы строк). Чтобы принудительно сделать концы строк $0A следует использовать плагин trucr104 для FAR ( ftp://info.elf.stuba.sk/pub/pc/utilfile/trucr104.rar
).

Программа FoldinGL.exe - программа для 3D просмотра обрабатываемых молекул, однако она может работать не на всех видеокартах.
FoldinGL НЕ работает на Intel 810 и ниже, RAGE XL PCI Family (если драйвера встроенные в Windows), SiS 661FX и ниже
FoldinGL работает на Intel 815 (если драйвера от Intel) и выше, NVidia Vanta LT и выше, S3 Graphics ProSavageDDR
Также в случае если задание для нового ядра FahCore_7c.exe то программа FoldinGL зависает.
http://fah-web.stanford.edu/cgi-bin/main.py?qtype=osstats
- быстрый просмотр статистики по Folding@Home (сколько компьютеров, процессоров занято для проекта во всём мире).
Выбор проектов в случае многоядерных процессоров

Если у Вас достаточно мощный современный компьютер с двуядерным процессором (или технологией Hyper Threading) или несколько процессоров, всегда надо помнить, что клиент Folding@Home использует только одно ЯДРО. GPU клиент Folding@Home в случае видеокарты ATI также использует только одно ядро центрального процессора. А вот видеокарты NVidia вообще не используют центральный процессор при расчётах.

Исключение составляет лишь SMP клиент для Folding@Home , который специально предназначен для многоядерных систем и использует все ядра.

Предположим, такой случай. У Вас четырёхядерный процессор и современная видеокарта ATI. Тогда самый лучший выбор будет такой - поставить один GPU клиент и один SMP клиент (не забывать, конечно с разными machineid в настройках client.cfg). Причём для SMP клиента сделать доступ не ко всем 4, а только к 3 ядрам. Тогда одно ядро будет для GPU клиента. В этом случае у компьютера будут для расчётов задействованы все ядра процессора + видеокарта и будет достигнута максимальная вычислительная мощь. А случае видеокарты NVidia, в SMP клиенте даже не надо закрывать доступ к одному ядру (т.к. в случае видеокарт NVidia центральный процессор не используется вообще).
 

Выбор проектов для современных
видеокарт ATI и NVidia

Если у компьютера имеется современная видеокарта ATI (24xx и выше) или NVidia  (GeForce 8ххх и выше), то тогда имеет смысл задействовать её для распределённых вычислений. Причём следует учитывать, что видеокарта ATI при расчётах целиком использует одно ядро центрального процессора. А вот видеокарты NVidia вообще не используют центральный процессор при расчётах. Таким образом, например, если у Вас двуядерный процессор и современная видеокарта NVidia, то можно использовать на компьютере не 2, а 3 клиента Folding@Home (два - консольных однопроцессорных и один - графический)!!!


Работают сразу 3 клиента на двуядерном процессоре!

Кстати, в случае если у Вашего компьютера видеокарта от NVidia, большой объём ОЗУ и безлимитный интернет (и к тому же компьютер долго не выключается), то в таком случае лучше всего центральный процессор целиком отдать проекту Rosetta@Home , а видеокарту NVidia отдать проекту GPUGRID (который тоже потребляет большой интернет трафик). Основная направленность проекта GPUGRID - моделирование молекул.

 

 

Некоторые картинки, иллюстрации:


Как надо правильно устанавливать BOINC в Windows,
чтобы он запускался без участия пользователя в качестве службы.
Однако, если Вы будете участвовать в проектах, которые используют видеокарту, то тогда эту галку устанавливать нельзя, иначе BOINC не будет видеть видеокарту!

 
Иллюстрация процесса установки программы BOINC

Иллюстрации по проекту Folding@Home :

1) Одна из обрабатываемых молекул (ядро Gromacs - FahCore_78.exe) (получен программой FoldinGL) при bigpackets=no
2) Одна из обрабатываемых молекул (ядро Gromacs - FahCore_78.exe) (получен программой FoldinGL) при bigpackets=yes
3) Одна из обрабатываемых молекул (ядро Gromacs - FahCore_78.exe) (получен программой FoldinGL) при bigpackets=yes
4) Одна из обрабатываемых молекул (ядро Gromacs - FahCore_78.exe) (получен программой FoldinGL) при bigpackets=yes
5) Одна из обрабатываемых молекул (ядро Gromacs 33 - FahCore_a0.exe) (получен программой FoldinGL) при bigpackets=yes

В файле projects_sep_okt_2009.xls представлены данные за 2 месяца (сентябрь и октябрь 2009 года) про продвижение проекта Rosetta@Home , а также в этом файле находятся 26 листов, на которых представлены данные о продвижении и состоянии 15 самых активных проектов за соответствующий день (по данным сайта http://boincstats.com/).



#4 4cvaqwlkk

4cvaqwlkk

    Новичок

    • Городтюмень
    • Имя:4cvaqwlkk
    • Сфера деятельности:Образование и наука
  • Зарегистрирован
  • Pip
  • 7 сообщений

Отправлено 21 Январь 2020 - 18:30

Русский Процессор Эльбрус в распределенных вычислениях на благо науки…

А теперь - про производительность Эльбруса!

 

Несколько дней назад, благодаря Игорю, был получен доступ к машине с 4(!) Эльбрус-8C, что позволило оценить производительность подобной системы в рамках нашего проекта не косвенным, а прямым методом. И это очень интересно! В том числе и потому что очень большое число прикладных задач из коммерческого сектора, связанных с базами данных, web-серверамии т.п. в основном выполняют операции не с плавающей точкой (хотя и их бывает немало), а с целыми числами. И вот теперь, у нас уже есть первые проверенные результаты - компьютера № 9991. https://rake.boincfa...php?hostid=9991

 

Для начала однопоточная производительность. Сама по себе она мало что значит, но можно сделать некоторые выводы.

 

Что мы видим - с одной стороны, скорость вычислений "на одном потоке" в Эльбрус-8C проигрывает современным десктопным процессорам (они отмечены зелёным цветом) в 2-3 раза, в некоторых случаях - до 4-х (только у этого Core i7-8700K - отключен Hyper-Threading!). Однако при сравнении с серверными процессорами (выделены синим цветом), разрыв уменьшается - до 1.5 - 2 раз, так как их частоты - значительно ниже. Но в них - больше ядер и потоков. А в Эльбрусе - частота ещё ниже - всего 1.30 ГГц, и если мы это учтём, то увидим, что производительность на такт у него как минимум не хуже, чем у лучших десктопных и серверных процессоров.

И, самое интересное - валовая производительность (в квадратных скобках после модели CPU идёт число потоков, опознанных BOINC-клиентом):

Смотря на эту диаграмму, надо понимать, что вы видите. Это не производительность отдельно взятого(ых) процессора(ов), это производительность систем, которые были сделаны на их основе. В случае с десктопными процессорами (также отмечены зелёным) - в системе может быть только 1 CPU. В случае серверных систем на основе Xeon E5 - до двух CPU. А вот в случае с Эльбрус-8С в сервер можно поставить и 4 процессора! И это существенно уменьшает отставание в ситуации, когда у того же Xeon E5-2683 v3 на один сокет приходится 14 ядер (и 28 потоков), а у Эльбруса - 8. Двусокетной машине с 28 ядрами, уже сейчас можно сопоставить машину на Эльбрусе с 32!

 

Из диаграммы ясно видно, что, хотя существующие модели не смогут конкурировать с десктопными системами ни по производительности ни, скорее всего, по цене (официальных цен нет, но по интернету гуляют примерные цены). В этом нет никакой интриги. А вот в серверном сегменте ситуация - куда интереснее - система, аналогичная серверу с 2 x Xeon E5-2683 v3 будет стоить где-то $10 000. $12 000 и, возможно, что в отдельных секторах этого рынка Эльбрусы могут составить конкуренцию уже сейчас. В случае же, реализации планов по наращиванию числа ядер (в Wiki говорят о вариантах с 16 и 32 ядрами) и частот, ситуация может стать ещё лучше.

 

По мере работы системы статистика будет накапливаться и, будем надеется, мы увидим ещё немало интересного!

 

Думаю, что к диаграммам выше стоит добавить ещё одно пояснение - про параллельность внутри потока. Если мы посмотрим на любую программу, то скорее всего увидим, то даже в "исключительно однопоточном" в силу алгоритма коде, далеко не все операции (или строки кода) процессор обязан выполнять строго последовательно. Например, в одной из двух основных по времени работы функций в расчётном модуле R10 есть вот такие строчки:

...

<Начало цикла>

rowId = path[cellId][0];

columnId = path[cellId][1];

isGet = 0;

cellValue = Square::Empty;

freeValuesMask = (1u << Rank) - 1;

freeValuesMask &= flagsColumns[columnId] & flagsRows[rowId] & flagsCellsHistory[rowId][columnId];

...

Первые четыре из этих строк - описывают действия, полностью независимые друг от друга! Шестая - зависит от пятой, но, по сути, они могут быть склеены в одну строку, состоящую из нескольких операций, часть из которых также может быть выполнена параллельно! То есть, в рамках нашего алгоритма есть возможность распараллеливания на уровне отдельных инструкций. Но, в тоже время, число подобных действий - невелико, в пределах 5-10, что, скорее всего, позволяет неплохо задействовать эти возможности в современных процессорах от AMD и Intel, которые могут выполнять как раз где-то около 5-8 инструкций одновременно, но лишь частично задействует возможность Эльбрус-8C в котором число одновременно выполняемых инструкций может достигать 25! А это значит, что в задачах с более высокой степенью "внутреннего параллелизма" соотношение может изменяться в пользу Эльбрус-8C до 3-5 раз и, даже системы, существующие сейчас, в ряде задач могут выходить в лидеры и по однопоточной производительности, и по валовой производительности CPU, и по валовой производителности системы. Результат в RakeSearch, по сути - это результат в самых неподходящих условиях. И это делает данные результаты ещё интереснее.

1579616489181336816.jpg

1579616488194223724.jpghttps://cs12.pikabu....88194223724.jpg






Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных