Red score что такое

Red score что такое

13 июня 2021 г. в журнале European Heart Journal вышло две публикации, посвященные разработке и валидации новых европейских моделей для прогнозирования сердечно-сосудистого риска у здоровых людей, которые должны прийти на смену используемому в настоящее время калькулятору риска SCORE и получили название SCORE2 и SCORE2-OP. В первой из этих публикаций рассматривается основная модель, прогнозирующая 10-летний риск фатальных и нефатальных сердечно-сосудистых событий у жителей Европы в возрасте 40-69 лет, не имеющих предшествующих сердечно-сосудистых заболеваний (ССЗ). Вторая статья посвящена оценке сердечно-сосудистого риска (смерти от ССЗ, инфаркта миокарда или инсульта) у не имеющих ССЗ представителей старших возрастных групп (от 70 до 89 лет).

В основу нового калькулятора для более молодых пациентов легли данные 45 когорт из 13 стран (в общей сложности 677 684 участника и 30 121 сердечно-сосудистых событий). Для внешней валидации использовались еще 25 когорт из 15 европейских стран (1 133 181 человек, 43 492 событий). Калькулятор для старших возрастных групп, получивший название SCORE2-OP, был создан на основе норвежской когорты (28 503 человек, 10 089 событий), а для его внешней валидации использовались данные по 338 615 участникам из еще 6 когорт (в общей сложности 33 219 сердечно-сосудистых событий).

В отличие от привычного нам калькулятора SCORE новый калькулятор оценивает риск и смерти от ССЗ, и нефатальных сердечно-сосудистых событий. При расчете сердечно-сосудистого риска учитывается пол, возраст, статус курения, уровень систолического артериального давления и холестерина не-ЛВП. Калькулятор представлен в виде четырех наборов таблиц – для популяций с низким, умеренным, высоким и очень высоким риском.

The new European Cardiovascular Disease Risk Calculator is released

On June 13, 2021, the European Heart Journal published two papers dedicated to the development and validation of new European models for predicting cardiovascular risk in healthy people, which are called SCORE2 and SCORE2-OP and are expected to replace the currently used SCORE risk estimation charts. The first of these publications focuses on the model predicting a 10-year risk of fatal and non-fatal cardiovascular events in Europeans aged 40-69 with no previous cardiovascular disease (CVDs). The second paper looks at CVD risk assessment in CVD-free persons from older age groups (from 70 to 89 years old).

The SCORE2 model (for younger patients) is based on data from 45 cohorts in 13 countries (a total of 677,684 participants and 30,121 CVD events). For external validation, another 25 cohorts from 15 European countries were used (1,133,181 people, 43,492 events) were used. The SCORE2-OP risk charts for older age groups were developed based on a Norwegian cohort (28 503 people, 10 089 events), and for its external validation data from 338 615 participants from additional 6 cohorts (a total of 33 219 CVD events) were utilized.

Unlike the previous SCORE risk charts, the new models estimate risk of both cardiovascular mortality and non-fatal CVD events based on patients gender, age, smoking status, systolic blood pressure and non-HDL. The risk charts come in four versions for populations with low, moderate, high and very high CVD risk.

Источник

Метод Пиотроски: как найти эффективную компанию для инвестиций в США

Red score что такое. 755895317809862. Red score что такое фото. Red score что такое-755895317809862. картинка Red score что такое. картинка 755895317809862

Вложение в акции — это прежде всего вложение в бизнес. И для того чтобы спокойно держать ту или иную бумагу в портфеле, мы должны убедиться, что бизнес компании прибыльный и финансово устойчивый. Мы спросили у трейдера и автора блога Mindspace Оксаны Гафаити, как это сделать.

Метод называется Piotroski F-Score. Он получил имя в честь разработавшего его профессора бухгалтерского учета Стэнфорда Джозефа Д. Пиотроски. Свою оценку Пиотроски строил на девяти критериях, за соответствие каждому из которых компания получала 1 балл (в ином случае — 0).

Red score что такое. 755816965961588. Red score что такое фото. Red score что такое-755816965961588. картинка Red score что такое. картинка 755816965961588

Критерии оценки эффективности бизнеса по методу Пиотроски

Очевидно, что чем выше значение Piotroski F-Score, тем лучше. Компания, которая имеет Piotroski F-Score на уровне 8–9 баллов, считается сильной. Если этот показатель находится в диапазоне от 0 до 2 баллов, то это слабая компания.

Как рассчитать Piotroski F-Score?

Все данные для расчета Piotroski F-Score можно получить из годовых финансовых отчетов компании. Это сложный путь, финансовые отчетности нужно уметь читать. Но если вы инвестируете в акции, торгующиеся на американских биржах, то здесь все намного проще. Вы можете найти готовый расчет коэффициента на некоторых аналитических сайтах. Например, на Gurufocus коэффициент публикуется бесплатно.

Red score что такое. 755863669219262. Red score что такое фото. Red score что такое-755863669219262. картинка Red score что такое. картинка 755863669219262

Как найти F-Score на Gurufocus.com?

Далее вы будете перенаправлены на страницу с общей информацией о компании. На примере MSFT она выглядит так: https://www.gurufocus.com/stock/MSFT/summary

В нижней части данного раздела справа вы найдете отдельный блок Piotroski F-Score Details с текущим значением показателя и детализацией того, скольким из девяти критериев F-Score отвечает данная компания. На примере Microsoft данный блок выглядит так.

На момент подготовки колонки у MSFT значение Piotroski F-Score составляет 8 из 9, что является показателем высокой финансовой устойчивости компании.

Посмотреть анализ данного показателя и сравнить его с конкурентами компании можно, кликнув на синюю ссылку Piotroski F-Score, как показано на скриншоте выше.

При анализе данных Piotroski F-Score важно учитывать, что:

Red score что такое. 755893624237416. Red score что такое фото. Red score что такое-755893624237416. картинка Red score что такое. картинка 755893624237416

Больше новостей об инвестициях вы найдете в нашем телеграм-канале «Сам ты инвестор!»

Термин, обозначающий вероятность быстрой продажи активов по рыночной или близкой к рыночной цене. Подробнее Краткое обозначение акций компании, валюты или товара на бирже. Чаще всего состоит из букв, использованных в названии компании. Реже — из цифр (на азиатских биржах). В тикерах облигаций указаны базовые характеристики ценной бумаги — обычно цифрами. Тикеры валют состоят из трех букв. Первые две обозначают страну, а третья — первая буква в названии валюты (например, RUR — это российский рубль, а USD — доллар США).

Источник

ESG-принципы: что это такое и зачем компаниям их соблюдать

Red score что такое. 756324114599942. Red score что такое фото. Red score что такое-756324114599942. картинка Red score что такое. картинка 756324114599942

Что такое ESG и почему это актуально

Аббревиатуру ESG можно расшифровать как «экология, социальная политика и корпоративное управление». В широком смысле это устойчивое развитие коммерческой деятельности, которое строится на следующих принципах:

В современном виде ESG-принципы впервые сформулировал бывший генеральный секретарь ООН Кофи Аннан. Он предложил управленцам крупных мировых компаний включить эти принципы в свои стратегии, в первую очередь для борьбы с изменением климата.

Явление стало популярным только в последние пару лет, но уже закрепилось за рубежом. По словам вице-президента Тинькофф Нери Толлардо, в ближайшем будущем мировые фонды перестанут инвестировать в компании, которые игнорируют принципы устойчивого развития.

Red score что такое. 756323139961281. Red score что такое фото. Red score что такое-756323139961281. картинка Red score что такое. картинка 756323139961281

В России принципы ESG менее распространены, чем за рубежом, но их уже постепенно внедряют в бизнес. Одной из актуальных тем на Петербургском международном экономическом форуме (ПМЭФ) в 2021-м стала защита окружающей среды.

Участники ПМЭФ-2021 обсуждали снижение выбросов углекислого газа при добыче и переработке топлива, а также развитие новых источников энергии. В рамках нацпроекта «Экология» поставлена задача к 2030 году отправлять на сортировку 100% отходов и вдвое сократить объем захоронения мусора.

Red score что такое. 756003346738856. Red score что такое фото. Red score что такое-756003346738856. картинка Red score что такое. картинка 756003346738856

Кроме того, треть крупнейших банков страны уже внедрила в кредитный процесс ESG-оценку компаний, еще 20% — планируют. Это значит, что банки будут тестировать каждого заемщика на соблюдение принципов устойчивого развития.

Как оценивают соблюдение ESG-принципов

Бизнес, который претендует на хорошую ESG-оценку, должен соответствовать стандартам развития в трех категориях: социальной, управленческой и экологической.

Экологические принципы определяют, насколько компания заботится об окружающей среде и как пытается сократить ущерб, который наносится экологии.

Например, бренд обуви Timberland сотрудничает с производителем шин Omni United и делает подошвы ботинок из переработанных шин.

Социальные принципы показывают отношение компании к персоналу, поставщикам, клиентам, партнерам и потребителям. Чтобы соответствовать стандартам, бизнес должен работать над качеством условий труда, следить за гендерным балансом или инвестировать в социальные проекты.

Например, американский бренд верхней одежды Patagonia не владеет фабриками, которые шьют его продукцию, поэтому не может влиять на размер зарплаты рабочих. Чтобы это исправить, в рамках программы «Честная торговля» бренд направляет часть средств с продажи продукции на фабрики, чтобы поднять зарплату сотрудников до уровня прожиточного минимума.

Red score что такое. 756323140259637. Red score что такое фото. Red score что такое-756323140259637. картинка Red score что такое. картинка 756323140259637

Управленческие принципы затрагивают качество управления компаниями: прозрачность отчетности, зарплаты менеджмента, здоровую обстановку в офисах, отношения с акционерами, антикоррупционные меры.

По словам Евгения Хилинского, директора управления анализа инструментов с фиксированной доходностью Газпромбанка, для устойчивого развития компания должна соблюдать баланс между всеми критериями. Но их значимость может различаться в зависимости от деятельности разных компаний. Например, для энергетики особую роль играют экологические критерии, для сектора услуг — социальные, а для финансов — управленческие.

Что такое ESG-рейтинг и как он формируется

ESG-рейтинг формируют независимые исследовательские агентства — Bloomberg, S&P Dow Jones Indices, JUST Capital, MSCI, Refinitiv и другие. Они оценивают развитие компаний по трем критериям — E, S и G — и присваивают баллы по стобалльной шкале.

Например, конгломерат Kering (модные дома Gucci, Balenciaga, Saint Laurent) с 2019 года остается лидером рейтинга MSCI среди 28 компаний в сфере производства одежды и предметов роскоши. Всё благодаря его программе устойчивого развития, которая включала в том числе:

Red score что такое. 756323140528630. Red score что такое фото. Red score что такое-756323140528630. картинка Red score что такое. картинка 756323140528630

Единого подхода к формированию рейтинга нет. Все агентства анализируют открытые данные о компаниях, но считают баллы по-разному. Поэтому ESG-рейтинги разных агентств могут сильно различаться.

Например, MSCI присвоила розничной сети Boohoo высокий рейтинг, несмотря на расследования о том, что компания занижает зарплату сотрудникам и игнорирует локдаун во время пандемии. В то же время другие рейтинговые агентства поставили Boohoo более низкую оценку.

Как ESG-инвестиции влияют на рынок

Популярность ESG-инвестиций растет с каждым годом. Эксперты считают, что это происходит в том числе из-за интересов миллениалов (рожденных в 1980–1990-х годах), которые стали платежеспособной аудиторией. Ценности этого поколения отличаются от предыдущего: для них бизнес и инвестиции — это не только про доход, но и про заботу об экологии и обществе.

Red score что такое. 756323140740372. Red score что такое фото. Red score что такое-756323140740372. картинка Red score что такое. картинка 756323140740372

Повышенный спрос на ESG вынуждает компании считаться с принципами устойчивого развития. Теперь, из-за давления инвесторов и банков, им невыгодно иметь низкий ESG-рейтинг.

Инвесторы меньше поддерживают компании с низким ESG-рейтингом. В 2020 году компания EY провела опрос среди институциональных инвесторов — страховых и инвестиционных компаний, пенсионных и благотворительных фондов. В результате 98% опрошенных заявили, что строго отслеживают ESG-рейтинг компании. Вот главные причины:

Банки учитывают ESG-рейтинг при выдаче кредитов. Например, Сбербанк выдал кредит инвестиционной компании АФК «Система» в ноябре 2020 года: в этом кредите процентная ставка привязана к выполнению требований об экологической политике и ответственном инвестировании.

Какие компании входят в топ ESG-рейтингов

В мире есть множество примеров успешных корпораций, которые ориентируются на принципы ESG. По версии компании Corporate Knights, в 2021 году в первую пятерку входят:

Компания Corporate Knights ежегодно публикует рейтинг 100 самых устойчивых глобальных корпораций в мире. Рейтинг основан на публично раскрытых данных.

Многие российские компании тоже придерживаются ESG-принципов. Например, горнорудная компания «Полиметалл» активно развивает экологические и социальные проекты:

В результате Полиметалл уже четвертый раз подряд становится лидером рэнкинга независимого кредитного рейтингового агентства RAEX-Europe. Рэнкинг — это часть проекта RAEX-Europe по сбору, систематизации и анализу ESG-данных компаний постсоветского пространства.

Red score что такое. 756165949907491. Red score что такое фото. Red score что такое-756165949907491. картинка Red score что такое. картинка 756165949907491

RAEX-Europe обновляет ESG-рэнкинг каждый месяц: агентство переоценивает компании по мере выхода их годовых отчетов, а также включает новые, которые еще не получали оценку. Таким образом, рэнкинг охватил уже 135 российских компаний из 24 различных отраслей.

Первый в России крупный форум на тему ESG состоялся в Москве 14 октября 2021 года при поддержке медиахолдинга РБК. С итогами конгресса «ESG-(Р)Эволюция» вы можете ознакомиться на странице мероприятия.

Источник

Основные метрики задач классификации в машинном обучении

Red score что такое. osnovnye metriki zadach klassifikatsii v mashinnom obuchenii. Red score что такое фото. Red score что такое-osnovnye metriki zadach klassifikatsii v mashinnom obuchenii. картинка Red score что такое. картинка osnovnye metriki zadach klassifikatsii v mashinnom obuchenii

Red score что такое. 25039189a2d5f75eff5471af93db16c4. Red score что такое фото. Red score что такое-25039189a2d5f75eff5471af93db16c4. картинка Red score что такое. картинка 25039189a2d5f75eff5471af93db16c4

Абрамов Роман,
Data Scientist

В каждой задаче машинного обучения ставится вопрос оценки результатов моделей.

Без введенных критериев, невозможно будет ни оценить “успешность” модели, ни сравнить между собой два различных алгоритма. Именно поэтому важно учесть правильный выбор метрик для поставленной задачи, хотя множество существующих метрик может запутать и, в конечном счете, привести к неоптимальному решению.

Несмотря на популярность машинного обучения, во многих её сферах до сих пор не сформировалась единая теоретическая концепция. Исключением не стала и рассматриваемая область. Хоть и существуют некоторые общие рекомендации к применению метрик для некоторых задач, конечное решение лежит на плечах аналитика.

Бинарная классификация

Возьмём к примеру задачу выявления подозрения на определенное заболевание. Если у пациента оно есть, то это будет положительным классом. Если нет – отрицательным. Результатом работы модели может быть определение – следует ли «заподозрить» у пациента какой-то определенный диагноз (тогда результат = true) или нет (тогда результат = false).

Пусть какой-то набор медицинских данных характерен для данного диагноза. Если наша модель верно определила и поставила положительный класс, тогда это истинно положительный исход, если же модель ставит отрицательную метку класса, тогда это ложно отрицательный исход. В случае отсутствия диагноза у рассматриваемого набора данных исходы модели остаются аналогичными. Тогда если модель относит запись к классу положительную, то мы говорим о ложно положительном исходе (модель «сказала» что диагноз есть, но на самом деле его нет), и наоборот, если модель определят запись как отрицательный класс, то это — истинно отрицательный исход.

Red score что такое. 1 4DJUgtU. Red score что такое фото. Red score что такое-1 4DJUgtU. картинка Red score что такое. картинка 1 4DJUgtU

Рисунок 1: Матрица сопряженности возможных результатов бинарной классификации

Accuracy

Одной из наиболее простых, а поэтому и распространенной метрикой является точность. Она показывает количество правильно проставленных меток класса (истинно положительных и истинно отрицательных) от общего количества данных и считается следующим образом [Evaluation: from precision, recall and F-measure to ROC, informedness, markedness and correlation]:

Red score что такое. bezimeni 3 VdaeGz8. Red score что такое фото. Red score что такое-bezimeni 3 VdaeGz8. картинка Red score что такое. картинка bezimeni 3 VdaeGz8
Однако, эта простота является также и причиной, почему её часто критикуют и почему она может абсолютно не подойти под решаемую задачу. Она не учитывает соотношения ложных срабатываний модели, что может быть критическим, особенно в медицинской сфере, когда стоит задача распознать все истинные случаи диагноза.

Вернемся к примеру с подозрением на заболевание. Если наша точность равна 80%, то можно сказать, что в среднем из 100 человек она правильно определит наличие или отсутствие диагноза лишь у 80 человек, тогда как ещё 20 будут либо ложно отрицательными, либо ложно положительными.

Стоит обратить внимание на то, что в некоторых задачах необходимо определить всех пациентов с диагнозом и можно даже пренебречь ложно положительными исходами, так как они могут отсеяться на следующих стадиях исследования (например, после контрольной сдачи анализов), тогда необходимо добавить к этой метрике ещё одну, которая могла бы оценить требуемый приоритет.

Precision

Несмотря на различные английские названия и разные формулы подсчета, русский перевод этой метрики также закрепился как «точность», что может вызвать недоумение и конфуз, поэтому следует уточнять, о чем именно вы говорите. Эта точность показывает количество истинно положительных исходов из всего набора положительных меток и считается по следующей формуле [Evaluation: from precision, recall and F-measure to ROC, informedness, markedness and correlation]:

Red score что такое. bezimeni 4. Red score что такое фото. Red score что такое-bezimeni 4. картинка Red score что такое. картинка bezimeni 4
Важность этой метрики определяется тем, насколько высока для рассматриваемой задачи «цена» ложно положительного результата. Если, например, стоимость дальнейшей проверки наличия заболевания у пациента высока и мы просто не можем проверить все ложно положительные результаты, то стоит максимизировать данную метрику, ведь при Precision = 50% из 100 положительно определенных больных диагноз будут иметь лишь 50 из них.

Recall (true positive rate)

В русском языке для этого термина используется слово «полнота» или «чувствительность». Эта метрика определяет количество истинно положительных среди всех меток класса, которые были определены как «положительный» и вычисляется по следующей формуле [The relationship between Precision-Recall and ROC curves ].

Red score что такое. bezimeni 5. Red score что такое фото. Red score что такое-bezimeni 5. картинка Red score что такое. картинка bezimeni 5
Необходимо уделить особое внимание этой оценке, когда в поставленной задаче ошибка нераспознания положительного класса высока, например, при выставлении диагноза какой-либо смертельной болезни.

F1-Score

В том случае, если Precision и Recall являются одинаково значимыми, можно использовать их среднее гармоническое для получения оценки результатов [On extending f-measure and g-mean metrics to multi-class problems]:

Red score что такое. bezimeni 9. Red score что такое фото. Red score что такое-bezimeni 9. картинка Red score что такое. картинка bezimeni 9

Помимо точечных оценок, существует целый ряд графических методов, способных оценить качество классификации.

ROC (receiver operating characteristic) – график, показывающий зависимость верно классифицируемых объектов положительного класса от ложно положительно классифицируемых объектов негативного класса. Иными словами, соотношение True Positive Rate (Recall) и False Positive Rate (Рисунок 2). При этом, False Positive Rate (FPR) рассчитывается по следующей формуле [Evaluation: from precision, recall and F-measure to ROC, informedness, markedness and correlation]:

Red score что такое. 2. Red score что такое фото. Red score что такое-2. картинка Red score что такое. картинка 2

Рисунок 2: ROC кривая

Рисунок 2 содержит пример двух ROC – кривых. Идеальное значение графика находится в верхней левой точке (TPR = 1, a FPR = 0). При этом, кривая, соответствующая FPR = TPR является случайным гаданием, а если график кривой модели или точка находятся ниже этого минимума, то это говорит лишь о том, что лучше подбрасывать монетку, чем использовать эту модель. При этом говорят, что кривая X доминирует над другой кривой Y, если X в любом точке находится левее и выше Y [Using AUC and accuracy in evaluating learning algorithms ], что означает превосходство первого классификатора над вторым.

С помощью ROC — кривой, можно сравнить модели, а также их параметры для поиска наиболее оптимальной (с точки зрения tpr и fpr) комбинации. В этом случае ищется компромисс между количеством больных, метка которых была правильно определена как положительная и количеством больных, метка которых была неправильно определена как положительная.

AUC (Area Under Curve)

В качестве численной оценки ROC кривой принято брать площадь под этой кривой, которая является неплохим «итогом» для кривой. Если между кривыми X и Y существует доминирование первой над второй, то AUC (X) > AUC (Y), обратное не всегда верно. Но AUC обладает так же и статистическим смыслом: она показывает вероятность того, что случайно выбранный экземпляр негативного класса будет иметь меньше вероятность быть распознанным как позитивный класс, чем случайно выбранный позитивный класс [Using AUC and accuracy in evaluating learning algorithms].

Red score что такое. 3. Red score что такое фото. Red score что такое-3. картинка Red score что такое. картинка 3

Рисунок 3.Два классификатора имеют одинаковую точность, но разный AUC

Мульти-классификация

Все рассмотренные выше метрики относились лишь к бинарной задаче, но, зачастую, классов больше, чем два. Это обуславливает необходимость в обобщении рассмотренных метрик. Одним из возможных способов является вычисление среднего метрики по всем классам [On extending f-measure and g-mean metrics to multi-class problems]. Тогда в качестве «положительного» класса берется вычисляемый, а все остальные — в качестве «отрицательного».

В этом случае формулы для метрик будут выглядеть следующим образом:

Red score что такое. bezimeni 8. Red score что такое фото. Red score что такое-bezimeni 8. картинка Red score что такое. картинка bezimeni 8

Применение в предиктивной аналитике для здравоохранения

Изученную теорию всегда следует подкрепить практикой. В данном случае, можно рассмотреть применение тех или иных метрик для реальных задач, связанных с использованием моделей машинного обучения в здравоохранении. В большинстве случаев рекомендуется использовать метрики AUC и F-Score, потому что они включают в себя широкий список возможных исходов и, как было замечено ранее, AUC превосходит метрику Accuracy, но спор насчет этого ведётся до сих пор.

Основной задачей предиктивной аналитики для здравоохранения является предсказание различных событий. Эта тема довольно неплохо изучена для различных заболеваний и сценариев использования, поэтому существует множество возможных методов её решения. Данный тип задач оценивается всеми рассмотренными метриками для классификации, но чаще остальных можно заметить Accuracy благодаря её простоте. Например, в Disease prediction by machine learning over big data from healthcare communities авторы анализируют медицинские записи с целью предсказания возможности появления какого-либо заболевания и у них получается это на уровне 70% для Accuracy, Precision, Recall и F1. В Intelligent heart disease prediction system using data mining techniques и Heart disease prediction system using naive Bayes метрика Accuracy достигает приблизительно 90-95%, но на это сказывается размер набора данных, который был использован для исследования.

Среди всего списка заболеваний особую актуальность имеют сердечно сосудистые заболевания (ССЗ). Множество исследований, посвященных предсказанию ССЗ демонстрируют то, чего можно достичь в этой области благодаря машинному обучению. Зачастую здесь используется метрика AUC для сравнения качества моделей. Например в A data-driven approach to predicting diabetes and cardiovascular disease with machine learning авторы работали с базой, которая собиралась в течение 20 лет, содержащей более ста признаков. Целью являлось предсказание ранних стадий ССЗ, предиабета и диабета, они добились показателей равных 0.957, 0.802 и 0.839 площади под кривой. В Development and verification of prediction models for preventing cardiovascular diseases авторы исследовали возможность различных исходов (смерть, госпитализация и другие), связанных с ССЗ. Наилучший показатель AUC был равен 0.96. В Перспективы использования методов машинного обучения для предсказания сердечно-сосудистых заболеваний исследуется возможность предсказания ССЗ с помощью методов машинного обучения и некоторых медицинских данных. Для Accuracy, Precision, Recall и AUC были получены результаты 78%, 0.79, 0.67 и 0.84 соответственно.

Заключение

Рассмотренные метрики являются лишь основными и только для задачи классификации. Существует ещё множество различных областей, в которых они будут разными, потому что каждая задача имеют свою специфику и приоритеты. Невозможно дать каких-то четких гарантий и определить, какая из метрик лучше, выбирать и отдавать предпочтение стоит лишь исходя из опыта своего и других исследователей.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *