Python miniconda что это

Настраиваем Python для машинного обучения на Windows

Машинное обучение − это просто. Но знаете ли вы, что можно использовать Python для машинного обучения? Вот инструкция по настройке для Windows.

Люди привыкли выполнять большую часть работы автономно. В этой статье рассказываем о возможностях языка Python для машинного обучения на Windows, описание дистрибутива Anaconda, процесс его установки и создание нейронной сети.

Anaconda и Conda

Используемый в Python pip не идеален. Для оптимизации работы был выпущен дистрибутив Anaconda и система управления Conda, которые могут помочь в настройке Python для машинного обучения.

Хотя Conda тесно связана с Anaconda, эти проекты отличаются своими функциями. Anaconda − дистрибутив ПО в экосистеме PyData, которая включает сам язык программирования Python, а также двоичные файлы для нескольких сторонних проектов. Существует и Miniconda − версия с минимальным исходным пакетом. Conda − система управления пакетами, которая может быть установлена без Anaconda или Miniconda. Она способна решать проблемы внешних зависимостей, путем загрузки скомпилированных версий ПО. Кроме того, Conda является менеджером среды. С ее помощью вы можете настроить отдельную среду. Сейчас мы рассмотрим процесс установки Miniconda.

Установка дистрибутива Miniconda

Скачайте и установите необходимую версию Miniconda на ПК. При установке продвинутых настроек снимите галочку с первого пункта.

Чтобы получить больше информации об установке, запустите conda info:

Понимание среды Conda

При работе с чужими проектами у вас может возникнуть потребность в установке определенных версий пакетов. Виртуальные среды − решение проблемы. Они позволяют создать несколько сред, каждая из которых имеет разные версии пакетов. Базовая настройка Python для машинного обучения включает в себя Virtualenv, инструмент для создания изолированных сред.

Conda включает собственный менеджер среды и дает некоторые преимущества относительно Virtualenv. Кроме того, среды Conda полностью совместимы с базовыми пакетами языка Python, которые могут быть установлены с помощью pip.

Используя Anaconda, можно проверить доступные среды Conda, запустив сonda env list:

После завершения процесса создания среды, можно ее активировать, запустив conda activate otherenv. Заметить изменения среды можно, посмотрев на скобки в начале строки:

Откройте Python interpreter в этой среде, запустив python:

Среда включает в себя Python 3.7.0, ту же версию, что включена в корневую среду. Чтобы выйти, запустите quit():

Чтобы отключить среду otherenv и вернуться в корневую среду, пропишите deactivate:

Как видно из вывода conda create, были установлены новые пакеты, так как среда использует Python 2.7. Можно проверить, что среда действительно использует его, активировав Python interpreter:

Теперь, если вы запустите conda env list, можно увидеть две среды, которые были созданы вами:

Управление базовыми пакетами с помощью Conda

Пакеты ПО могут быть установлены с помощью Conda. Корневая база Miniconda включает в себя базовые пакеты, которые не являются частью стандартной библиотеки Python для настройки машинного обучения.

Установка по умолчанию включает минимум пакетов Conda. Чтобы проверить список установленных пакетов, нужно убедиться, что она активна, и запустить conda list. В корневой среде устанавливаются эти пакеты:

Поиск и установка пакетов

Пакеты устанавливаются из репозиториев, называемых channels by Conda. Чтобы выполнить поиск определенного пакета, запустите поиск

. Вот так вы будете искать keras:

Для каждой версии существуют разные версии пакетов и сборки. Предыдущий поиск показывает только пакеты с именем keras. Чтобы выполнить более широкий поиск, используйте *. Например, при запуске conda search *keras*, вы получите следующее:

Вы можете заметить, что в каналах по умолчанию есть и другие пакеты, связанные с keras.

Чтобы установить пакет, запустите conda install

. По умолчанию самая новая версия пакета будет установлена в активной среде. Установите пакет keras в среду otherenv, созданную вами:

Conda управляет необходимыми функциями для пакета. Так как у keras их много, при его установке Conda позволяет установить большой список пакетов.

Поскольку новая сборка keras использует Python 3.6, а среда otherenv была создана с использованием Python 3.7, пакет python 3.6.6 был включен как зависимость. После подтверждения установки вы сможете проверить, что версия Python для среды otherenv была понижена до версии 3.6.6.

Но если вы не хотите понижать версию вашего пакета, просто создайте новую среду с необходимой версией Python. Чтобы проверить список пакетов и прочего, необходимого для ее установки, посмотрите на параметр —dry-run:

При необходимости можно изменить базовую версию Python среды Conda, установив определенную версию пакета python. Создайте новую среду под названием envpython:

Поскольку корневая среда использует Python 3,7, создается envpython с этой же версией.

Если вам нужно установить несколько пакетов, запустите conda install, указав имена пакетов. Вот как вы установите numpy, scipy и matplotlib:

Обновление и удаление пакетов

Иногда вам будет нужно обновлять пакеты. Для этого запустите conda update

, но помните, что при удалении пакета, все зависимые от него тоже удалятся:

Использование каналов

Иногда вы не сможете найти нужные вам пакеты на базовых каналах. Вот так вы будете устанавливать pytorch:

В случае, если будете искать pytorch на сайте anaconda, вы получите следующие результаты:

В канале pytorch имеется пакет под названием pytorch с версией 0.4.1. Чтобы установить пакет с определенного канала, используйте параметр -c вместе с conda install:

Использование Pip в среде Conda

Иногда при настройке Python для машинного обучения вам могут понадобиться чистые пакеты Python, которые будут недоступны на каналах Conda. Например, Unipath.

Вы сможете найти пакет, используя другой канал. Но так как unipath − чистый пакет Python, то можно использовать pip для его установки. Следует использовать pip, установленный conda create:

Чтобы установить pip, активируйте среду и установите пакет Conda:

Наконец, используйте pip, чтобы установить unipath:

После установки вы можете посмотреть на пакеты с помощью conda list и проверить, что Unipath был установлен:

Также можно использовать пакеты из системы VSC с помощью pip. Чтобы активировать supervisor, version 4.0.0dev0. доступный в репозитории Git, для начала установите последний:

Теперь установите supervisor, используя pip, с помощью репозитория Git:

После завершения установки supervisor будет указан в списке установленных пакетов:

Простой пример машинного обучения

XOR gate − ещё один момент, который стоит знать в процессе настройки Python для машинного обучения: используя Conda обучите нейронную сеть функционировать как XOR gate

XOR gate реализуют операцию OR. Требуется два цифровых входа, равные 0 или 1. И вывода, 1 (true) и 0 (false). Таблица ниже суммирует операции XOR gate:

Операцию XOR можно интерпретировать как classification problem, потому что она принимает два входа и должна классифицировать их как 0 или 1 в зависимости от того, равны они друг другу или нет. Именно этот пример обычно используется в качестве первого случая обучения нейронной сети, поскольку он прост, но в то же время требует нелинейного классификатора, такого как нейронная сеть. Чтобы реализовать нейронную сеть, создайте среду Conda, названную nnxor:

Теперь активируйте и установите пакет keras:

keras − высокоуровневый API, который упрощает внедрение нейронных сетей поверх известных библиотек, таких как TensorFlow. Обучите следующую нейронную сеть действовать как XOR gate:

Сеть берет два входа (A, B) и передает их двум нейронам, показанными большими кругами. Затем она принимает входные данные этих нейронов и подает их на выходной нейрон, который должен обеспечивать классификацию в соответствии с таблицей XOR.

Процесс обучения состоит в том, чтобы настроить значения w_1 до w_6, чтобы выход соответствовал таблице. Для этого входные примеры начнут подаваться по одному, вывод станет рассчитываться с текущими значениями, и, сравнивая вывод с желаемым, значения будут корректироваться.

Для этого создайте папку с именем nnxor в директории (C:\Users\IEUser) с файлом под именем nnxor.py, чтобы сохранить программу Python для реализации нейронной сети.

В файле nnxor.py выберите сеть для обучения и тестирования:

Импортируйте numpy, инициализируйте случайный seed, чтобы можно было воспроизвести те же результаты при повторном запуске программы и импортировать keras, используемый в сети.

Определите массив X, содержащий 4 возможных набора A-B входов, и массив y, содержащий выходные данные.

Следующие пять строк сформируют нейронную сеть. Модель Sequental() − одна из моделей keras для определения нейронной сети. Определите первый слой из двух входных нейронов, определив их функцию активации в качестве sigmond function. Затем обозначьте входной слой их одного нейрона с той же функцией активации.

Следующие две строки определяют детали обучения сети. Чтобы настроить параметры, используйте Stochastic Gradient Descent с оптимальной скоростью обучения, равной 0,1. Наконец, выполните обучение с помощью fit(), используя X и Y в качестве примеров обучения, после того, как каждый пример будет загружен в сеть (batch_size=1). Число epochs представляет собой количество попыток обучения сети.

В этом случае вы повторяете операцию 5500 раз, используя обучающий набор, содержащий 4 примера ввода и вывода. После обращения нейросети к исходным данным тренировочные варианты перемешиваются заново.

На последней строке вы печатаете прогнозируемые значения 4 возможных примеров ввода.

После обучения, вы можете проверить прогнозы, которые дает сеть для возможных входных значений:

Как вы определите X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]]), ожидаемые входные округленные значения станут равны 0,1,1 и 0, что согласуется с прогнозами сети.

Машинное обучение применяется в различных областях, охватывая все большую аудиторию. Тем не менее, создание среды может быть сложней задачей. В этой статье вы узнали об основах создания среды Python на Windows с использованием Anaconda. Теперь, когда у вас есть основа, пришло время начать работу с настоящими приложениями.

Понравилась статья о настройке Python для машинного обучения? Книги по Python и другие материалы:

Источник: Настройка Python для машинного обучения on Realpython

Источник

Настройка Python для машинного обучения в Windows

Перевод статьи Оглавление Представляем Anaconda и Conda Установка дистрибутива Miniconda Python Понимание окружающей среды Conda Понимание базового управления пакетами с…

Из-за этих зависимостей иногда бывает нетрудно настроить среду для численных расчетов, связывающую все необходимые библиотеки. Людям трудно изо всех сил пытаться заставить вещи работать на семинарах, использующих Python для машинного обучения, особенно когда они используют операционную систему, в которой отсутствует система управления пакетами, например Windows.

В этой статье вы будете:

Бесплатный бонус: нажмите здесь, чтобы получить доступ к шпаргалке Conda с удобными примерами использования для управления средой и пакетами Python.

Представляем Anaconda и Conda

С 2011 года в состав Python входит pip система управления пакетами, используемая для установки и управления программными пакетами, написанными на Python. Однако для численных вычислений существует несколько зависимостей, которые не написаны на Python, поэтому первые выпуски pip не могли решить проблему самостоятельно.

Хотя Conda тесно связана с Anaconda Python Distribution, это два разных проекта с разными целями:

Существует много дискуссий по поводу создания еще одной системы управления пакетами для экосистемы Python. Стоит отметить, что создатели Conda довели стандартную упаковку Python до предела и создали второй инструмент только тогда, когда стало ясно, что это единственный разумный путь вперед.

Anaconda и Miniconda стали самыми популярными дистрибутивами Python, широко используемыми для обработки данных и машинного обучения в различных компаниях и исследовательских лабораториях. Они являются бесплатными проектами с открытым исходным кодом и в настоящее время включают более 1400 пакетов в хранилище. В следующем разделе мы рассмотрим установку дистрибутива Miniconda Python на компьютере с Windows.

Установка дистрибутива Miniconda Python

В этом разделе вы увидите пошаговые инструкции по настройке среды Python для науки о данных в Windows. Вместо полного дистрибутива Anaconda вы будете использовать Miniconda для настройки минимальной среды, содержащей только Conda и ее зависимости, и будете использовать ее для установки необходимых пакетов.

Больше нет смысла использовать Python 2 в новом проекте, и если вам нужен Python 2 для какого-то проекта, над которым вы работаете, из-за какой-то библиотеки, которая не была обновлена, можно настроить среду Python 2, используя Conda, даже если вы установили дистрибутив Miniconda Python 3.x, как вы увидите в следующем разделе.

После завершения загрузки вам просто нужно запустить установщик и выполнить шаги установки:

Поскольку Anaconda не была включена в переменную среды PATH, ее команды не будут работать в командной строке Windows по умолчанию. Чтобы использовать дистрибутив, вы должны запустить его собственную командную строку, что можно сделать, нажав на кнопку «Пуск» и на Anaconda Prompt под Anaconda3 (64 бит) :

Чтобы получить больше информации об установке, вы можете запустить conda info :

Теперь, когда у вас установлена ​​Miniconda, давайте посмотрим, как работает среда Conda.

Понимание окружающей среды Conda

Эта проблема также может возникать при попытке запустить приложение, которое вы разработали давно, в котором используется определенная версия библиотеки, которая больше не работает с вашим приложением из-за обновлений.

Установка Miniconda предоставляет Conda и корневую среду с установленной версией Python и некоторыми базовыми пакетами. Помимо этой корневой среды, можно настроить дополнительные среды, включая различные версии Python и пакеты.

Используя приглашение Anaconda, можно проверить доступные среды Conda, выполнив conda env list :

Вы можете открыть интерпретатор Python в этой среде, выполнив python :

Среда включает в себя Python 3.7.0, ту же версию, включенную в корневую базовую среду. Чтобы выйти из интерпретатора Python, просто запустите quit() :

Чтобы деактивировать otherenv среду и вернуться в корневую базовую среду, вы должны выполнить deactivate :

Теперь, когда вы рассмотрели основы управления средами с помощью Conda, давайте посмотрим, как управлять пакетами в этих средах.

Понимание базового управления пакетами с Conda

В каждой среде пакеты программного обеспечения можно установить с помощью диспетчера пакетов Conda. Корневая базовая среда, созданная установщиком Miniconda, по умолчанию включает в себя некоторые пакеты, которые не являются частью стандартной библиотеки Python.

Для управления пакетами вы также должны использовать Conda. Далее, давайте посмотрим, как искать, устанавливать, обновлять и удалять пакеты с помощью Conda.

Поиск и установка пакетов

. Например, вот как вы ищите keras пакет (библиотека машинного обучения):

Согласно предыдущему выводу, существуют разные версии пакета и разные сборки для каждой версии, например, для Python 3.5 и 3.6.

Как показывает предыдущий вывод, в каналах по умолчанию есть несколько других связанных с keras пакетов.

Чтобы установить пакет, вы должны запустить conda install

. По умолчанию самая новая версия пакета будет установлена ​​в активной среде. Итак, давайте установим пакет keras в среду, otherenv которую вы уже создали:

Conda управляет необходимыми зависимостями для пакета при его установке. Поскольку пакет keras имеет много зависимостей, при установке Conda удается установить этот большой список пакетов.

Стоит отметить, что, поскольку keras новейшая сборка пакета использует Python 3.6, а otherenv среда была создана с использованием Python 3.7, python версия пакета 3.6.6 была включена в качестве зависимости. После подтверждения установки вы можете проверить, что версия Python для otherenv среды понижена до версии 3.6.6.

Как вы видели ранее, поскольку корневая базовая среда использует Python 3.7, envpython создается в том же варианте Python:

Чтобы установить конкретную версию пакета, вы можете запустить conda install

Теперь, когда вы рассмотрели, как искать и устанавливать пакеты, давайте посмотрим, как обновить и удалить их с помощью Conda.

Обновление и удаление пакетов

Иногда, когда выпускаются новые пакеты, вам необходимо обновить их. Для этого вы можете бежать conda update

Чтобы удалить пакет, вы можете запустить conda remove

. Например, вот как вы удаляете numpy из корневой базовой среды:

Стоит отметить, что при удалении пакета все пакеты, которые зависят от него, также удаляются.

Использование каналов

Иногда вы не можете найти пакеты, которые хотите установить, на каналах по умолчанию, настроенных установщиком. Например, вот как вы устанавливаете pytorch другой пакет машинного обучения:

Установщик Miniconda включает только defaults каналы. Если включено больше каналов, необходимо установить их приоритет, чтобы определить, с какого канала будет установлен пакет, если он доступен из более чем одного канала.

Не все пакеты доступны на каналах Conda. Однако это не проблема, так как вы также можете использовать pip для установки пакетов в среде Conda. Посмотрим, как это сделать.

Использование pip внутри среды Conda

Иногда вам могут понадобиться чистые пакеты Python, и, как правило, эти пакеты не доступны на каналах Conda. Например, если вы ищете unipath пакет для обработки путей к файлам в Python, Conda не сможет его найти.

Далее, чтобы pip установить, вы должны активировать среду и установить пакет Conda pip :

Наконец, используйте pip для установки пакета unipath :

После установки вы можете просмотреть список установленных пакетов conda list и проверить, что Unipath было установлено с помощью pip:

После завершения установки вы можете увидеть, что supervisor указано в списке установленных пакетов:

Теперь, когда вы знакомы с основами использования сред и управления пакетами с помощью Conda, давайте создадим простой пример машинного обучения для решения классической задачи с использованием нейронной сети.

Простой пример машинного обучения

Он обычно используется в качестве первого примера для обучения нейронной сети, поскольку он прост и в то же время требует нелинейного классификатора, такого как нейронная сеть. Нейронная сеть будет использовать только данные из таблицы истинности, не зная, откуда она взялась, чтобы «изучить» операцию, выполняемую шлюзом XOR.

Чтобы реализовать нейронную сеть, давайте создадим новую среду Conda с именем nnxor :

Затем активируем его и установим пакет keras :

Вы научите следующую нейронную сеть действовать как ворота XOR:

Чтобы организовать проект, вы создадите папку с именем nnxor в папке пользователя Windows ( C:\Users\IEUser ) с файлом с именем nnxor.py для хранения программы Python для реализации нейронной сети:

В этом nnxor.py файле вы определите сеть, проведете обучение и протестируете ее:

Наконец, вы выполняете обучение, выполняя fit() метод, используя X и в y качестве примеров обучения и обновляя веса после того, как каждый пример обучения подается в сеть ( batch_size=1 ). Число epochs представляет количество раз, которое весь обучающий набор будет использоваться для обучения нейронной сети.

В этом случае вы повторяете обучение 5000 раз, используя обучающий набор, содержащий 4 примера ввода-вывода. По умолчанию каждый раз, когда используется обучающий набор, примеры обучения перемешиваются.

В последней строке после завершения процесса обучения вы выводите прогнозные значения для 4 возможных входных примеров.

Запустив этот сценарий, вы увидите эволюцию процесса обучения и повышение производительности по мере поступления в сеть новых примеров обучения:

После окончания обучения вы можете проверить прогнозы, которые дает сеть для возможных входных значений:

Куда пойти отсюда

Приложения для обработки данных и машинного обучения появляются в самых разных областях, привлекая все больше людей. Однако настройка среды для численных вычислений может быть сложной задачей, и часто пользователи сталкиваются с проблемами на семинарах по науке о данных, особенно при использовании Windows.

В этой статье вы рассмотрели основы настройки среды численных вычислений Python на компьютере с Windows с помощью дистрибутива Anaconda Python.

Бесплатный бонус: нажмите здесь, чтобы получить доступ к шпаргалке Conda с удобными примерами использования для управления средой и пакетами Python.

Теперь, когда у вас есть рабочая среда, пришло время начать работу с некоторыми приложениями. Python – один из наиболее используемых языков для науки о данных и машинного обучения, а Anaconda – один из самых популярных дистрибутивов, используемых в различных компаниях и исследовательских лабораториях. Он предоставляет несколько пакетов для установки библиотек, на которые опирается Python для сбора, обработки, обработки и визуализации данных.

Источник

Сравнение Anaconda и Miniconda, которые следует использовать для построения окружения

2018 年 11 月 12 日 2019 年 9 月 5 日

Об анаконде и миниконде

Когда дело доходит до создания среды машинного обучения с помощью Python, во многих книгах и на сайтах говорится, что вы должны пока использовать Anaconda.

Это правда, что Anaconda упрощает создание среды, но у нее также есть свои недостатки.Поэтому сравнил характеристики Анаконды и Миниконды.

Анаконда

«Python + язык R + conda + 1000 или более связанных пакетов + среда выполнения + и т. Д.».

Если вы установите Anaconda, вы сможете использовать пакеты для научных расчетов и обработки данных вместе с Python.Он также включает «R», язык программирования для науки о данных наряду с Python, и их комплексную среду разработки.Грубо говоря, устанавливаются следующие приложения.

Миниконда

«Python + conda + минимальный пакет»

Самая маленькая конфигурационная версия Anaconda. Установка python проста, но необходимые пакеты и среда выполнения создаются индивидуально с использованием conda.

Что такое Конда
Менеджер пакетов.Программа для установки пакетов и организации окружения. Вы можете выполнять различные команды, вводя команду conda на экране под названием conda prompt.
Пример команды: «Установить пакет: conda install

» «Проверить среду: информация conda»

Преимущества и недостатки каждого

Анаконда

Миниконда

Кстати, когда я попробовал это в октябре 2018 года, размер файла отличался более чем в 10 раз.

Какой из них должен строить среду

Сначала я построил среду с помощью Anaconda, но я не мог понять содержимое, поэтому я удалил его и перестроил с помощью Miniconda.

Хотя Anaconda является стандартной и богатой инструментами, вам приходится заглядывать в пакет, когда вы пишете свои собственные программы.Я думаю, важно, чтобы вы знали, что в нем содержится.

ссылка

Метод построения окружения с помощью Miniconda кратко описан ниже.

Создание среды Python для машинного обучения с Miniconda [Windows 10]

Источник