за Машинное Обучение и прочие Нейросети

Вопросы баз знаний, надсистем и искусственных интеллектов

Модератор: al_mt

Аватара пользователя
al_mt
Сообщения: 11894
Зарегистрирован: 19 апр 2010 10:30
Откуда: Таганрог

Re: за Машинное Обучение и прочие Нейросети

Сообщение al_mt » 10 апр 2018 15:34

Игрался... Прикольная вещь.
Но ресурсы жрёт, как не в себя.
Если городить самодеятельно, то лучше более простые алгоритмы.
- Суперинтендант, у Вас есть список всех Тайных Обществ?
- Конечно...

XAXA
Сообщения: 637
Зарегистрирован: 15 фев 2012 01:55

Re: за Машинное Обучение и прочие Нейросети

Сообщение XAXA » 10 апр 2018 17:03

А что для этого нужно?
технически материально?
базу данных для обучения в каком виде формируют?

Аватара пользователя
al_mt
Сообщения: 11894
Зарегистрирован: 19 апр 2010 10:30
Откуда: Таганрог

Re: за Машинное Обучение и прочие Нейросети

Сообщение al_mt » 10 апр 2018 17:16

Обычно это библиотека для чего-нибудь от питона до яваскрипта.
Я игрался давным-давно на дельфях.
Нужно - какой-нибудь компутер.
База данных для обучения, обычно в виде таблички в текстовом файле и выхлоп обученной сети такой же.

Вроде как есть приблуда встраиваемая в маткад, но этого я ни разу не пробовал.

На самом деле всё ОЧЕНЬ сильно зависит от конкретной задачи.
- Суперинтендант, у Вас есть список всех Тайных Обществ?
- Конечно...

gnuzzz
Сообщения: 553
Зарегистрирован: 15 апр 2010 17:39

Re: за Машинное Обучение и прочие Нейросети

Сообщение gnuzzz » 10 апр 2018 17:32

нужен комп с дискретной видеокартой
вот старшие товарищи рекомендуют:
По поводу конфигов компов. Из стиля работы при решении конкурсов и рабочих задач я пришёл к тому, что нужны тачки двух типов: рабочий комп для отладки кода и девбокс для обучения.
Мои требования к рабочему компу:
- Стационарный комп(не ноут) с двумя мониками
- Максимальная производительность на одно ядро (во время отладки часто код не оптимизирован под мультипроцесс)
- 64 Gb памяти (во время отладки бывает, что загружаю весь датасет, чтобы не морочиться с итератором)
- Наличие мелкий видюхи типа GT710, чтобы иксы не становились слайд шоу при обучении
- Видюха (1080 или 1080ti не принципиально, отладить можно и с батчем 2)
Исходя их этих требований собрал i7 7700K, 64Gb, Z270 TUF2, 1080.
Требования к девбоксу:
- Чём больше видюх, тем лучше
- Чём больше ядер, тем лучше, при условии, что ядро имеет частоту хотя бы 3.0GHz
- Чём больше памяти, тем лучше
Ну и девбокс может быть не одним и стоит, как правило хэдлесс. В их роли у меня две тачки с 4х 1080ti и 2x Titan X Maxwell.
Если кто-то делает только первые шаги в DL, то хватит для всего только рабочей тачки с одной видюхой. Но при этом надо понимать, что если собрать сразу девбокс с 2+ видюхами, то работать за ним будет почти невозможно. Во-первых, он шумит и греется. Во вторых, если на нем запущено обучение, то превращается в тыкву, потому что видюха загружены, процессов тоже почти весь загружен и стоит начать что-то отлаживать, как все тормозит и в случае чего обучение падает.
Как-то так.
видеокарты должны быть от NVIDIA, оптимальный вариант по соотношению цена/качество - 1080ti
софт - Linux, Python, Cuda, DL фреймворки по вкусу (Tensorflow, PyTorch, Keras, etc)

Датасеты - это просто матрицы вещественных чисел, объекты x признаки: в строках объекты, в столбцах - соответствующие этим объектам значения признаков (напр., пол/возраст/семейное положение, если у вас выборка пользователей соц.сети)

Ну и хорошо бы конечно пару-тройку курсов каких-нибудь пройти.

Аватара пользователя
al_mt
Сообщения: 11894
Зарегистрирован: 19 апр 2010 10:30
Откуда: Таганрог

Re: за Машинное Обучение и прочие Нейросети

Сообщение al_mt » 10 апр 2018 17:33

Ну топовое железо - это если заниматься "по взрослому". А если поиграться, там офисного ноунейма хватит.
- Суперинтендант, у Вас есть список всех Тайных Обществ?
- Конечно...

gnuzzz
Сообщения: 553
Зарегистрирован: 15 апр 2010 17:39

Re: за Машинное Обучение и прочие Нейросети

Сообщение gnuzzz » 10 апр 2018 17:42

ну под "от NVIDIA" я имел в виду производителя чипсета
т.к. с карточками на чипсетах от AMD или Intel CUDA работать не будет

Аватара пользователя
ko4evnik
Сообщения: 13878
Зарегистрирован: 11 апр 2010 16:25

Re: за Машинное Обучение и прочие Нейросети

Сообщение ko4evnik » 10 апр 2018 19:41

для утилизации карточек AMD что-то там в дот-нете появилось (Микрософты с Амд-шниками в этом вопросе дружат-против-всех). но труба очевидно сильно пониже и дым пожиже.

опять же дот-нетовской альтернативой всяко-разно-питонщины может являться библиотека Аккорд:
http://accord-framework.net
нейросети там тоже есть...

XAXA
Сообщения: 637
Зарегистрирован: 15 фев 2012 01:55

Re: за Машинное Обучение и прочие Нейросети

Сообщение XAXA » 11 апр 2018 11:23

Задача для ИИ предпологалась работа со "Смыслами слов" и объектами Revit .

Аватара пользователя
ko4evnik
Сообщения: 13878
Зарегистрирован: 11 апр 2010 16:25

Re: за Машинное Обучение и прочие Нейросети

Сообщение ko4evnik » 11 апр 2018 12:42

Ревит - это который про строительство?

а задача, следовательно, беря заданную схему - словами внятно объяснить что на этой схеме наворочено?

Аватара пользователя
al_mt
Сообщения: 11894
Зарегистрирован: 19 апр 2010 10:30
Откуда: Таганрог

Re: за Машинное Обучение и прочие Нейросети

Сообщение al_mt » 31 июл 2018 10:19

https://habr.com/post/418545/
Просто красивое. Годно сюда пусть.
Изображение
- Суперинтендант, у Вас есть список всех Тайных Обществ?
- Конечно...

Аватара пользователя
svis
Сообщения: 2901
Зарегистрирован: 30 июн 2015 23:29

Re: за Машинное Обучение и прочие Нейросети

Сообщение svis » 31 июл 2018 11:51

al_mt писал(а):https://habr.com/post/418545/
Просто красивое. Годно сюда пусть.
Вспомнились исследования Цейтлина, он таким баловался в середине прошлого века, когда вокруг пофсюду шуршали перфокарты и вились перфоленты.
Всего что читал на тему работ Цейтлина конечно уже не помню, запомнился только один из его выводов - "Уравниловка при низком уровне сознательности приносит вред обществу" ;)

laomaozi
Сообщения: 17699
Зарегистрирован: 31 мар 2011 19:03

Re: за Машинное Обучение и прочие Нейросети

Сообщение laomaozi » 18 ноя 2018 19:09

https://www.kommersant.ru/doc/3803970 нейросеть научилась обходить системы безопасности, основанные на отпечатках пальцев.

Аватара пользователя
veter
Сообщения: 5322
Зарегистрирован: 21 окт 2010 12:06

Re: за Машинное Обучение и прочие Нейросети

Сообщение veter » 18 ноя 2018 19:53

То ли кто-то чего не понял, то ли снова искусство жареных заголовков. Нейросеть в данном случае научилась генерировать реалистичные отпечатки пальцев, а не что-то там обходить. На обход биометрии ей нужен будет физический интерфейс, который генерирует трёхмерные модели пальцев, и не больше пяти попыток. В общем, удалось получить что-то типа радужных таблиц для биометрии, которые резко сокращают пространство перебора.
...and all those moments will be lost in time, like tears in rain...

Дмитрий Одинец
Сообщения: 10122
Зарегистрирован: 15 апр 2010 23:33
Откуда: Донецк

Re: за Машинное Обучение и прочие Нейросети

Сообщение Дмитрий Одинец » 18 ноя 2018 21:02

veter писал(а):На обход биометрии ей нужен будет физический интерфейс, который генерирует трёхмерные модели пальцев...
Ну вот мы и нашли задачу для 3D-принтера.

Аватара пользователя
veter
Сообщения: 5322
Зарегистрирован: 21 окт 2010 12:06

Re: за Машинное Обучение и прочие Нейросети

Сообщение veter » 18 ноя 2018 21:35

Тут скорее нужно что-то типа дисплея Брайля.
...and all those moments will be lost in time, like tears in rain...

Аватара пользователя
al_mt
Сообщения: 11894
Зарегистрирован: 19 апр 2010 10:30
Откуда: Таганрог

Re: за Машинное Обучение и прочие Нейросети

Сообщение al_mt » 20 сен 2019 16:15

https://zen.yandex.ru/media/anosistema/ ... 00ad9a19f1
ВСЁ?

Особенно, тот факт, что "другие группы не стали публиковать результаты..."
- Суперинтендант, у Вас есть список всех Тайных Обществ?
- Конечно...

XAXA
Сообщения: 637
Зарегистрирован: 15 фев 2012 01:55

Re: за Машинное Обучение и прочие Нейросети

Сообщение XAXA » 20 сен 2019 18:41

Собственно мне как раз это и нужно, я уже костыль прикручу. Спасибо.

Ответить

Вернуться в «Золотая рыбка»