Страница 4 из 6

Re: Инструменты датамайнинга.

Добавлено: 06 авг 2014 00:24
vasilisk
Как бывший фрилансер (хотя, опять же, не программист ни разу) скажу, что иметь дело с заказчиком, который имеет в виду совсем не то, что написано в выданном им ТЗ и при этом не выдаёт конкретного и однозначного критерия приёмки решения, означает как минимум потерянное время (очень, очень много времени) и скорее всего, немалые убытки. Причём для всех участников групповухи с церебральным сексом рабочего процесса. Поэтому склонен согласиться с последней репликой в части "не Илье".

Re: Инструменты датамайнинга.

Добавлено: 06 авг 2014 10:17
al_mt
В мск, вменяемый программист начинается от 90 т.р.

Re: Инструменты датамайнинга.

Добавлено: 06 авг 2014 10:41
Чибрикин Илья
Impetus писал(а):ну "за 60" тысяч можно программиста найти всякого-разного на такую задачу, и даже на паsql-е и даже в москве, хотя конечно не Илье.
Умные Вам не возражают, Ваше величество.

Re: Инструменты датамайнинга.

Добавлено: 06 авг 2014 11:34
Монгол
Impetus писал(а):
al_mt писал(а): ..........
Илья, 3d-визуализацию Ваших же скважин на ваших же данных я тогда решил за пару-тройку часов, из которых существенная часть ушла на с вами же переписку.
Кстати если кто не в курсах - после просмотра демо-результата (скриншота работы скрипта с одного файла данных) - его первый и единственный вопрос ко мне был
"Коллега, как ваше умение можно от вас отчудить?"
(меланхолично) а что тут такого? Я вот от одного не самого плохого менеджера ИТ - проекта слышал фразу "команду, которую невозможно масштабировать, нужно разгонять сразу". И не могу сказать что он 100% неправ, хотя и "обидны мне были слова его". Индустриал, мать его.
А "масштабирование" по-любому проходит через "отчудить умение", буде это умение отчуждено к другим людям или неким скриптам или программам. Так что вопрос вполне закономерный, а что задан неполиткорректно и в лоб - ну, зато по-честному.

Re: Инструменты датамайнинга.

Добавлено: 06 авг 2014 12:28
vasilisk
Монгол писал(а):Так что вопрос вполне закономерный, а что задан неполлиткорректно и в лоб - ну, зато по-честному.
:))) Вот как раз в лоб именно такие вопросы задавать ни в коем случае нельзя. Ибо любой профессионал из абсолютно любой области, даже совсем не связанной с IT, сходу выдасть вам два десятка причин (а если немного подумает, то и с полсотню), по которым это невозможно в принципе. И что характерно, в его речи не будет ни слова лжи. Просто он, видя ситуацию изнутри, знает много нюансов, которые он сам почитает критически важными, но которые на практике в 99,99% случаев таковыми не являются и могут быть смело игнорированы.

Когда на излёте СССР профи в области разработки АСУ проводили соответствующую подготовку к автоматизации сложных... в общем, организаций, в которых многие должности занимают профессионалы, которым в новой оргштатной структуре места не было, то опросники составлялись таким образом, чтобы эти профи ни в коем случае не догадывались о конечной цели. Ибо саботаж в таких случаях включается автоматически, подсознательно и неизбежно. Не из луддизма, а исключительно из-за профессионального отношения к решаемым этим профи задачам, кои видятся ему сложными и многообразными, так что замена его простым регулятором (или даже навороченной экспертной системой) будет преступлением перед мирозданием вообще и организацией, в которой он работает, в частности.

Так вот, всё что нужно для замены профи тупой железкой (в нашем случае - скриптом плюс алгоритм в мозгу у заказчика, позволяющий в случае необходимости его модернизировать или составить новый со схожим функционалом), легко выясняется простейшими психологическими приёмами, коими любой может овладеть без всякого коучинга, тренингов и иных способов зря потратить своё время и деньги. Для этого нужно совершенно элементарное:

1. Чёткое понимание круга задач, которые Вам будет нужно решать сейчас и в будущем данными конкретными методами.

2. Просьба к профессионалу, который Вашу задачу один раз решил, кратко описать характеристики этого самого круга задач, с его, профессиональной точки зрения. После чего п.1 корректируется соответствующим образом.

3. Просьба к нему же рассказать алгоритм вот этого его решения и методы, им применяемые в процессе. Желательно, чтобы опрашиваемый профессионал в это время куда-то спешил (но конечно не до такой степени, чтобы вообще не имел времени на разговор с вами) и поэтому формулировал кратко, по делу, не уходя в дебри и не растекаясь мыслями по древу. Последнее обычно не надо специально подстраивать, у таких профессионалов и без вас куча дел, но объяснить юзеру что и как он делал обычно никто из них не отказывается... если конечно юзер не производит на него впечатление полного... гм... личности, которой никакие объяснения не помогут.

4. Попытаться воспроизвести решение профессионала самому, на близкой, но не идентичной задаче. В процессе неизбежно потребуется консультация. Профи обычно её с радостью оказывают (если, конечно, не загружены по уши), ибо видя юзера, который не просто тупит в монитор, а пытается сам сделать что-то конструктивное, да ещё и по его методикам, они умиляются и не могут упустить случая потискать няку помочь младенцу (в его области деятельности) сделать первые шаги. Здесь главное не впасть в две крайности - не решить слишком рано, что ты уже всё понял, всё знаешь и помощь профи тебе уже не нужна, и вторая - не лезть к нему с каждой мелочью, ибо ему это быстро надоест и он просто тебя пошлёт в пешее эротическое путешествие. Впрочем, коридор между этими двумя стенками на практике сильно зависит как от твоей сообразительности и интеллекта, так и от хороших отношений с профи, которые поэтому следует периодически подкреплять. Но не столько подарками, которые при переизбытке загонят твой образ в мозгу профи в категорию "щедрый дурачок, готовый оплачивать всякую мелочь", а простым человеческим вниманием, например выслушиванием его монологов о его области деятельности или просто за жизнь... ну, все мы люди взрослые и уж такими-то элементарными навыками социализации владеем по определению.

---

Если я где-то налажал или слишком обобщил, пусть товарищи с иным жизненным опытом меня дополнят, поправят или вовсе опровергнут.

Re: Инструменты датамайнинга.

Добавлено: 06 авг 2014 12:49
al_mt
Я обычно припирал "профессионала" стулом в углу, посреди офисной толпы (дабы избежать скандала) и начинал занудно выковыривать из подопытного полное описание служебных манипуляций :D
После второй итерации на меня начинали писать докладные.
После четвёртой - переставали.
После пятой - начинали с горящими глазами (таким чёрным огоньком) выворачивать все свои познания, а так же познания о том, чего не знают, в искреннем стремлении всё же отделаться :D

НАИВНЫЕ!!!

Re: Инструменты датамайнинга.

Добавлено: 06 авг 2014 13:01
vasilisk
al_mt писал(а):Я обычно припирал "профессионала" стулом в углу
Не всегда есть физическая возможность так сделать, к сожалению :V: Иногда нужный профи только по скайпу и доступен... И может отключиться в любой момент, если ты его сильно достанешь.

А вот когда-то в некоей небольшой конторе при некоем университете у меня был опыт идеальной работы с профессионалом. Дело в том, что решение задачи было нужно ему, для его диссертации. А конторе, в которой я работал, она была нужна лишь постольку-поскольку (реальную прибыль приносили совсем другие проекты). А так как я там был новичком, то мне и дали делать то, что не жалко сломать критично. И самое главное - времени было завались, что у меня, что у профи. И мы с ним не спеша ковырялись в этой задаче. Залезая во все нюансы и закоулки. Поскольку кодил я, а он выдавал алгоритмы и матмодели, то ему приходилось дотошно объяснять, что откуда берётся, почему именно оттуда, куда потом пойдёт, в какой форме и т.д. и т.п. Не скажу, что сам стал разбираться в проблеме на его уровне, да и не нужно мне это было ни тогда, ни после, но экспа была что надо. И вообще, неплохо время провёл, я считаю :roll:

Кстати, самое главное, что я оттуда вынес - подчинённому (пусть даже чисто формально, реально я от него никак не зависел) профи расскажет, покажет и объяснит на порядок больше, чем коллеге. Разумеется если считает, что это необходимо для решения данной задачи. А вот заказчику - наоборот, на порядок меньше. Почему так происходит, любой психолог разложит на пальцах, а мне лень. Вывод - даже если ты по факту заказчик, если хочешь вникнуть в нюансы (то есть если тебе самому это важно и необходимо), изобрази перед ним ситуацию таким образом, что он тут главный, а ты просто юзер, сообразительный но несведущий в данной теме и как следствие, жаждущий выполнять его мудрые распоряжения. Эта метода действует даже на нечувствительных к прямой лести и социопатов. Только упаси Единый показать ему, что притворяешься - впрочем, врать и лицемерить вообще никогда не нужно, можно же всего лишь повернуть своё и его представление о происходящем нужным образом, под соответствующим углом зрения и всё.

Re: Инструменты датамайнинга.

Добавлено: 06 авг 2014 15:16
Чибрикин Илья
Impetus писал(а):"Коллега, как ваше умение можно от вас отчудить?"
И я быстро понял что отчудить-то как раз и невозможно. Такой чудик существует строго в единственном экземпляре.

Re: Инструменты датамайнинга.

Добавлено: 07 авг 2014 15:28
Чибрикин Илья
Совершенно по честному могу сказать что Импетус совершенно не представляет себе вещей о которых берется высказывать свое мнение.
Скажем та задача со сравнением двух списков закончена только что.
Алгоритм:
1. Скопировать столбик с названиями первого списка в отдельный лист Эксель
2. Скопировать столбик с названиями второго списка в тот же лист Эксель
3. Отсортировать по алфавиту тот и другой.
4. Просматривать глазами по первым словам, удаляя гарантированно не совпадающие группы ячеек.
Заняло для списков в 370 и 448 наименований минут 30. Скрипт я бы писал и отлаживал дольше.
А слов-то было сколько, и про мозги Чибрикина и елду Импетуса.
Порадовал отчет: "Исследование (вариантов нет) проб нефти по скважине..."

Re: Инструменты датамайнинга.

Добавлено: 07 авг 2014 18:15
Дмитрий Одинец
"Просматривать глазами". Чота ржу.

Re: Инструменты датамайнинга.

Добавлено: 07 авг 2014 23:50
La Fayette
впр/счётесли
но я люблю sql в таких случаях делать :)

Re: Инструменты датамайнинга.

Добавлено: 08 авг 2014 07:58
Чибрикин Илья
Impetus писал(а):
Чибрикин Илья писал(а):для списков в 370 и 448 наименований
мда.. я думал речь идёт о десятках - сотнях тысяч документов.
и из-за пятисот строк он нам и себе пятый год мозги выносит?
О, Великий. А куда же делась привычка все спрашивать?
Задача в первые тысячи может быть решена так же, ну за день-два.

Re: Инструменты датамайнинга.

Добавлено: 13 авг 2014 21:25
Чибрикин Илья
Тут столько всего понамешанно....

Re: Инструменты датамайнинга.

Добавлено: 14 авг 2014 07:18
Benedict
В реале это означает национализацию. И все пойдет за счет бюджета. Плюс появляется очередная уязвимость. Одно дело санкционировать "Лукойл" с американскими акционерами, а совсем другое госкомпанию РФ "Лукойл".
Короче, бомбежка Воронежа принесет меньше вреда.

Re: Инструменты датамайнинга.

Добавлено: 14 авг 2014 07:44
Чибрикин Илья
Ну не совсем так. Нет, это не национализация.

Re: Инструменты датамайнинга.

Добавлено: 14 авг 2014 08:16
Benedict
Это прямая дорога к ней. В результате будет национализация. Шагов в три.

Re: Инструменты датамайнинга.

Добавлено: 14 авг 2014 21:07
Чибрикин Илья
Импетус, хватить пиз..деть. На флешку. Ну нас по одному только одной сейсмики больше 20 тер. Насчет облаков - это уже клиника...

Re: Инструменты датамайнинга.

Добавлено: 15 авг 2014 07:57
Чибрикин Илья
Мудак, прости Господи.

Re: Инструменты датамайнинга.

Добавлено: 27 авг 2014 20:47
ЮС4ДЕ
Развлекаетесь?

Если какое-то явление раздражает, значит есть диалектически и внутри.
Повод посмотреть в себя.

Re: Инструменты датамайнинга.

Добавлено: 02 сен 2014 13:12
Чибрикин Илья
Так, вопрос. Есть хранилище файлов, раздел на файл-сервере. Нужно средство (бесплатное) которое позволило бы обнаружить файлы, изменившиеся за скажем Х дней, новые файлы, удаленные старые . Т.е. имело бы файловый сканер, базу скажем так атрибутов и возможность сравнивать одно с другим. А результаты сравнения как-то выделять, копировать. Наверняка что-то подобное есть в количестве. Это же технология инкрементального резервного копирования. Подскажите плиз, а?

Re: Инструменты датамайнинга.

Добавлено: 02 сен 2014 13:34
al_mt
SVN, git (ненавижу!), имя им легион. Любая система контроля версий это делает.

Re: Инструменты датамайнинга.

Добавлено: 02 сен 2014 14:38
Чибрикин Илья
A FastCopy ?

Re: Инструменты датамайнинга.

Добавлено: 02 сен 2014 14:42
al_mt
Не пользовался.

Re: Инструменты датамайнинга.

Добавлено: 02 сен 2014 15:55
Benedict
Как оно... Называется... О, индексирование тома. В выньде.

Re: Инструменты датамайнинга.

Добавлено: 02 сен 2014 17:21
Дмитрий Одинец
Индексирование в винде ускоряет поиск и всё.

Re: Инструменты датамайнинга.

Добавлено: 03 сен 2014 02:45
Benedict
Но поиск-то можно весит по атрбиутам. "Изменившиеся после" и т.п.

Re: Инструменты датамайнинга.

Добавлено: 17 сен 2015 09:26
Чибрикин Илья
Неожиданное осознал что человек (будем конкретно - геолог) мыслит не категориями файлов и каталогов а совсем другими. И нужно маппирование оных на файлы и каталоги.
Кто0нить слышал чень-нить о подобной проблеме?

Re: Инструменты датамайнинга.

Добавлено: 17 сен 2015 09:31
Benedict
Ага. Называется юзерфрендли.

Re: Инструменты датамайнинга.

Добавлено: 17 сен 2015 10:53
trix
Чибрикин Илья писал(а):Неожиданное осознал что человек (будем конкретно - геолог) мыслит не категориями файлов и каталогов а совсем другими. И нужно маппирование оных на файлы и каталоги.
Кто0нить слышал чень-нить о подобной проблеме?
наверное обычные тэги?

Re: Инструменты датамайнинга.

Добавлено: 17 сен 2015 16:23
Чибрикин Илья
А существет способ ставить теги из под ввинды на каталоги? Много тегов на один каталог?

Re: Инструменты датамайнинга.

Добавлено: 17 сен 2015 16:30
trix
Чибрикин Илья писал(а):А существет способ ставить теги из под ввинды на каталоги? Много тегов на один каталог?
конечно, просто создайте в каталоге файлы типа tag-igstab tag-bablo tag-gerab
потом делаете поиск по тегу и быстро получаете список каталогов

Re: Инструменты датамайнинга.

Добавлено: 04 окт 2015 05:33
Александр
Tagsistant: семантическая файловая система — не под виндой, понятно.

Re: Инструменты датамайнинга.

Добавлено: 04 окт 2015 08:56
al_mt
Угу. И как всегда главный вопрос "как заставить рядового пользователя с ЭТИМ работать?"

Re: Инструменты датамайнинга.

Добавлено: 04 окт 2015 11:11
Александр
al_mt писал(а):Угу. И как всегда главный вопрос "как заставить рядового пользователя с ЭТИМ работать?"
Рядовой пользователь лайкает котиков. Работа с данными — не для рядовых пользователей.

Re: Инструменты датамайнинга.

Добавлено: 04 окт 2015 15:13
brahistochron
Чибрикин Илья писал(а):А существет способ ставить теги из под ввинды на каталоги? Много тегов на один каталог?
Насколько я понимаю, спрашиваемое вами корректно называется словом "гипертекст" и решается с помощью унылого HTML. Делаете ручками файл-описатель для папки, и ручками же прописываете его в о6щий каталог. Если 6оитесь запутаться, то пишете генератор HTML-файлов на движке СУ6Д, и сводите про6лему к предыдущей.

Даже непонятно, чем вы там воо6ще занимаетесь. :roll:

Re: Инструменты датамайнинга.

Добавлено: 04 окт 2015 17:58
Александр
Чибрикин Илья писал(а):Так, вопрос. Есть хранилище файлов, раздел на файл-сервере. Нужно средство (бесплатное) которое позволило бы обнаружить файлы, изменившиеся за скажем Х дней, новые файлы, удаленные старые .
За исключением удалённых файлов, это делает команда Unix find.

Переносить файл-сервер под Юникс для ее использования не обязательно. Достаточно расшарить файлы и дать к ним доступ машине под Юникс.

Re: Инструменты датамайнинга.

Добавлено: 04 окт 2015 18:42
brahistochron
Про6лема в том, что в оригинале решения 6ыли человеко-машинные, и к чисто машинным, -- не сводятся.

К компу в приличных конторах прилагается не только админ, но и программист (админ прикладного софта), который затре6ованное паном ЧИ делает 6уквально сходу, на коленках, на лю6ом языке программирования. Единственное, что уже тре6уется 6аза данных, и от СУ6Д это и должно расти. И теперь вопрос: зачем такая программа нужна в стандартных пакетах, если ее пишут сходу в лю6ом месте, в том виде, в котором ее нужно получить? Можно конечно такую программу получить донорски от конторы, которая такое уже сделала для се6я или для продажи, но это уже 6удет "за деньги". Впрочем, софт-админ, это тоже "за деньги".

Re: Инструменты датамайнинга.

Добавлено: 04 окт 2015 22:17
Dark
Найти подходящего прикладного программиста и оплатить его услуги ни Илья, ни его контора либо не хотят, либо не могут.

Re: Инструменты датамайнинга.

Добавлено: 04 окт 2015 22:20
brahistochron
там задача для первокурсника

Re: Инструменты датамайнинга.

Добавлено: 05 окт 2015 09:27
Чибрикин Илья
Нда..... гонору полные карманы. Вы бы сами написали что-нибудь для начала.

Re: Инструменты датамайнинга.

Добавлено: 05 окт 2015 09:35
veter
Илья, я надцать раз говорил, что главной проблемой будет показать людям, как это использовать. На самом деле базовые возможности файловой системы NTFS с поддержкой метаданных вполне достаточны. Вопрос в том, кто эти метаданные пропишет и как заставить ими пользоваться.

Re: Инструменты датамайнинга.

Добавлено: 05 окт 2015 10:44
Александр
veter писал(а):Илья, я надцать раз говорил, что главной проблемой будет показать людям, как это использовать. На самом деле базовые возможности файловой системы NTFS с поддержкой метаданных вполне достаточны. Вопрос в том, кто эти метаданные пропишет и как заставить ими пользоваться.
Да, кстати, в NTFS можно ставить всякие теги. И поиск в винде, наверное, по нестандартным тегам есть.

Re: Инструменты датамайнинга.

Добавлено: 05 окт 2015 16:45
brahistochron
Чибрикин Илья писал(а):Нда..... гонору полные карманы. Вы бы сами написали что-нибудь для начала.
Ну, я в свое время как раз документоо6оротом и занимался. Причем в части создания, а не о6служивания.

Ту задачу, которые вы сформулировали, там где найти файлы, это именно что задача для первокурсника. У нас еще в школе такие задачи решались.

Re: Инструменты датамайнинга.

Добавлено: 05 окт 2015 16:55
veter
Александр писал(а):
Чибрикин Илья писал(а):Так, вопрос. Есть хранилище файлов, раздел на файл-сервере. Нужно средство (бесплатное) которое позволило бы обнаружить файлы, изменившиеся за скажем Х дней, новые файлы, удаленные старые .
За исключением удалённых файлов, это делает команда Unix find.

Переносить файл-сервер под Юникс для ее использования не обязательно. Достаточно расшарить файлы и дать к ним доступ машине под Юникс.
Windows имеет все средства, аналогичные *nix, просто из-за GUI их почему-то никто не использует:

forfiles /P directory /S /D -7
(найти файлы, измененные за последние 7 дней)

forfiles /P directory /S /D -7 "cmd /c move @file D:\archiveDir"
(перенести все файлы, измененные в последние 7 дней по указанному маршруту)

Дальше, думаю, формат понятен - любые команды применительно к выводу прописываются в кавычках, можно организовать потоки по желанию.

В конце концов есть бесплатный PowerGREP.

Re: Инструменты датамайнинга.

Добавлено: 05 окт 2015 17:50
brahistochron
6лин, я же сказал, что по мануалу предписано юзать не стандартные средства, а _языки_ программирования, 6лаго они сделаны доступными для воо6ще идиотов

система предписывает у железяки иметь человечка, и человечек примитивные программы пишет влет и влегкую, но тут-то у нас про6лема в том, что человечку некому ПОСТАВИТЬ ЗАДАЧУ

про6лема не в средствах, а в ЦЕЛЕПОЛАГАНИИ

пан ЧИ ищет, что6ы кто-ни6удь ему подсказал, чего ему нужно ХОТЕТЬ

карго-культ во всей своей красе

Re: Инструменты датамайнинга.

Добавлено: 05 окт 2015 18:00
veter
(в сторону)
Никогда не понимал, зачем мне лезть в программирование, если нужно всего-то отфильтровать фрагмент текста (набор файлов) регулярными выражениями. Ну ОК, могу и запрограммировать, но нахуа?..

А Илья часто усложняет, право слово. И чаще всего от незнания возможностей стандартного инструментария и/иди неумения просто правильно сформулировать поисковый запрос. Все уже украдено до нас.

Re: Инструменты датамайнинга.

Добавлено: 05 окт 2015 18:09
brahistochron
вопрос на понимание: что такое "интерфейс"? каким он должен 6ыть?

Re: Инструменты датамайнинга.

Добавлено: 05 окт 2015 18:14
veter
Зависит от целевой аудитории пользователей.

Re: Инструменты датамайнинга.

Добавлено: 05 окт 2015 18:49
al_mt
veter писал(а):(в сторону)
Никогда не понимал, зачем мне лезть в программирование, если нужно всего-то отфильтровать фрагмент текста (набор файлов) регулярными выражениями. Ну ОК, могу и запрограммировать, но нахуа?..

А Илья часто усложняет, право слово. И чаще всего от незнания возможностей стандартного инструментария и/иди неумения просто правильно сформулировать поисковый запрос. Все уже украдено до нас.
Попробуйте запустить find на десятке террабайт данных. И сразу станет понятно :D

Re: Инструменты датамайнинга.

Добавлено: 05 окт 2015 18:52
veter
Дык каждому фрукту свой овощ. Терабайты уже не файловой системой надо пахать, а приличной СУБД.