Инструменты датамайнинга.

Оперативные вопросы личного характера
vasilisk
Сообщения: 5582
Зарегистрирован: 11 апр 2010 13:18

Re: Инструменты датамайнинга.

Сообщение vasilisk » 06 авг 2014 00:24

Как бывший фрилансер (хотя, опять же, не программист ни разу) скажу, что иметь дело с заказчиком, который имеет в виду совсем не то, что написано в выданном им ТЗ и при этом не выдаёт конкретного и однозначного критерия приёмки решения, означает как минимум потерянное время (очень, очень много времени) и скорее всего, немалые убытки. Причём для всех участников групповухи с церебральным сексом рабочего процесса. Поэтому склонен согласиться с последней репликой в части "не Илье".
"Наша сила не в оружии, а в людях"(с)Ку-Клукс-Клан

Аватара пользователя
al_mt
Сообщения: 11894
Зарегистрирован: 19 апр 2010 10:30
Откуда: Таганрог

Re: Инструменты датамайнинга.

Сообщение al_mt » 06 авг 2014 10:17

В мск, вменяемый программист начинается от 90 т.р.
- Суперинтендант, у Вас есть список всех Тайных Обществ?
- Конечно...

Чибрикин Илья
Сообщения: 11437
Зарегистрирован: 14 апр 2010 08:36

Re: Инструменты датамайнинга.

Сообщение Чибрикин Илья » 06 авг 2014 10:41

Impetus писал(а):ну "за 60" тысяч можно программиста найти всякого-разного на такую задачу, и даже на паsql-е и даже в москве, хотя конечно не Илье.
Умные Вам не возражают, Ваше величество.

Монгол
Сообщения: 158
Зарегистрирован: 14 апр 2010 16:16

Re: Инструменты датамайнинга.

Сообщение Монгол » 06 авг 2014 11:34

Impetus писал(а):
al_mt писал(а): ..........
Илья, 3d-визуализацию Ваших же скважин на ваших же данных я тогда решил за пару-тройку часов, из которых существенная часть ушла на с вами же переписку.
Кстати если кто не в курсах - после просмотра демо-результата (скриншота работы скрипта с одного файла данных) - его первый и единственный вопрос ко мне был
"Коллега, как ваше умение можно от вас отчудить?"
(меланхолично) а что тут такого? Я вот от одного не самого плохого менеджера ИТ - проекта слышал фразу "команду, которую невозможно масштабировать, нужно разгонять сразу". И не могу сказать что он 100% неправ, хотя и "обидны мне были слова его". Индустриал, мать его.
А "масштабирование" по-любому проходит через "отчудить умение", буде это умение отчуждено к другим людям или неким скриптам или программам. Так что вопрос вполне закономерный, а что задан неполиткорректно и в лоб - ну, зато по-честному.
Не трави чужих тараканов - они могут быть основой пищевой цепочки!

vasilisk
Сообщения: 5582
Зарегистрирован: 11 апр 2010 13:18

Re: Инструменты датамайнинга.

Сообщение vasilisk » 06 авг 2014 12:28

Монгол писал(а):Так что вопрос вполне закономерный, а что задан неполлиткорректно и в лоб - ну, зато по-честному.
:))) Вот как раз в лоб именно такие вопросы задавать ни в коем случае нельзя. Ибо любой профессионал из абсолютно любой области, даже совсем не связанной с IT, сходу выдасть вам два десятка причин (а если немного подумает, то и с полсотню), по которым это невозможно в принципе. И что характерно, в его речи не будет ни слова лжи. Просто он, видя ситуацию изнутри, знает много нюансов, которые он сам почитает критически важными, но которые на практике в 99,99% случаев таковыми не являются и могут быть смело игнорированы.

Когда на излёте СССР профи в области разработки АСУ проводили соответствующую подготовку к автоматизации сложных... в общем, организаций, в которых многие должности занимают профессионалы, которым в новой оргштатной структуре места не было, то опросники составлялись таким образом, чтобы эти профи ни в коем случае не догадывались о конечной цели. Ибо саботаж в таких случаях включается автоматически, подсознательно и неизбежно. Не из луддизма, а исключительно из-за профессионального отношения к решаемым этим профи задачам, кои видятся ему сложными и многообразными, так что замена его простым регулятором (или даже навороченной экспертной системой) будет преступлением перед мирозданием вообще и организацией, в которой он работает, в частности.

Так вот, всё что нужно для замены профи тупой железкой (в нашем случае - скриптом плюс алгоритм в мозгу у заказчика, позволяющий в случае необходимости его модернизировать или составить новый со схожим функционалом), легко выясняется простейшими психологическими приёмами, коими любой может овладеть без всякого коучинга, тренингов и иных способов зря потратить своё время и деньги. Для этого нужно совершенно элементарное:

1. Чёткое понимание круга задач, которые Вам будет нужно решать сейчас и в будущем данными конкретными методами.

2. Просьба к профессионалу, который Вашу задачу один раз решил, кратко описать характеристики этого самого круга задач, с его, профессиональной точки зрения. После чего п.1 корректируется соответствующим образом.

3. Просьба к нему же рассказать алгоритм вот этого его решения и методы, им применяемые в процессе. Желательно, чтобы опрашиваемый профессионал в это время куда-то спешил (но конечно не до такой степени, чтобы вообще не имел времени на разговор с вами) и поэтому формулировал кратко, по делу, не уходя в дебри и не растекаясь мыслями по древу. Последнее обычно не надо специально подстраивать, у таких профессионалов и без вас куча дел, но объяснить юзеру что и как он делал обычно никто из них не отказывается... если конечно юзер не производит на него впечатление полного... гм... личности, которой никакие объяснения не помогут.

4. Попытаться воспроизвести решение профессионала самому, на близкой, но не идентичной задаче. В процессе неизбежно потребуется консультация. Профи обычно её с радостью оказывают (если, конечно, не загружены по уши), ибо видя юзера, который не просто тупит в монитор, а пытается сам сделать что-то конструктивное, да ещё и по его методикам, они умиляются и не могут упустить случая потискать няку помочь младенцу (в его области деятельности) сделать первые шаги. Здесь главное не впасть в две крайности - не решить слишком рано, что ты уже всё понял, всё знаешь и помощь профи тебе уже не нужна, и вторая - не лезть к нему с каждой мелочью, ибо ему это быстро надоест и он просто тебя пошлёт в пешее эротическое путешествие. Впрочем, коридор между этими двумя стенками на практике сильно зависит как от твоей сообразительности и интеллекта, так и от хороших отношений с профи, которые поэтому следует периодически подкреплять. Но не столько подарками, которые при переизбытке загонят твой образ в мозгу профи в категорию "щедрый дурачок, готовый оплачивать всякую мелочь", а простым человеческим вниманием, например выслушиванием его монологов о его области деятельности или просто за жизнь... ну, все мы люди взрослые и уж такими-то элементарными навыками социализации владеем по определению.

---

Если я где-то налажал или слишком обобщил, пусть товарищи с иным жизненным опытом меня дополнят, поправят или вовсе опровергнут.
"Наша сила не в оружии, а в людях"(с)Ку-Клукс-Клан

Аватара пользователя
al_mt
Сообщения: 11894
Зарегистрирован: 19 апр 2010 10:30
Откуда: Таганрог

Re: Инструменты датамайнинга.

Сообщение al_mt » 06 авг 2014 12:49

Я обычно припирал "профессионала" стулом в углу, посреди офисной толпы (дабы избежать скандала) и начинал занудно выковыривать из подопытного полное описание служебных манипуляций :D
После второй итерации на меня начинали писать докладные.
После четвёртой - переставали.
После пятой - начинали с горящими глазами (таким чёрным огоньком) выворачивать все свои познания, а так же познания о том, чего не знают, в искреннем стремлении всё же отделаться :D

НАИВНЫЕ!!!
- Суперинтендант, у Вас есть список всех Тайных Обществ?
- Конечно...

vasilisk
Сообщения: 5582
Зарегистрирован: 11 апр 2010 13:18

Re: Инструменты датамайнинга.

Сообщение vasilisk » 06 авг 2014 13:01

al_mt писал(а):Я обычно припирал "профессионала" стулом в углу
Не всегда есть физическая возможность так сделать, к сожалению :V: Иногда нужный профи только по скайпу и доступен... И может отключиться в любой момент, если ты его сильно достанешь.

А вот когда-то в некоей небольшой конторе при некоем университете у меня был опыт идеальной работы с профессионалом. Дело в том, что решение задачи было нужно ему, для его диссертации. А конторе, в которой я работал, она была нужна лишь постольку-поскольку (реальную прибыль приносили совсем другие проекты). А так как я там был новичком, то мне и дали делать то, что не жалко сломать критично. И самое главное - времени было завались, что у меня, что у профи. И мы с ним не спеша ковырялись в этой задаче. Залезая во все нюансы и закоулки. Поскольку кодил я, а он выдавал алгоритмы и матмодели, то ему приходилось дотошно объяснять, что откуда берётся, почему именно оттуда, куда потом пойдёт, в какой форме и т.д. и т.п. Не скажу, что сам стал разбираться в проблеме на его уровне, да и не нужно мне это было ни тогда, ни после, но экспа была что надо. И вообще, неплохо время провёл, я считаю :roll:

Кстати, самое главное, что я оттуда вынес - подчинённому (пусть даже чисто формально, реально я от него никак не зависел) профи расскажет, покажет и объяснит на порядок больше, чем коллеге. Разумеется если считает, что это необходимо для решения данной задачи. А вот заказчику - наоборот, на порядок меньше. Почему так происходит, любой психолог разложит на пальцах, а мне лень. Вывод - даже если ты по факту заказчик, если хочешь вникнуть в нюансы (то есть если тебе самому это важно и необходимо), изобрази перед ним ситуацию таким образом, что он тут главный, а ты просто юзер, сообразительный но несведущий в данной теме и как следствие, жаждущий выполнять его мудрые распоряжения. Эта метода действует даже на нечувствительных к прямой лести и социопатов. Только упаси Единый показать ему, что притворяешься - впрочем, врать и лицемерить вообще никогда не нужно, можно же всего лишь повернуть своё и его представление о происходящем нужным образом, под соответствующим углом зрения и всё.
"Наша сила не в оружии, а в людях"(с)Ку-Клукс-Клан

Чибрикин Илья
Сообщения: 11437
Зарегистрирован: 14 апр 2010 08:36

Re: Инструменты датамайнинга.

Сообщение Чибрикин Илья » 06 авг 2014 15:16

Impetus писал(а):"Коллега, как ваше умение можно от вас отчудить?"
И я быстро понял что отчудить-то как раз и невозможно. Такой чудик существует строго в единственном экземпляре.

Чибрикин Илья
Сообщения: 11437
Зарегистрирован: 14 апр 2010 08:36

Re: Инструменты датамайнинга.

Сообщение Чибрикин Илья » 07 авг 2014 15:28

Совершенно по честному могу сказать что Импетус совершенно не представляет себе вещей о которых берется высказывать свое мнение.
Скажем та задача со сравнением двух списков закончена только что.
Алгоритм:
1. Скопировать столбик с названиями первого списка в отдельный лист Эксель
2. Скопировать столбик с названиями второго списка в тот же лист Эксель
3. Отсортировать по алфавиту тот и другой.
4. Просматривать глазами по первым словам, удаляя гарантированно не совпадающие группы ячеек.
Заняло для списков в 370 и 448 наименований минут 30. Скрипт я бы писал и отлаживал дольше.
А слов-то было сколько, и про мозги Чибрикина и елду Импетуса.
Порадовал отчет: "Исследование (вариантов нет) проб нефти по скважине..."

Дмитрий Одинец
Сообщения: 10122
Зарегистрирован: 15 апр 2010 23:33
Откуда: Донецк

Re: Инструменты датамайнинга.

Сообщение Дмитрий Одинец » 07 авг 2014 18:15

"Просматривать глазами". Чота ржу.

La Fayette
Сообщения: 564
Зарегистрирован: 11 янв 2014 12:05

Re: Инструменты датамайнинга.

Сообщение La Fayette » 07 авг 2014 23:50

впр/счётесли
но я люблю sql в таких случаях делать :)

Чибрикин Илья
Сообщения: 11437
Зарегистрирован: 14 апр 2010 08:36

Re: Инструменты датамайнинга.

Сообщение Чибрикин Илья » 08 авг 2014 07:58

Impetus писал(а):
Чибрикин Илья писал(а):для списков в 370 и 448 наименований
мда.. я думал речь идёт о десятках - сотнях тысяч документов.
и из-за пятисот строк он нам и себе пятый год мозги выносит?
О, Великий. А куда же делась привычка все спрашивать?
Задача в первые тысячи может быть решена так же, ну за день-два.

Чибрикин Илья
Сообщения: 11437
Зарегистрирован: 14 апр 2010 08:36

Re: Инструменты датамайнинга.

Сообщение Чибрикин Илья » 13 авг 2014 21:25

Тут столько всего понамешанно....

Benedict
Сообщения: 8589
Зарегистрирован: 15 апр 2010 05:17

Re: Инструменты датамайнинга.

Сообщение Benedict » 14 авг 2014 07:18

В реале это означает национализацию. И все пойдет за счет бюджета. Плюс появляется очередная уязвимость. Одно дело санкционировать "Лукойл" с американскими акционерами, а совсем другое госкомпанию РФ "Лукойл".
Короче, бомбежка Воронежа принесет меньше вреда.
Fly, fly through a troubled sky
Up to a new world shining bright, oh, oh.

Чибрикин Илья
Сообщения: 11437
Зарегистрирован: 14 апр 2010 08:36

Re: Инструменты датамайнинга.

Сообщение Чибрикин Илья » 14 авг 2014 07:44

Ну не совсем так. Нет, это не национализация.

Benedict
Сообщения: 8589
Зарегистрирован: 15 апр 2010 05:17

Re: Инструменты датамайнинга.

Сообщение Benedict » 14 авг 2014 08:16

Это прямая дорога к ней. В результате будет национализация. Шагов в три.
Fly, fly through a troubled sky
Up to a new world shining bright, oh, oh.

Чибрикин Илья
Сообщения: 11437
Зарегистрирован: 14 апр 2010 08:36

Re: Инструменты датамайнинга.

Сообщение Чибрикин Илья » 14 авг 2014 21:07

Импетус, хватить пиз..деть. На флешку. Ну нас по одному только одной сейсмики больше 20 тер. Насчет облаков - это уже клиника...

Чибрикин Илья
Сообщения: 11437
Зарегистрирован: 14 апр 2010 08:36

Re: Инструменты датамайнинга.

Сообщение Чибрикин Илья » 15 авг 2014 07:57

Мудак, прости Господи.

ЮС4ДЕ
Сообщения: 3857
Зарегистрирован: 12 апр 2010 19:23

Re: Инструменты датамайнинга.

Сообщение ЮС4ДЕ » 27 авг 2014 20:47

Развлекаетесь?

Если какое-то явление раздражает, значит есть диалектически и внутри.
Повод посмотреть в себя.

Чибрикин Илья
Сообщения: 11437
Зарегистрирован: 14 апр 2010 08:36

Re: Инструменты датамайнинга.

Сообщение Чибрикин Илья » 02 сен 2014 13:12

Так, вопрос. Есть хранилище файлов, раздел на файл-сервере. Нужно средство (бесплатное) которое позволило бы обнаружить файлы, изменившиеся за скажем Х дней, новые файлы, удаленные старые . Т.е. имело бы файловый сканер, базу скажем так атрибутов и возможность сравнивать одно с другим. А результаты сравнения как-то выделять, копировать. Наверняка что-то подобное есть в количестве. Это же технология инкрементального резервного копирования. Подскажите плиз, а?

Аватара пользователя
al_mt
Сообщения: 11894
Зарегистрирован: 19 апр 2010 10:30
Откуда: Таганрог

Re: Инструменты датамайнинга.

Сообщение al_mt » 02 сен 2014 13:34

SVN, git (ненавижу!), имя им легион. Любая система контроля версий это делает.
- Суперинтендант, у Вас есть список всех Тайных Обществ?
- Конечно...


Аватара пользователя
al_mt
Сообщения: 11894
Зарегистрирован: 19 апр 2010 10:30
Откуда: Таганрог

Re: Инструменты датамайнинга.

Сообщение al_mt » 02 сен 2014 14:42

Не пользовался.
- Суперинтендант, у Вас есть список всех Тайных Обществ?
- Конечно...

Benedict
Сообщения: 8589
Зарегистрирован: 15 апр 2010 05:17

Re: Инструменты датамайнинга.

Сообщение Benedict » 02 сен 2014 15:55

Как оно... Называется... О, индексирование тома. В выньде.
Fly, fly through a troubled sky
Up to a new world shining bright, oh, oh.

Дмитрий Одинец
Сообщения: 10122
Зарегистрирован: 15 апр 2010 23:33
Откуда: Донецк

Re: Инструменты датамайнинга.

Сообщение Дмитрий Одинец » 02 сен 2014 17:21

Индексирование в винде ускоряет поиск и всё.

Benedict
Сообщения: 8589
Зарегистрирован: 15 апр 2010 05:17

Re: Инструменты датамайнинга.

Сообщение Benedict » 03 сен 2014 02:45

Но поиск-то можно весит по атрбиутам. "Изменившиеся после" и т.п.
Fly, fly through a troubled sky
Up to a new world shining bright, oh, oh.

Чибрикин Илья
Сообщения: 11437
Зарегистрирован: 14 апр 2010 08:36

Re: Инструменты датамайнинга.

Сообщение Чибрикин Илья » 17 сен 2015 09:26

Неожиданное осознал что человек (будем конкретно - геолог) мыслит не категориями файлов и каталогов а совсем другими. И нужно маппирование оных на файлы и каталоги.
Кто0нить слышал чень-нить о подобной проблеме?

Benedict
Сообщения: 8589
Зарегистрирован: 15 апр 2010 05:17

Re: Инструменты датамайнинга.

Сообщение Benedict » 17 сен 2015 09:31

Ага. Называется юзерфрендли.
Fly, fly through a troubled sky
Up to a new world shining bright, oh, oh.

Аватара пользователя
trix
Сообщения: 288
Зарегистрирован: 15 апр 2010 11:21
Откуда: Санкт-Петербург

Re: Инструменты датамайнинга.

Сообщение trix » 17 сен 2015 10:53

Чибрикин Илья писал(а):Неожиданное осознал что человек (будем конкретно - геолог) мыслит не категориями файлов и каталогов а совсем другими. И нужно маппирование оных на файлы и каталоги.
Кто0нить слышал чень-нить о подобной проблеме?
наверное обычные тэги?

Чибрикин Илья
Сообщения: 11437
Зарегистрирован: 14 апр 2010 08:36

Re: Инструменты датамайнинга.

Сообщение Чибрикин Илья » 17 сен 2015 16:23

А существет способ ставить теги из под ввинды на каталоги? Много тегов на один каталог?

Аватара пользователя
trix
Сообщения: 288
Зарегистрирован: 15 апр 2010 11:21
Откуда: Санкт-Петербург

Re: Инструменты датамайнинга.

Сообщение trix » 17 сен 2015 16:30

Чибрикин Илья писал(а):А существет способ ставить теги из под ввинды на каталоги? Много тегов на один каталог?
конечно, просто создайте в каталоге файлы типа tag-igstab tag-bablo tag-gerab
потом делаете поиск по тегу и быстро получаете список каталогов

Аватара пользователя
Александр
Сообщения: 2898
Зарегистрирован: 11 апр 2010 20:18
Откуда: Новокузнецк
Контактная информация:

Re: Инструменты датамайнинга.

Сообщение Александр » 04 окт 2015 05:33

Tagsistant: семантическая файловая система — не под виндой, понятно.

Аватара пользователя
al_mt
Сообщения: 11894
Зарегистрирован: 19 апр 2010 10:30
Откуда: Таганрог

Re: Инструменты датамайнинга.

Сообщение al_mt » 04 окт 2015 08:56

Угу. И как всегда главный вопрос "как заставить рядового пользователя с ЭТИМ работать?"
- Суперинтендант, у Вас есть список всех Тайных Обществ?
- Конечно...

Аватара пользователя
Александр
Сообщения: 2898
Зарегистрирован: 11 апр 2010 20:18
Откуда: Новокузнецк
Контактная информация:

Re: Инструменты датамайнинга.

Сообщение Александр » 04 окт 2015 11:11

al_mt писал(а):Угу. И как всегда главный вопрос "как заставить рядового пользователя с ЭТИМ работать?"
Рядовой пользователь лайкает котиков. Работа с данными — не для рядовых пользователей.

Аватара пользователя
brahistochron
Сообщения: 3910
Зарегистрирован: 14 июн 2014 02:00
Контактная информация:

Re: Инструменты датамайнинга.

Сообщение brahistochron » 04 окт 2015 15:13

Чибрикин Илья писал(а):А существет способ ставить теги из под ввинды на каталоги? Много тегов на один каталог?
Насколько я понимаю, спрашиваемое вами корректно называется словом "гипертекст" и решается с помощью унылого HTML. Делаете ручками файл-описатель для папки, и ручками же прописываете его в о6щий каталог. Если 6оитесь запутаться, то пишете генератор HTML-файлов на движке СУ6Д, и сводите про6лему к предыдущей.

Даже непонятно, чем вы там воо6ще занимаетесь. :roll:

Аватара пользователя
Александр
Сообщения: 2898
Зарегистрирован: 11 апр 2010 20:18
Откуда: Новокузнецк
Контактная информация:

Re: Инструменты датамайнинга.

Сообщение Александр » 04 окт 2015 17:58

Чибрикин Илья писал(а):Так, вопрос. Есть хранилище файлов, раздел на файл-сервере. Нужно средство (бесплатное) которое позволило бы обнаружить файлы, изменившиеся за скажем Х дней, новые файлы, удаленные старые .
За исключением удалённых файлов, это делает команда Unix find.

Переносить файл-сервер под Юникс для ее использования не обязательно. Достаточно расшарить файлы и дать к ним доступ машине под Юникс.

Аватара пользователя
brahistochron
Сообщения: 3910
Зарегистрирован: 14 июн 2014 02:00
Контактная информация:

Re: Инструменты датамайнинга.

Сообщение brahistochron » 04 окт 2015 18:42

Про6лема в том, что в оригинале решения 6ыли человеко-машинные, и к чисто машинным, -- не сводятся.

К компу в приличных конторах прилагается не только админ, но и программист (админ прикладного софта), который затре6ованное паном ЧИ делает 6уквально сходу, на коленках, на лю6ом языке программирования. Единственное, что уже тре6уется 6аза данных, и от СУ6Д это и должно расти. И теперь вопрос: зачем такая программа нужна в стандартных пакетах, если ее пишут сходу в лю6ом месте, в том виде, в котором ее нужно получить? Можно конечно такую программу получить донорски от конторы, которая такое уже сделала для се6я или для продажи, но это уже 6удет "за деньги". Впрочем, софт-админ, это тоже "за деньги".

Dark
Сообщения: 3413
Зарегистрирован: 08 дек 2011 18:04
Откуда: Montreal, Canada

Re: Инструменты датамайнинга.

Сообщение Dark » 04 окт 2015 22:17

Найти подходящего прикладного программиста и оплатить его услуги ни Илья, ни его контора либо не хотят, либо не могут.
The night is dark and full of wonders

Аватара пользователя
brahistochron
Сообщения: 3910
Зарегистрирован: 14 июн 2014 02:00
Контактная информация:

Re: Инструменты датамайнинга.

Сообщение brahistochron » 04 окт 2015 22:20

там задача для первокурсника

Чибрикин Илья
Сообщения: 11437
Зарегистрирован: 14 апр 2010 08:36

Re: Инструменты датамайнинга.

Сообщение Чибрикин Илья » 05 окт 2015 09:27

Нда..... гонору полные карманы. Вы бы сами написали что-нибудь для начала.

Аватара пользователя
veter
Сообщения: 5322
Зарегистрирован: 21 окт 2010 12:06

Re: Инструменты датамайнинга.

Сообщение veter » 05 окт 2015 09:35

Илья, я надцать раз говорил, что главной проблемой будет показать людям, как это использовать. На самом деле базовые возможности файловой системы NTFS с поддержкой метаданных вполне достаточны. Вопрос в том, кто эти метаданные пропишет и как заставить ими пользоваться.
...and all those moments will be lost in time, like tears in rain...

Аватара пользователя
Александр
Сообщения: 2898
Зарегистрирован: 11 апр 2010 20:18
Откуда: Новокузнецк
Контактная информация:

Re: Инструменты датамайнинга.

Сообщение Александр » 05 окт 2015 10:44

veter писал(а):Илья, я надцать раз говорил, что главной проблемой будет показать людям, как это использовать. На самом деле базовые возможности файловой системы NTFS с поддержкой метаданных вполне достаточны. Вопрос в том, кто эти метаданные пропишет и как заставить ими пользоваться.
Да, кстати, в NTFS можно ставить всякие теги. И поиск в винде, наверное, по нестандартным тегам есть.

Аватара пользователя
brahistochron
Сообщения: 3910
Зарегистрирован: 14 июн 2014 02:00
Контактная информация:

Re: Инструменты датамайнинга.

Сообщение brahistochron » 05 окт 2015 16:45

Чибрикин Илья писал(а):Нда..... гонору полные карманы. Вы бы сами написали что-нибудь для начала.
Ну, я в свое время как раз документоо6оротом и занимался. Причем в части создания, а не о6служивания.

Ту задачу, которые вы сформулировали, там где найти файлы, это именно что задача для первокурсника. У нас еще в школе такие задачи решались.

Аватара пользователя
veter
Сообщения: 5322
Зарегистрирован: 21 окт 2010 12:06

Re: Инструменты датамайнинга.

Сообщение veter » 05 окт 2015 16:55

Александр писал(а):
Чибрикин Илья писал(а):Так, вопрос. Есть хранилище файлов, раздел на файл-сервере. Нужно средство (бесплатное) которое позволило бы обнаружить файлы, изменившиеся за скажем Х дней, новые файлы, удаленные старые .
За исключением удалённых файлов, это делает команда Unix find.

Переносить файл-сервер под Юникс для ее использования не обязательно. Достаточно расшарить файлы и дать к ним доступ машине под Юникс.
Windows имеет все средства, аналогичные *nix, просто из-за GUI их почему-то никто не использует:

forfiles /P directory /S /D -7
(найти файлы, измененные за последние 7 дней)

forfiles /P directory /S /D -7 "cmd /c move @file D:\archiveDir"
(перенести все файлы, измененные в последние 7 дней по указанному маршруту)

Дальше, думаю, формат понятен - любые команды применительно к выводу прописываются в кавычках, можно организовать потоки по желанию.

В конце концов есть бесплатный PowerGREP.
...and all those moments will be lost in time, like tears in rain...

Аватара пользователя
brahistochron
Сообщения: 3910
Зарегистрирован: 14 июн 2014 02:00
Контактная информация:

Re: Инструменты датамайнинга.

Сообщение brahistochron » 05 окт 2015 17:50

6лин, я же сказал, что по мануалу предписано юзать не стандартные средства, а _языки_ программирования, 6лаго они сделаны доступными для воо6ще идиотов

система предписывает у железяки иметь человечка, и человечек примитивные программы пишет влет и влегкую, но тут-то у нас про6лема в том, что человечку некому ПОСТАВИТЬ ЗАДАЧУ

про6лема не в средствах, а в ЦЕЛЕПОЛАГАНИИ

пан ЧИ ищет, что6ы кто-ни6удь ему подсказал, чего ему нужно ХОТЕТЬ

карго-культ во всей своей красе

Аватара пользователя
veter
Сообщения: 5322
Зарегистрирован: 21 окт 2010 12:06

Re: Инструменты датамайнинга.

Сообщение veter » 05 окт 2015 18:00

(в сторону)
Никогда не понимал, зачем мне лезть в программирование, если нужно всего-то отфильтровать фрагмент текста (набор файлов) регулярными выражениями. Ну ОК, могу и запрограммировать, но нахуа?..

А Илья часто усложняет, право слово. И чаще всего от незнания возможностей стандартного инструментария и/иди неумения просто правильно сформулировать поисковый запрос. Все уже украдено до нас.
...and all those moments will be lost in time, like tears in rain...

Аватара пользователя
brahistochron
Сообщения: 3910
Зарегистрирован: 14 июн 2014 02:00
Контактная информация:

Re: Инструменты датамайнинга.

Сообщение brahistochron » 05 окт 2015 18:09

вопрос на понимание: что такое "интерфейс"? каким он должен 6ыть?

Аватара пользователя
veter
Сообщения: 5322
Зарегистрирован: 21 окт 2010 12:06

Re: Инструменты датамайнинга.

Сообщение veter » 05 окт 2015 18:14

Зависит от целевой аудитории пользователей.
...and all those moments will be lost in time, like tears in rain...

Аватара пользователя
al_mt
Сообщения: 11894
Зарегистрирован: 19 апр 2010 10:30
Откуда: Таганрог

Re: Инструменты датамайнинга.

Сообщение al_mt » 05 окт 2015 18:49

veter писал(а):(в сторону)
Никогда не понимал, зачем мне лезть в программирование, если нужно всего-то отфильтровать фрагмент текста (набор файлов) регулярными выражениями. Ну ОК, могу и запрограммировать, но нахуа?..

А Илья часто усложняет, право слово. И чаще всего от незнания возможностей стандартного инструментария и/иди неумения просто правильно сформулировать поисковый запрос. Все уже украдено до нас.
Попробуйте запустить find на десятке террабайт данных. И сразу станет понятно :D
- Суперинтендант, у Вас есть список всех Тайных Обществ?
- Конечно...

Аватара пользователя
veter
Сообщения: 5322
Зарегистрирован: 21 окт 2010 12:06

Re: Инструменты датамайнинга.

Сообщение veter » 05 окт 2015 18:52

Дык каждому фрукту свой овощ. Терабайты уже не файловой системой надо пахать, а приличной СУБД.
...and all those moments will be lost in time, like tears in rain...

Ответить

Вернуться в «А не подскажет ли кто...»