Новости


Подборка рабочих примеров обработки данных

Привет, читатель. По стопам моего первого поста подборки датасетов для машинного обучения — сделаю подборку относительно свежих датасетов с рабочими примерами по обработке данных. Ведь ни для кого не секрет, что обучение на хороших примерах проходит эффективнее и быстрее.

Attention для чайников и реализация в Keras

О статьях по искусственному интеллекту на русском языке Не смотря на то что механизм Attention описан в англоязычной литературе, в русскоязычном секторе достойного описание данной технологии я до сих пор не встречал.

Создаем прототип для Sentiment Analysis с помощью Python и TextBlob

Что важно для команды разработчиков, которая только начинает строить систему, базирующуюся на машинном обучении? Архитектура, компоненты, возможности тестирования с помощью интеграционных и юнит тестов, сделать прототип и получить первые результаты.

Робот научился копировать человеческий почерк и рисунки

Умение писать слова на бумаге кажется довольно простым человеческим навыком, но на самом деле он крайне сложен. Подумать только — чтобы научиться писать, нужно понимать, в какой точке нужно опустить кончик ручки, как долго и в каком направлении водить линию, а также где делать остановки.

Создан виртуальный детектор лжи — интернет станет более честным?

Возможно, в будущем интернет очистится от мошенников, да и самим пользователям придется тщательнее следить за своими словами. Исследователи из Университета штата Флорида разработали искусственный интеллект, который отлично выполняет роль полиграфа и выявляет ложь, следя за отправляемыми пользователем словами и скоростью их набора.

Как мы решали задачу продолжения плейлистов на RecSys Challenge и заняли 3 место

В 2018 наша команда традиционно приняла участие в RecSys Challenge. Это ежегодный конкурс по рекомендательным системам, проводимый в рамках конференции RecSys. Он не такой масштабный, как конкурсы на Kaggle, но считается одним из самых престижных соревнований по рекомендательным системам.

Искусственный интеллект в 2019 году: уже Терминатор или еще нет?

Существует забавное психологическое явление: повторяйте любое слово достаточно много раз, и в конечном итоге оно потеряет всякий смысл, превратится в мокрую тряпку, в фонетическое ничто. Для многих из нас фраза «искусственный интеллект» давно потеряла смысл.

Немного про коническую двойственность

При изучении теоретических курсов по машинному обучению (мат. экономике, оптимизации, финансам и т. д. ) часто встречается понятие «двойственной задачи». Двойственные задачи часто используются для получения нижних (или верхних) оценок на целевой функционал в задачах оптимизации.

Почему нам нужно перестать путать человеческий и машинный интеллект

Нам уже привычно слышать такие фразы, как «машинное обучение» и «искусственный интеллект». Мы думаем, что кто-то сумел воспроизвести человеческий ум внутри компьютера. Это, конечно, неправда. Но частично причина, по которой эта идея так распространена, объясняется тем, что метафора человеческого обучения и интеллекта была весьма полезна для объяснения машинного обучения и искусственного интеллекта.

Идентификация мошенничества с использованием Enron dataset. Часть 1-ая, подготовка данных и отбор признков

Корпорация Enron — это одна из наиболее известных фигур в американском бизнесе 2000-ых годов. Этому способствовала не их сфера деятельности (электроэнергия и контракты на ее поставку), а резонанс в связи с мошенничеством в ней.

Определяем спелость арбуза с помощью Keras: полный цикл, от идеи до программы на Google Play

С чего все началось Все началось с Эппл Маркета — я обнаружил, что у них есть программа, позволяющая определить спелость арбуза. Программа… странная. Чего стоит, хотя бы, предложение постучать по арбузу не костяшками пальцев, а… телефоном! Тем не менее, мне захотелось повторить это достижение на более привычной платформе Андроид.

Пара мыслей об особенностях Российского Data Science

Сегодня на Moscow Data Science Major рассказывал про приватность, этичный Data Science, и много интересных технических новинок. Люди внимательно слушали, задавали вопросы, благодарили. Но то что произошло потом было очень показательно.

Исследователи из Карнеги-Меллона создали пока самые правдоподобные «deepfakes»

Когда-либо слышали о «deepfakes»? ИИ, который накладывает лицо одного человека на тело другого, использовали для замены Харрисона Форда на Николаса Кейджа в бесчисленных видеоклипах, а также и для более гнусных целей: знаменитости без их ведома появились в порно и пропаганде.

Jetson Xavier: мозг для роботов с ИИ от NVIDIA

На проходящей международной выставке высоких технологий Computex 2018, компания NVIDIA представила довольно любопытный продукт: чип под названием Jetson Xavier (также известный как Isaac), который сможет выступать в качестве мозга для роботов, ориентированных на использование искусственного интеллекта и глубокое машинное обучение.

Классификация больших объемов данных на Apache Spark с использованием произвольных моделей машинного обучения

Часть 2: Решение И снова здравствуйте! Сегодня я продолжу свой рассказ о том, как мы классифицируем большие объёмы данных на Apache Spark, используя произвольные модели машинного обучения. В первой части статьи мы рассмотрели саму постановку задачи, а также основные проблемы, которые возникают при организации взаимодействия между кластером, на котором хранятся и обрабатываются исходные данные, и […]

Введение в состязательные сети

Всем привет. Этой статьей я начинаю серию рассказов о состязательный сетях. Как и в предыдущей статье я подготовил соответствующий докер-контейнер в котором уже все готово для того чтобы воспроизвести то что написано здесь ниже.

Искусственный интеллект создал уровни для Doom не хуже людей

Можно ли обеспечить современный трехмерный шутер бесконечным количеством разнообразных уровней? Можно, если натренировать искусственный интеллект создавать их. Именно этим и занялись исследователи из Политехнического Университета Милана.

Dive into pyTorch

Всем привет. Меня зовут Артур Кадурин, я руковожу исследованиями в области глубокого обучения для разработки новых лекарственных препаратов в компании Insilico Medicine. В Insilico мы используем самые современные методы машинного обучения, а также сами разрабатываем и публикуем множество статей для того чтобы вылечить такие заболевания как рак или болезнь Альцгеймера, а возможно и старение как […]

Анализ данных — основы и терминология

В этой статье я бы хотел обсудить базовые принципы построения практического проекта по (т. н. «интеллектуальному») анализу данных, а также зафиксировать необходимую терминологию, в том числе русскоязычную.

Учебный фреймворк на Java по глубокому обучению

Недавно мы выпустили первую версию нового фреймворка по глубокому обучению DeepJava (DJ) 0.01. Основная цель фреймворка, по крайней мере, на текущий момент, чисто учебная. Мы строим шаг за шагом фреймворк, у которого: будет понятная кодовая база будет набор бранчей, по которым можно шаг за шагом проследить процесс создания и понять, почему были сделаны те или […]

В Google Play появится новая категория товаров?

Многими пользователями Google Play воспринимается в первую очередь в качестве магазина приложений для популярнейшей мобильной операционной системы Android. Впрочем, есть там и другой контент. Более того, в Google Play может появиться новая категория продуктов, продажи которых в последние годы стремительно растут.

Разреженные матрицы: как ученые ускорили машинное обучение на GPU

В начале декабря исследователи из OpenAI представили библиотеку инструментов, которая поможет ускорить обучение нейронных сетей на GPU от Nvidia за счет использования разреженных матриц. О том, с какими трудностями сталкиваются разработчики нейронных сетей и в чем основная идея решения от OpenAI, расскажем далее.

Отчет о старте Atos IT Challenge

Есть ли у вас та штука, что называется pet project или side project? Тот самый проект, который бы вы делали в свое удовольствие и для себя, для саморазвития или расширения портфолио. Лично у меня долгое время не было ничего, что можно было бы показать.

Обнаружение птиц с помощью Azure ML Workbench

Задумывались ли вы, что перед биологами, помимо всего прочего стоит ряд важных задач? Им необходимо анализировать огромные объёмы информации для отслеживания динамики популяции, выявления редких видов и оценки воздействия.

Блеск и нищета Искусственного Интеллекта

На примере простой задачи с простой нейронной сетью. Навеяно вот этой статьей и сеть взята без изменений. Просто выполнить код было неинтересно и пытливый ум решил внести изменения в предмет распознавания.

Машинное обучение: от Ирисов до Телекома

Мобильные операторы, предоставляя разнообразные сервисы, накапливают огромное количество статистических данных. Я представляю отдел, реализующий систему управления трафиком абонентов, которая в процессе эксплуатации у оператора генерирует сотни гигабайт статистической информации в сутки.

ML Boot Camp V, история решения на 3 место

В середине июля закончился контест по машинному обучению ML Boot Camp V от Mail. Ru. Нужно было предсказать наличие сердечно-сосудистых заболеваний по результатам классического врачебного осмотра. Метрикой являлась логарифмическая функция потерь.

Машинное обучение в горнолыжном спорте

В этой статье речь пойдет о возможностях применения машинного обучения для анализа биомеханики в горнолыжном спорте. Изначально гипотеза об указанных возможностях свелась к следующему набору требований: способность классифицировать технические элементы; способность по определенной метрике сравнивать указанные элементы; находить нетривиальные особенности прохождения трассы, позволяющие минимизировать время; способность строить прогнозы (например, на вторую попытку). Для начальной проверки […]

Следующий шаг в области ИИ — научить машины думать как мы

Когда задумываешься о «невероятных» задачах, с которыми может справиться компьютер, первым делом в голову приходят сложнейшие вычисления в сжатые сроки или анализ огромных объемов данных — то, что вы сами никогда не сможете решить сами.

Предсказываем будущее с помощью библиотеки Facebook Prophet

Прогнозирование временных рядов — это достаточно популярная аналитическая задача. Прогнозы используются, например, для понимания, сколько серверов понадобится online-сервису через год, каков будет спрос на каждый товар в гипермаркете, или для постановки целей и оценки работы команды (для этого можно построить baseline прогноз и сравнить фактическое значение с прогнозируемым).

Открытый курс машинного обучения. Тема 4. Линейные модели классификации и регрессии

Всем привет! Сегодня мы детально обсудим очень важный класс моделей машинного обучения – линейных. Ключевое отличие нашей подачи материала от аналогичного в курсах эконометрики и статистики – это акцент на практическом применении линейных моделей в реальных задачах (хотя и математики тоже будет немало).

Алгоритмы машинного обучения помогут распознать опухоли

Диагностика заболевания имеет не меньшее значение, чем его лечение. Но зачастую в силу разных причин она может быть затруднена рядом дополнительных факторов. И если в случае не особо угрожающих жизни состояний промедление не даст больших осложнений, то заболевания вроде онкологии нуждаются в как можно более быстрой диагностике.

Perspective API доступен для разработчиков

Есть одна очень интересная новость, которая осталась мало освещенной, особенно в руском сегменте Интернета. Perspective API от Google теперь доступен для разработчиков. Что это ещё за очередная хрень спросите вы? Если коротко, то это API или сервис, который позволяет оценить «токсичность» комментариев в сети.

Статьи, лежащие в основе подхода Facebook к компьютерному зрению

Знаете такую компанию — Facebook? Да-да, ту самую, у сайта которой 1,6 миллиардов пользователей. И если взять все посты-поздравления с днем рождения, ваши позорные детские фотографии (у меня они такие), того дальнего родственника, лайкающего каждый ваш статус, — и вот вам множество данных для анализа.

Кластеризация с пакетом ClusterR, часть 1

Эта статья посвящена кластеризации, а точнее, моему недавно добавленному в CRAN пакету ClusterR. Детали и примеры ниже в большинстве своем основаны на пакете Vignette. Кластерный анализ или кластеризация — задача группирования набора объектов таким образом, чтобы объекты внутри одной группы (называемой кластером) были более похожи (в том или ином смысле) друг на друга, чем на […]

Визуализация фото-портфолио. Часть 2: Word embedding

Визуализация портфолио (на данном рисунке, чем краснее область, тем больше среднескачиваемых фото в этой области) В предыдущей части речь шла о разбиении фото-портфолио по сигналам с предпоследнего слоя модели inceptionV3.

Визуализация фото-портфолио. Часть 1: Нестандартное применение deep learning

Визуализация портфолио (на данном рисунке, чем краснее область, тем больше фото в этой области, имеющих нулевое количество скачиваний) Коротко о задаче: есть фото-портфолио с большим количеством фото, хотим узнать список популярных и не популярных тем.

Воистину «искусственный» интеллект

В данной статье будет произведена критика недавно написанного поста про Анализ Корана при помощи AI. Что-ж, кому интересно, как анализ проводить не следует, добро пожаловать под кат. Неточности Начнем с того, что автор во введении пишет: … а потом проанализировал весь текст манускрипта.

Deep Learning — что же делать, кого бить

Нигде, наверно, нет такой насущной необходимости в синергии знаний разных областей науки — как в области машинного обучения и Deep Learning. Достаточно открыть капот TensorFlow и ужаснуться — огромное количество кода на python, работающее с тензорами внутри… C++, вперемешку с numpy, для выкладки в продакшн требующее чуток покодить «на плюсах», вприкуску с bazel (это так […]

Kaggle: История о том как мы учились предсказывать релевантность поисковых запросов и заняли 3-е место

Превью Здравствуй! 25-го апреля 2016 года закончилось 3-х месячное напряженное соревнование Home Depot Product Search Relevance в котором нашей команде Turing Test (Igor Buinyi, Kostiantyn Omelianchuk, Chenglong Chen) удалось не только неплохо разобраться с Natural Language Processing и ML, но и занять 3-е место из 2125 команд.

Azure Machine Learning: разработка сервисов машинного обучения и их использование в мобильном приложении

Выражаем большое спасибо за подготовку статьи Евгению Григоренко, Microsoft Student Partner, (@evgri243) за помощь в написании данной статьи. Остальные наши статьи по теме Azure можно найти по тегу azureweek Машинное обучение – одна из самых популярных областей Computer Science, хотя в то же время одна их самый избегаемых среди разработчиков. Основная причина этого в том, […]

Лучшее

Как работает искусственный интеллект

В последнее время мы все больше слышим об искусственном интеллекте. Он применяется практически везде: от сферы высоких технологий и сложных математических вычислений до медицины, автомобилестроения и даже при работе смартфонов.

Роботы научились распознавать предметы с помощью взгляда и прикосновений

Людям довольно легко определить плотность и рельефность предмета, просто взглянув на него. С таким же успехом можно сказать, как выглядит объект, просто касаясь его с закрытыми глазами. Такие умения помогли бы роботам лучше взаимодействовать с предметами но, к сожалению, до сих пор они не были им доступны.

Honda и MIT совместно создают ИИ, который будет полностью самостоятельно обучаться

В сфере искусственного интеллекта и, так называемого, глубокого машинного обучения существует уже немало наработок. Однако все имеющиеся на сегодня самообучающиеся нейронные сети имеют один существенный момент: они не являются полностью самостоятельными.

ВЭФ предупреждает: ИИ может дестабилизировать финансовую систему

Искусственный интеллект определенно изменит финансовый мир в ближайшем будущем, автоматизировав инвестирование и другие услуги — но он также может внести дисбаланс в систематические слабости и риски, сообщает Мировой экономический форум (МЭФ).

Роботов научили предсказывать будущее

В данный момент, каким бы способным ни был роботизированный механизм, он в большинстве случаев действует согласно заранее прописанным алгоритмам (или же вовсе управляется человеком) и не может предвидеть последствий своих действий.

Искусственный интеллект научился обходить защиту от роботов

Одним из основных способов оградить Интернет от нашествия ботов является капча — компьютерный тест, с помощью которого система определяет, является ли пользователь человеком или компьютером. Это один из примеров теста Тьюринга.

Актуальное

«Горький урок»: ученый рассказал о том, что 70 лет в области исследования ИИ были потрачены практически зря

Самый большой урок, который можно извлечь из 70 лет исследований ИИ, заключается в том, что общие методы, использующие вычисления, в конечном итоге оказываются наиболее эффективными — и с большим отрывом.

Искусственный интеллект научился точно прогнозировать срок службы аккумуляторов

Сегодня аккумуляторные батареи используются везде, от небольшой электроники до автомобилей. Разработка и изготовление источников питания занимает много времени и денег, причем больше всего ресурсов требует их тестирование — перед продажей необходимо выявить их срок службы и распределить по классам, чтобы удовлетворить потребности разных клиентов.

Роботы с четырьмя ногами стали умнее благодаря компьютерной симуляции

Безо всяких сомнений, четвероногие роботы движутся по земле гораздо увереннее, чем двуногие. Они могут легко встать после падения, тогда как споткнувшийся робот с двумя ногами может упасть и несколько минут барахтаться на полу в попытках снова встать и выпрямиться.

В Японии создали первый банкомат с ИИ. Он будет бороться с мошенниками

Несмотря на развитие различных систем защиты банковских переводов и пластиковых карт, мошенничество со старыми добрыми банкоматами до сих пор приносит различным нечистым на руку личностям весьма ощутимый доход.

«Китайский Google» представил свой первый чип для искусственного интеллекта. Началось?

Китайская корпорация Baidu представила чип для искусственного интеллекта под названием «Куньлун» во время ежегодного мероприятия «Baidu создает», которое прошло во вторник. Компания присоединяется к китайской гонке среди производителей аппаратного обеспечения, разрабатываемого специально под машинное обучение.

Искусственный интеллект вернул голос потерявшему его радиоведущему

Технологическая компания из Шотландии благодаря искусственному интеллекту смогла вернуть голос американскому журналисту и радиоведущему Джейми Дюпре. Дюпре потерял способность говорить по причине редкого неврологического отклонения.

Искусственный интеллект научился распознавать людей сквозь стены

Технологией отслеживания движений уже никого не удивишь, однако команда инженеров из Массачусетского технологического института (MIT) смогла создать устройство, которое способно следить за человеком через стены.

Машины, обучающие друг друга, могут стать решающими для искусственного интеллекта

Во время пресс-конференции, посвященной анонсу функции автопилота в Tesla Model S, которая состоялась в октябре 2015 года, CEO Tesla Илон Маск сказал, что каждый водитель станет «тренером-экспертом» для каждой Model S.

Судный день всё ближе: ИИ научился писать код, воруя его у других программ

Искусственный интеллект не перестает учиться делать все более интересные вещи. Но если раньше «список навыков» расширялся благодаря добавлению новых функций к уже существующей системе, то сейчас благодаря специалистам из Microsoft Research и Кембриджского университета все стало куда занятнее.

Искусственный интеллект обучат скоростному чтению

Пожалуй, одной из основных сложностей, связанных с тем, как сделать машинное обучение действительно эффективным, заключается в том, что вам часто приходится учить машину тысячам или даже миллионам примеров.