Узнавайте новости удобнее
О проекте
Findly является новостным сервисом и позволяет узнать за 10 секунд непредвзятую информацию о важных событиях.
Весь контент на сайте формируется полностью автоматически без участия человека.
На findly ежедневно публикуется подборка интересных событий, а также всегда доступен онлайн-анализ любого события.
Findly является полноценным продуктом: есть сайт, приложение под IOS и Android и Telegram-бот.
Мы сравниваем сотни публикаций на самых известных новостных ресурсах с помощью десятков алгоритмов и предлагаем пользователю:
- Факты и цитаты в интересном пользователю порядке
- Самую интересную нейтральную новость – новость, которая содержит в себе наибольшее количество информации из всех новостей
- Альтернативные точки зрения – ссылки на публикации, в которых информация подаётся не нейтрально
- Видео по теме
- Оценку популярности
- Подборку похожих событий
- Онлайн-анализ по любому событию
Цель проекта
В современном мире постоянно генерируется огромное количество информации, и людям достаточно трудно объективно её оценивать, не поддаваясь субъективному влиянию источника информации.
В сети Интернет все агрегаторы предлагают простой список ссылок на источники, однако порядок их формирования остаётся пользователю непонятным.
В связи с чем цель проекта – это создать агрегатор новостей, помогающий пользователю ориентироваться в обилии ссылок и быстро находить нужную информацию. Помимо всего прочего, он вычленяет из новостей факты, находит самую полную нейтральную новость и предупреждает пользователя, если какие-то статьи содержат предвзятое отношение к событию.
Этапы работы
- 01.02: Утверждение темы
Была утверждена тема проекта, сформирована команда - 03.02: Утверждение этапов
Были утверждены этапы работы, распределены роли, выбрана платформа для разработки и основной функционал - 09.02: Создание сайта
Был создан сайт со всем необходимым функционалом для работы, продуман дизайн и пользовательский интерфейс
- 16.02: Релиз прототипа
Был создан Python-скрипт, который на основе специальных алгоритмов ищет новости, анализирует их и отправляет результат на почту. На этапе прототипа основные алгоритмы анализа данных работают примитивно, а анализируемая новость указывается вручную. Была создана страница проекта на GitHub. - 04.03: Написание модуля автоматической публикации новостей
Был написан модуль, который преобразовывает данные в корректную разметку и отправляет их на сайт, почту и телеграмм-канал. - 12.03: Релиз бета-версии
Программа была разделена на модули. Также расширен основной функционал. Добавлены модули: поиска цитат и диалогов, поиска меток, поиска картинок, анализа популярности. Были серьезно улучшены и переработаны алгоритмы поиска фактов и наиболее интересной и полной новости, улучшено считывание текста. - 15.03: Создание классификатора для оценки нейтральности
Датасет для анализа нейтральности теперь формируется автоматически на основе сохранённых нейтральных и предвзятых новостей. Значение для того, чтобы считать текст предвзятым тоже высчитывается автоматически. - 16.03: Создание модуля автополнения сайта
Интересные новости и точки зрения на них теперь ищутся автоматически в Интернете по рубрикам. - 20.03: Добавление алгоритма ранжирования фактов
Каждому факту присуждаются баллы, исходя из его интересности. Благодаря этому, теперь выводится 10 самых интересных фактов, а не 10 первых - 22.03: Создание Анализатора
Был создан телеграмм бот, в котором анализ по новости или любому другому запросу можно получить в режиме реального времени. Он написан с использованием асинхронных функций, поэтому быстро и правильно работает даже с несколькими пользователями.
- 24.03: Создание PWA
Для сайта было создано PWA приложение которое может быть установлено на любую операционную систему (Windows, IOS, Android). Оно является полной копией сайта с поддержкой кеширования. - 09.04: Улучшение производительности и точности
Производительность была ускорена приблизительно 2 раза благодаря замене циклов на регулярные выражения и созданию паттернов для популярных сайтов. Также добавлена поддержка авторитетных сайтов, например, словарей и справочников. Алгоритм понимает, когда пользователь задаёт общий запрос, не связанный с новостями, и помечает приоритетными справочные ресурсы, а не новостные. - 25.04: Ребрендинг
Закончен ребрендинг. Теперь наш продует называется findly. Сайт переехал на новый домен findly.info. Раньше проект назывался Naggregator, что сложно звучало и добавляло сложности в разграничение подсервисов. Теперь название лаконичнее и позволяет комбинировать названия: findly новости – для новостей, findly бот – для онлайн-анализа и так далее. Также домен теперь не привязан только в российскому региону. Также был полностью переработан и улучшен интерфейс сайта и приложения – теперь дизайн помогает пользователю получить необходимую информацию, а не отвлекает его. UI улучшался на основе Яндекс.Вебвизора – мы внимательно изучили карту скролла и карту кликов и подстроили дизайн под эти показатели. - 07.05: Расширение возможностей Анализатора
Теперь анализатор автоматически понимает тип запроса и причисляет его к 1 из 4 категорий:
1. Новости, в которых наиболее важны цифры в фактах
2. Новости, в которых наиболее важны персоны в фактах
3. Запросы, которые актуальны прямо сейчас (курс доллара, падение акций)
4. Интеграция с сайтами (погода, подборки, Политех, YouTube, Википедия и так далее)
F. A. Q.
Зачастую, новостные издания занимаются переписыванием новостей друг от друга. Алгоритм Findly помогает пользователю ознакомиться с оригинальной статьей, минуя чтение этой же самой информации в другой обертке.
Алгоритм поиска наиболее интересной публикации старается предложить пользователю новость, в которой содержится наибольшее количество важной информации. Для этого он интеллектуально ищет статью, в которой содержится наибольшее количество информации из других статей по данному запросу с помощью матрицы смежности.
В качестве наиболее интересной публикации может быть предложена только нейтральная статья, так как миссия нашего проекта доносить до людей объективную информацию.
Русский язык чрезвычайно сложен и зачастую даже для человека непосильной задачей является понять посыл автора и сравнить его с другой точкой зрения, так как этот процесс субъективен.
Чтобы обеспечить объективность и непредвзятость, алгоритм поиска альтернативных точек зрения находит только существование точки зрения или её отсутствие на основе нашей собственной разработки – индекса нейтральности – критического количества частей речи, в которых можно уловить авторскую позицию.
Анализ этой позиции остаётся за пользователем.
В первую очередь, в тексте необходимо оставить непосредственно информацию – для этого из него удаляются диалоги, цитаты, скобки, вводные слова, перечисления и прочее. Затем оставшийся текст разбивается на предложения, а те, в свою очередь, на леммы. Мы используем нейросеть с открытым исходным кодом для начисления рейтинга каждому предложения, исходя из количества определённых лемм в нём.
Для каждого типа запроса свой алгоритм начисления баллов. В результате, система выводит 10 наиболее релевантных предложений.