Персональные рекомендации: Алгоритмы, формулы, и т.д...

[John Doe]

Подумаем.

[Yorick]

Подумаем.

"Пользуясь случаем", раз сам Джон Доу заглянул, попробую еще раз получить ответ на кажущийся важным вопрос:

 

чтоб лучше работали рекомендации - что делать с заведомо неинтересными фильмами, жанрами: 1. совсем не ставить им оценки, или 2. побольше ставить им плохих оценок?

[Комеди]

" что делать с заведомо неинтересными фильмами, жанрами: 1. совсем не ставить им оценки, или 2. побольше ставить им плохих оценок?

 

Тоже такой вопрос возникал. Может ставить вместо оценок просмотры...

 

Жаль что опоздал к горячему обсуждению. Тоже игрался с оценками - ставил эксперименты. И, кажется, зашёл в тупик.

[Yorick]

Жаль что опоздал к горячему обсуждению. Тоже игрался с оценками - ставил эксперименты. И, кажется, зашёл в тупик.

Ну если имеете в виду 1е страницы темы - то да, горячо было; а сейчас...

[Комеди]

Ранее здесь обсуждалось какой вес в общей близости должен быть у высоких и низких оценок.

Проверил кое-что с пользователем с которым у меня самая высокая близость интересов.

У нас к одному фильму у обоих стояла оценка 1. После того как я свою оценку удалил близость интересов упала на 1.2%. При том что количестово общих фильмов у нас более 700.

[Комеди]

То же проделал с оценками 5 и 10.

Удаление оценки 5 дало разницу в 0.21%

Удаление оценки 10 дало разницу в 0.1%

[aleksandrt99]

Я почти новичок на этом сайте и поэтому уверен, что не первый высказываюсь насчет оценок и пресловутых рейтингов.

Конечно, невозможно выдумать такую систему подсчета голосов, чтобы она удовлетворила всех. Всегда есть недовольные, считающие, что их любимый фильм недооценен, а какой-то другой фильм, наоборот, переоценен.

Думаю, многие согласятся и с тем, что огромный бюджет фильма или наличие громких призов (оскары и т.п.) тоже вовсе не гарантия того, что фильм является шедевром и достоин навеки войти в историю кинематографа.

Забудем и про то, что пользователями интернета являются люди преимущественно молодые и юные, и по этой причине мнение людей старшего и старшего среднего возраста на Кинопоиске статистически не значимо…

Да, на сайте присутствуют неплохие диаграммы, показывающие, например, отношение к тому или иному фильму разных групп людей (женщины и мужчины; лица до 18 лет, 18-24, 25-34, 35-45, от 45 лет). И хотя не указан математический «вес» каждой группы (какой процент голосовавших принадлежит пользователям той или иной возрастной группы), смею предположить, что простой расчет среднего арифметического всех оценок кинолюбителей и является неким объективным способом определить, какое место отведено фильму в существующей табели о рангах.

Но, люди добрые! А что же делать с недобросовестными пользователями и прочими троллями, ставящими «единицу» тому фильму, которого они в глаза не видели, но который мозолит их глаза своим присутствием в Top250 и портит своим соседством такие «шедевры» как «Лицо со шрамом», «Малышка на миллион», «Терминал», «Путь Карлито», «Корпорация монстров» и пр.?

Лично я ничего не имею против этих фильмов, отнюдь! Пускай действительно хороший фильм «Зеленая миля» продолжает гипнотизировать пользователей своим умопомрачительным рейтингом! Гипнотизировать так, что любой уважающий себя человек просто обязан посмотреть все фильмы из первой десятки (двадцатки, сотни и т.д.) топа и должен иметь определенное мужество поставить фильму с рейтингом более 9 оценку «8» или, не дай Бог, «7»…

Но зачем же «минусовать» фильм, непонятый или вообще не просмотренный тобой, если ты ставишь «10» доброй половине фильмов, а почти всем остальным даришь «9» и «8»?

Если тебе 16 или 18 лет, ты ходишь на все модные кинопремьеры и с восторгом раздаешь свои «десятки» и «девятки», не замечая, что система оценок-то не 2-балльная, и даже не 5-балльная, а 10-балльная, то, может, не стоит пачкать своей «двойкой» или «единицей» то кино, до которого ты не дорос?

В математике есть такой закон – закон нормального распределения чисел. Если применить его к оценкам фильма и нарисовать кривую зависимости количества оценок того или иного достоинства от значения самой оценки, то кривая будет иметь вид холма. С плоской вершиной или остроконечной – неважно. Но с одной вершиной.

Если фильм средненький, то, допустим, больше всего у него будет оценок «6». Поменьше будет оценок «7» и «5», еще меньше оценок «8» и «4» и т.д.

Если фильм замечательный, то будет у него, например, 40 % «десяток», 30 % «девяток», 16 % «восьмерок», 8 % «семерок» и т.д.

Посмотрим на распределение оценок фильма «…А зори здесь тихие»:

10 – 39,3 %

9 – 22,4 %

8 – 19,3 %

7 – 9,2 %

6 – 3,8 %

5 – 2,21 %

4 – 0,87 %

3 – 0,75 %

2 – 0,51 %

1 – 1,68 %

Математика безмолвствует…

А вот теперь откройте профиль кого-нибудь из тех, кто поставил этому фильму «1».

Тут есть и особый случай: молодой человек (310vet), который 20 % фильмов оценил на «10», 27 % поставил «1», остальные оценки распределились примерно поровну (от 5 до 10 %). Комментарии, как говорится, излишни…

Есть еще один поклонник «Гладиатора» и «Отступников» (Artikinder), который 95 % фильмов оценил на 7…10, но методично расставлял «единицы» классике советского кино («12 стульев», «Бриллиантовая рука», «В бой идут одни старики», «Операция Ы…», «Джентльмены удачи», «Иван Васильевич…»).

В основном же (это нетрудно проверить) пользователи, оценившие на «1» лучший, на мой взгляд, фильм о Великой Отечественной Войне, благополучно поставили наивысший балл голливудской киножвачке, не покидающей Top250… Ну не верю я, что даже половина из них смотрела фильм Станислава Ростоцкого!

Как с этим бороться? Тяжело, наверно, модерировать каждого пользователя… Но хотя бы «обрезать» при расчете рейтинга фильма оценки, нарушающие основополагающий закон статистики (те самые тролльные «единицы»), можно было бы, а?

Что скажете, создатели Кинопоиска?

[Комеди]

Есть оригиналы, ставяшие только 10 и 1.

 

Попадались и такие, которые ставят 1 фильму, явно не просмотренному. С трудом верю, что человек стал смотреть всех "Пиратов Карибского моря" или "Властелин колец". Что характерно, только вышел "Хоббит" тут же ставит оценку и ему. Сам я не любитель подобных картин, а потому просто их не смотрю.

[John Doe]

>> Как с этим бороться? Тяжело, наверно, модерировать каждого пользователя… Но хотя бы «обрезать» при расчете рейтинга фильма оценки, нарушающие основополагающий закон статистики (те самые тролльные «единицы»), можно было бы, а? Что скажете, создатели Кинопоиска?

 

Это уже делается.

[Yorick]

Попадались и такие, которые ставят 1 фильму, явно не просмотренному ... Сам я не любитель подобных картин, а потому просто их не смотрю.

Это довольно логично, я и сам так делаю именно для настройки персональных рекомендаций: чтоб такие фильмы мне алгоритм не подсовывал.

 

Надо бы конечно придумать какой-то механизм, чтоб ставить негативное отношение к какому-то фильму явно не твоего жанра, и чтоб при этом не портить его оценку среди ценителей жанра.

 

Интересно: а если какой-то фильм появляется у тебя в рекомендациях и ты нажимаешь на "удалить из рекомендаций" - это как-то влияет на список рекомендуемых тебе фильмов?

[Putnik777]

Это довольно логично, я и сам так делаю именно для настройки персональных рекомендаций: чтоб такие фильмы мне алгоритм не подсовывал.

Из-за таких как ты страдает вся система!

Надо бы конечно придумать какой-то механизм, чтоб ставить негативное отношение к какому-то фильму явно не твоего жанра, и чтоб при этом не портить его оценку среди ценителей жанра.

А чем механизм "фильтр по жанру" не устраивает?

[Комеди]

Это довольно логично, я и сам так делаю именно для настройки персональных рекомендаций: чтоб такие фильмы мне алгоритм не подсовывал.[/b]?

 

По-моему проще удалить из рекомендаций.

 

Сам давно уже пользуюсь поиском лучших, а не персональными рекомендациями.

Есть ещё одна классная штука - "Фильмы, которые могут вам понравиться", но там нет возможности удалить, или исключающий жанр выбрать.

[Yorick]

Из-за таких как ты страдает вся система!

Я же объяснял - делаю это ВЫНУЖДЕННО. И не массово - например, "Пятнице 13" и "Пиле" вроде ставил по 1це, но не отслеживал все серии, римейки и подобные фильмы, хотя надо было бы. Надеюсь, система фильтрации крайностей в "персональных рекомендациях" отбрасывает подобные оценки.

 

Ну сделайте нормально, как я предлагал - помечать фильм "неприемлемым" или как там - и учитывайте это в подборе рекомендаций. Наверняка непросто, но наверняка и можно.

 

А чем механизм "фильтр по жанру" не устраивает?

Жанр - штука субъективная, и с классификацией на КП не все в порядке - напр. "эротики" нет, а "для взрослых" есть.

 

Да вообще можно сказать, что с жанрами проблема, тут уже давно предлагается отдать возможность голосовать за жанр юзерам.

 

А давайте сделаем 2 классификации по жанрам - 1. административную (как сейчас) и 2. народную (по голосованию)? И посмотрим, какой классификацией больше будут пользоваться

 

И еще: можно выбрать желаемый жанр, но убрать нежелательный вроде нельзя?

 

По-моему проще удалить из рекомендаций.

Среди ужастиков тоже бывают интересные вещи, напр. "Омен". И я смотрю (или пытаюсь) то, что даже скорее всего не понравится, чтоб не говорить голословно - ПКМ хотя бы первый фильм.

 

Да и четкое разделения по жанрам ИМХО в принципе невозможно: в каждом фильме можно найти элементы разных жанров, вопрос только в доле их наличия, а это тоже в какой-то мере субъективно.

 

Потому я давно предлагал комплексную оценку, типа:

"боевик 7, эротика 3, драма 4..." - выставлял бы народ, меньше какого-то порога жанр не попадал бы в список.

 

И пока не ответили - влияет ли удаление из рекомендаций фильма на список рекомендованного.

 

Сам давно уже пользуюсь поиском лучших, а не персональными рекомендациями.

Можно пользоваться разными инструментами одновременно. Но чем лучше будут работать "ПЕРСОНАЛЬНЫЕ рекомендации" - тем чаще выбор будет в их пользу.

Есть ещё одна классная штука - "Фильмы, которые могут вам понравиться", но там нет возможности удалить, или исключающий жанр выбрать.

Это где? Может, имеете в виду "Если вам понравился этот фильм, не пропустите"?

[Комеди]

Это где? Может, имеете в виду "Если вам понравился этот фильм, не пропустите"?

 

Там все эти фильмы собраны. Этот блок находится в профиле, во вкладке "оценки".

 

Именно потому что в каждом жанре могут быть неплохие фильмы проще удалить ненужные из рекомендаций, несложное действие. Например, поудалял я "Звёздных войнов" теперь они мне глаза не мозолят. А какой толк от того что я 1 поставлю?

[Yorick]

Там все эти фильмы собраны. Этот блок находится в профиле, во вкладке "оценки".

Спасибо что напомнили - действительно хорошая фича. Фич на КП так много, что нередко какие и забудешь

Именно потому что в каждом жанре могут быть неплохие фильмы проще удалить ненужные из рекомендаций, несложное действие. Например, поудалял я "Звёздных войнов" теперь они мне глаза не мозолят. А какой толк от того что я 1 поставлю?

Давайте этот вопрос "замнем для ясности" - мы уже повторяемся, а у меня нет другого ответа, кроме того, что - я надеюсь - мои 1цы мерзким фильмам помогут "персональным рекомендациям" не предлагать мне "всякую гадость"

[Yorick]

Вот попалось на Хабре - статья сложная, человек анализировал миллион юзеров - может, на КП и брал выборку:

Рекомендательные системы: You can (not) advise

[...]

Более полугода назад в поисках что посмотреть, я листал топ произведений. Это занятие повторялось уже много раз и успело надоесть — постоянно приходилось пропускать то, что я смотреть не хочу. Имхонетами раньше не пользовался, да и не доверял им из-за специфики искомых произведений. На сайте, где я производил поиски, была возможность создать свой список просмотренных произведений и выставить оценку, также были доступны оценки других пользователей. Тут мне в голову пришла гениальная идея, как оказалось позднее банальная, — используя оценки других пользователей делать рекомендации. Данная деятельность называется коллаборативной фильтрацией, а программа её реализующая — Рекомендательной системой(РС). Оглядываясь назад я понимаю, что совершил множество ошибок из-за недостатка информации и её труднодоступности в данной тематике, а что самое главное — сильно переоценил РС. В данном посте я сделаю обзор основных типов и алгоритмов РС, а также постараюсь передать часть своих знаний и опыта.

[...]

Существует четыре основных типа рекомендательных систем:

Основанные на контенте(Content base)

Коллаборативные(Collaboration)

Основанные на знаниях(Knowlege base)

Гибридные

[...]

Немного почитав про РС вначале я подумал «как мы жили без этого раньше?», но в последствии оказалось, что даже самые передовые методы дают слабые результаты и нет возможности полностью доверить им выбор. Проведя широкое исследование мне не удалось создать систему, которой бы часто пользовались, а главное — которой бы доверяли, так что я буду продолжать свои исследования.

 

Этой области еще нет и двадцати лет, она активно развивается и здесь полно задач, где можно проявить себя.

Это очень интересная проблема, после которой я заинтересовался Data Mining'ом и записался на несколько курсов по машинному обучению, посмотрим что из этого получится.

[Yorick]

Интересная статья - "Рекомендательная революция" (Александр Сергеев) - убедительно показывает плюсы рекомендательных систем, и даже возможность заработать на них авторам произведений:

...Скользя взглядом по тысячам обложек в большом книжном магазине, вряд ли можно сделать хороший выбор. Несколько фраз, прочитанных на случайно открытой странице, позволяют лишь отбраковать совсем уж бездарные тексты. А при выборе фильмов и музыки нет и такой возможности. Получается, что мы покупаем кота в мешке, да еще и платим за него дважды — сначала деньгами, а потом временем. Как же найти интересные, но малоизвестные произведения, которые, возможно, в куда большей степени заслуживают нашего внимания, чем разрекламированные бестселлеры?...

 

...Что общего у песни с подержанным авто

 

Возникновение ухудшающего отбора на рынках, где покупатель не владеет полной информацией о сделке, описал американский экономист Джордж Акерлоф в 1970 году в ставшей классической статье «Рынок лимонов» (http://ecsocman.edu.ru/ db/msg/90879). «Лимонами» в США называют подержанные автомобили, которые внешне для неспециалиста выглядят неплохо, но на самом деле уже никуда не годятся («выжаты, как лимон»). Акерлоф продемонстрировал, что, если на рынке нет честной экспертизы качества, продавать хорошо сохранившиеся машины становится невыгодно. Покупатели, не имея возможности отличить приличные авто от плохих, не готовы платить справедливую цену. В итоге вторичный рынок разрушается, поскольку на нем остаются только плохие машины. Для нормализации нужно обеспечить покупателей равной с продавцом информацией о качестве товара. За объяснение этих процессов Акерлоф получил в 2001 году Нобелевскую премию по экономике. По той же схеме развивается ухудшающий отбор и на рынке культурных продуктов, когда покупатели платят за произведение, еще не зная его истинных достоинств, а продавец легко может их обманывать...

 

...Вспомните, наверняка большинство ваших любимых музыкальных жанров и исполнителей вы обнаружили не сами, перебирая диски в магазине или читая рецензии в газетах, а по совету знакомых. А они, в свою очередь, воспользовались еще чьим-то советом. Эта цепочка и есть прообраз рекомендательного сервиса. Только круг участников в этом случае довольно узок, и подобраны они не по сходству интересов, а по иным жизненным критериям, к тому же работает эта система лишь эпизодически, когда есть время пообщаться.

 

...Как ни удивительно, рекомендательные сервисы предлагают и механизм, в перспективе способный убедить людей добровольно платить за понравившуюся музыку и другие произведения, ранее бесплатно загруженные из Сети. Суть идеи заключается в том, чтобы увязать выставление положительной оценки произведению с перечислением небольшой суммы в пользу автора. Конечно, пользователь может, как «безбилетник», указывать, что ему все не понравилось. Но ведь совокупность оценок формирует его собственный профиль, который служит основой для получения рекомендаций. Обманывая систему, «безбилетник» быстро его испортит, и новые рекомендации станут неадекватными.

[alechorseman]

1. Выскажу свое мнение, о подсчете "близости" между пользователями. Насколько я понял, сейчас высчитывается не близость общих интересов, а всего-лишь процент общих оценок. Независимо от того, какие оценки выставлены, т.е. "друзями по интересам", нередко становятся люди, оценившие одни и те же фильмы, даже если их оценки диаметрально противоположны. Мне кажется, подсчет станет точнее, если добавить возможность дополнительной оценки. Сделать некую вторую "звездочку", чтобы общность оценки по этим "знаковым" фильмам, увеличивала близость.

 

2. Что касается исключения из рейтинга оценок "1" и "10", то по моему, это излишне. Отфильтровать накрутчиков таким способом, реально только в самых вопиющих случаях. Например, если человек поставил 6 тыс оценок, оценив два фильма "10", а все остальные "1"

Изменено 06.05.2013 08:19 пользователем alechorseman

[дружок-рар]

2. Что касается исключения из рейтинга оценок "1" и "10", то по моему, это излишне. Отфильтровать накрутчиков таким способом, реально только в самых вопиющих случаях. Например, если человек поставил 6 тыс оценок, оценив два фильма "10", а все остальные "1"

 

Да хоть 3000 на "10", а 3000 на "1". Накрутка тут очевидная.

 

Другое дело, часто бывает так, что фильм в ТОП-250 получает огромный рейтинг, человек - nomina sunt odiosa - даже пишет на него рецензию и ставит оценку, к примеру, "4 из 10" (!!!), а в профиле ставит кол. Это явно не потому что он оценивает на кол, а просто хочет сбросить рейтинг зарвавшемуся фильму, который по его мнению "на четверку".

[John Doe]

1. Выскажу свое мнение, о подсчете "близости" между пользователями. Насколько я понял, сейчас высчитывается не близость общих интересов, а всего-лишь процент общих оценок. Независимо от того, какие оценки выставлены, т.е. "друзями по интересам", нередко становятся люди, оценившие одни и те же фильмы, даже если их оценки диаметрально противоположны. Мне кажется, подсчет станет точнее, если добавить возможность дополнительной оценки. Сделать некую вторую "звездочку", чтобы общность оценки по этим "знаковым" фильмам, увеличивала близость.

 

2. Что касается исключения из рейтинга оценок "1" и "10", то по моему, это излишне. Отфильтровать накрутчиков таким способом, реально только в самых вопиющих случаях. Например, если человек поставил 6 тыс оценок, оценив два фильма "10", а все остальные "1"

 

В первом пункте вы пишете глупость.

[Yorick]

Если размечтаться: наверняка алгоритм ПР учитывает всю базу оценок юзера (?), а ведь наши вкусы меняются. Было бы интересно, чтобы алгоритм как-то это учитывал: напр. оценкам за последний период давал бОльший весовой коэффициент, особенно при подборе "друзей по интересам", на основании оценок которых вроде и даются рекомендации.

 

Вот взять тот же "Блеф": когда в совке не было из чего выбирать, фильм казался шедевром; сейчас, насмотревшись действительно хороших фильмов, я его пересмотрел и понизил оценку. Ну, конечно, надо учитывать, что я тогда был намного моложе и смотрел другими глазами , что важен эффект "первого просмотра", что за долгое время стирается впечатление.

 

Тем не менее эффект переоценки фильма со временем имеет место. Может, даже стоило бы иметь такую фичу (отключаемую) - автоматом напоминать юзеру, что какая-то случайно выбранная оценка устарела.

 

Или например совсем молодежные комедии, напр. "Горячие жевательные резинки": одно дело, когда их смотришь подростком под избыточным давлением гормонов на мозги , другое дело - когда вырастаешь и "это" уже становится не на 1м месте. А персональные рекомендации все клепаются с учетом давно устаревшей хорошей оценки?

[Комеди]

Так никто и не мешает переоценивать

[Yorick]

Ну будем реально смотреть на вещи: вряд ли юзеры будут массово переоценивать. А разумный небольшой весовой коэффициент сделал бы рекомендации более актуальными.

[seetolearn]

Если размечтаться: наверняка алгоритм ПР учитывает всю базу оценок юзера (?), а ведь наши вкусы меняются. Было бы интересно, чтобы алгоритм как-то это учитывал: напр. оценкам за последний период давал бОльший весовой коэффициент, особенно при подборе "друзей по интересам", на основании оценок которых вроде и даются рекомендации.

 

…

 

Тем не менее эффект переоценки фильма со временем имеет место. Может, даже стоило бы иметь такую фичу (отключаемую) - автоматом напоминать юзеру, что какая-то случайно выбранная оценка устарела.

 

Замечал за собой, вкусы меняются. Работать со старыми оценками можно вручную: сортируете свои оценки по дате. Старые удаляете. Чтобы переоценивать, я полагаю, нужно пересматривать.

[Yorick]

Замечал за собой, вкусы меняются. Работать со старыми оценками можно вручную: сортируете свои оценки по дате. Старые удаляете. Чтобы переоценивать, я полагаю, нужно пересматривать.

Вы наверное не обратили внимание, что я призывал РЕАЛЬНО смотреть на вещи: ваше предложение сработает лишь для некоторых ответственных юзеров; мое же должно худо-бедно, но сработать на массе, не только не желающей переоценивать, а и вообще даже не задумывающейся и даже не знающей об этом не таком уж нюансе.