Skip to main content

Posts

happy 0xFF!

Всех причастных с Днем Программиста. Всем больше больших  и интересных задач ну и конечно же - изменить этот мир еще чуточку в лучшую сторону в следующем году :) P.S. В такой день среда считается за пятницу :)

MongoDB MapReduce & Sharding Gotchas

tl;dr: это б....дь п........ц Ну а те кто хочет прочесть историю печальную сию - ниже ее изложение. Итак, "посчастливилось" мне попробовать MongoDB в реальном проекте (больше такого счастья не хочется почему-то). Основа проекта - бэкенд который делает интенсивный data crunching и расчет различных метрик основываясь на данных, которые хранятся в монго. Ну а поскольку в версии 2.0.x монго единственный способ делать агрегацию данных (sum, avg, etc) - MapReduce то именно при помощи его все это и считается. Одна незадача - статистика роста количества входных данных показывает что если все оставить как есть и ничего не менять то в ближайшем будущем упремся в потолок - для подсчета статистики и метрик будет уходить более суток, что не приемлемо. Соответственно возникла задача все это оптимизировать/отмасштабировать чтобы "считалось быстрее" и "все были счастливы" (product owner и customer'ы). С этого и началась моя "эпопея", которой могут позав...

Declaration of Internet Freedom

Подписал Declaration of Internet Freedom . Свой голос поставил здесь . Это очень важно, особенно в свете мирового заговора   последних событий  (ненужное зачеркнуть) в ООН . DECLARATION W e stand for a free and open Internet. We support transparent and participatory processes for making Internet policy and the establishment of five basic principles: Expression:  Don't censor the Internet. Access:  Promote universal access to fast and affordable networks. Openness:  Keep the Internet an open network where everyone is free to connect, communicate, write, read, watch, speak, listen, learn, create and innovate. Innovation:  Protect the freedom to innovate and create without permission. Don’t block new technologies, and don’t punish innovators for their users' actions. Privacy:  Protect privacy and defend everyone’s ability to control how their data and devices are used.

Cypherpunks

Если вы еще не знали, то Джулиан Ассанж (да-да, тот самый основатель Wikileaks ) -  один из шифропанков - людей которые хотят чтобы ваши приватные данные и дальше оставались приватными не без помощи криптографии. Недавно на RT вышел эпизод в двух частях, посвященный этой тематике ( http://assange.rt.com/cypher-punks-episode-eight-pt1/  ,  http://assange.rt.com/cypherpunks-episode-eight-pt2/ ). Я в общем-то тоже шифрую жесткие диски (не потому что мне оно нужно, а потому что могу), потому эпизод и дискуссия показалась мне достаточно интересной. А на LWN тем временем обсуждают щекотливую тему распространения GPL кода в ракетах (милитари)  -  Assume that someone fires a cruise missile on you and that there is a GPL component in the cruise missile.