just another day for a man under the siege

wget, HTTP 3xx i пачка фалів

2010-11-14T16:10:00.001-08:00

Сьогодні хотів собі закачати пару аудіо-книжок послухати по дорозі на роботу - надибав непогану підбірку на ex.ua.
На роздачі в торенті нікого нема - довелось качати з їх файлового сервера - а це ж ціла купа посилань на маленькі mp3-шки! Думав, що FlashGot допоможе, але нажаль справжнє ім’я файлу можна отримати лише після редіректу з початкового запиту на файловий сервер і він мені зберігав цілу купу файлів з малоінформативними іменами, ще й без розширень, що завело б мій плеєр у ступор.

Ось так працює зараз звичайний wget:

$ wget http://www.ex.ua/get/112003
--2010-11-15 01:26:28--  http://www.ex.ua/get/112003
Resolving www.ex.ua... 93.183.204.162
Connecting to www.ex.ua|93.183.204.162|:80... connected.
HTTP request sent, awaiting response... 302 Moved
Location: http://fs7.www.ex.ua/get/112003/08_03_05.mp3 [following]
--2010-11-15 01:26:29--  http://fs7.www.ex.ua/get/112003/08_03_05.mp3
Resolving fs7.www.ex.ua... 77.120.118.79
Connecting to fs7.www.ex.ua|77.120.118.79|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1042414 (1018K) [audio/mpeg]
Saving to: `112003'

59% [======================>                    ] 617,266     1001K/s

Це мабуть тому, зо FlashGot не використовує (чи принаймні не виносить у налаштування) таку чудову опцію wget як trust-server-names, що дозволить нам зберегти файл з правильною назвою:

$ wget http://www.ex.ua/get/112003 --trust-server-names
--2010-11-15 01:51:48--  http://www.ex.ua/get/112003
Resolving www.ex.ua... 93.183.204.162
Connecting to www.ex.ua|93.183.204.162|:80... connected.
HTTP request sent, awaiting response... 302 Moved
Location: http://fs7.www.ex.ua/get/112003/08_03_05.mp3 [following]
--2010-11-15 01:51:49--  http://fs7.www.ex.ua/get/112003/08_03_05.mp3
Resolving fs7.www.ex.ua... 77.120.118.79
Connecting to fs7.www.ex.ua|77.120.118.79|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1042414 (1018K) [audio/mpeg]
Saving to: `08_03_05.mp3'

100%[=========================>] 1,042,414   1.03M/s   in 1.0s   

2010-11-15 01:51:50 (1.03 MB/s) - `08_03_05.mp3' saved [1042414/1042414]

Ця опція з'явилась після того, як пофіксали проблему з безпекою, що полягала в наступному: "a remote attacker could create the file with an arbitrary name (e.g. .wgetrc), and possibly run arbitrary code.
ATTENTION: This update changes previous behaviour by ignoring the filename supplied by the server during redirects. To re-enable previous behaviour, use the new --trust-server-names option."
Тобто проблему не вирішили, а лише зробили старий функціонал доступним лише з застосуванням додаткової опції.
Але як змусити FlashGot її використати? Мабуть, напишу їм листа :)

"Бєда, бєда, огорчєніє..." (c)

Але на своє щастя я помітив маленьке посилання зверху топіка - "список файлів", по якому можна завантажити звичайний текстовий документ з посиланнями на всі файли зразу!
Всі проблеми вирішились однією командою:

$ wget http://www.ex.ua/filelist/52100.urls -O links; wget -i links --trust-server-names=on; rm links 

Доречі, на цьому ж сайті є підбірка MythBusters: http://www.ex.ua/view/3365.
Список фалів тут. Але зважайте, що там 56 Гб :)

Встановлюємо MongoDB

2010-10-16T11:34:00.000-07:00

Сьогодні розглянемо мої потуги при встановленні MongoDB на Lucid Lynx.
Як стверджуюють її автори: MongoDB is scalable, high-performance, open source, document-oriented database - просто мрія розробника ПЗ.
Вирішив ставити з убунтівського репозиторія. Наразі там версія 1.2.2, хоча уже є стабільний реліз 1.6.3.
Також варто підмітити обмеження 32-бітних систем - база може бути не більше 2 Гб. Але мені для длупання в MongoDB цілком вистачить :)
Отож ставимо MongoDB:

$ sudo apt-get install mongodb

При установці чомусь не створюється каталог по замовчуванню для баз даних. Створимо його вручну і дамо своєму обліковому запису на нього права:

$ sudo mkdir -p /data/db/
$ sudo chown `id -u` /data/db

Також mongo (command-line tool) не могла стартанути через відсутність libmozjs.so (Сподіваюсь цей баг виправили в новіших версіях):

$ mongo
mongo: error while loading shared libraries: libmozjs.so: cannot open shared object file: No such file or directory

Бідолаха і справді її не бачить:

$ ldd /usr/bin/mongo
linux-gate.so.1 =>  (0xb7726000)
libstdc++.so.6 => /usr/lib/libstdc++.so.6 (0xb7614000)
libboost_thread.so.1.40.0 => /usr/lib/libboost_thread.so.1.40.0 (0xb75ff000)
libboost_filesystem.so.1.40.0 => /usr/lib/libboost_filesystem.so.1.40.0 (0xb75ea000)
libboost_program_options.so.1.40.0 => /usr/lib/libboost_program_options.so.1.40.0 (0xb75a2000)
libboost_system.so.1.40.0 => /usr/lib/libboost_system.so.1.40.0 (0xb759d000)
libmozjs.so => not found
librt.so.1 => /lib/tls/i686/cmov/librt.so.1 (0xb7594000)
libm.so.6 => /lib/tls/i686/cmov/libm.so.6 (0xb756d000)
libgcc_s.so.1 => /lib/libgcc_s.so.1 (0xb754e000)
libpthread.so.0 => /lib/tls/i686/cmov/libpthread.so.0 (0xb7535000)
libc.so.6 => /lib/tls/i686/cmov/libc.so.6 (0xb73db000)
/lib/ld-linux.so.2 (0xb7727000)

Шукаємо чи часом не завалялась у нас ця бібліотека:

$ find /usr/lib | grep libmozjs
/usr/lib/xulrunner-devel-1.9.2.10/sdk/lib/libmozjs.so
/usr/lib/xulrunner-1.9.2.10/libmozjs.so
/usr/lib/firefox-3.6.10/libmozjs.so

MongoDB з собою тягне XULRunner - тому сподіваємось, що нам його версія підійде:

$ sudo ln -s /usr/lib/xulrunner-1.9.2.10/libmozjs.so /usr/lib/libmozjs.so

Стартуємо mongo

$ mongo
MongoDB shell version: 1.2.2
url: test
connecting to: test
type "exit" to exit
type "help" for help
>

Записуємо Васю Пупкіна в нашу базу:

> db.Human.save({name:"Вася Пупкін", dob:new Date('11/25/1985'), _id:new ObjectId()});
> db.Human.find()
{ "_id" : ObjectId("4cb9e7fff2401181a4ad9c57"), "name" : "Вася Пупкін", "dob" : "Mon Nov 25 1985 00:00:00 GMT+0300 (MSK)" }

Начебто все ок :)
Знайшов бравзерну оболонку для mongo з вбудованим навчальним курсом для "чайників" - Mongulator. Закидаєте собі на apache:

$ mkdir Mongulator
$ cd Mongulator/
$ git clone git://github.com/banker/mongulator.git
Cloning into mongulator...
remote: Counting objects: 253, done.
remote: Compressing objects: 100% (250/250), done.
remote: Total 253 (delta 148), reused 0 (delta 0)
Receiving objects: 100% (253/253), 100.45 KiB | 75 KiB/s, done.
Resolving deltas: 100% (148/148), done.
$ mkdir /var/www/mongulator
$ cd mongulator/public
$ cp * /var/www/mongulator

І в браузері маєте гарний Mongulator за адресою http://localhost/mongulator/

Для С# є декілька різних драйверів, корисних тулзів і цікавих статей тут.
Наразі я склонував git-репозиторії MongoDB-CSharp i NoRM і риюсь в них. В кожного з них свої фішари. Про те, що нарию, розкажу детальніше в наступних постах :)

MS Project vs OpenProj: *.mpp on Lucid Lynx

2010-08-19T10:55:00.000-07:00

Привіт усім!
Сьогодні я працював з дому і треба було мені переглягути WBS в MS Project файлі. Так як офіса віндового у мене немає, а OpenOffice поки не має подібної тулзєні, то постало питання, як же цей mpp-файл переглянути і при потребі відредагувати.
У пошуках відповіді натикнувся на OpenProj від ~~Projity~~ Serena - досить пристойну заміну MS Project.
Завантажуємо, встановлюємо та запускаємо:

$ wget http://sourceforge.net/projects/openproj/files/OpenProj%20Binaries/1.4/openproj_1.4-2.deb/download
$ sudo dpkg -i openproj_1.4-3_all.deb
$ openproj

Та відкриваємо наш mpp-файл:

Як бачимо, інтерфейс та фунціонал не дуже відрізняється від платного варіанту. Мабуть різниця є, але для моїх задач вистачає, а кому кортить дізнатись детальніше - тут уже челендж не на одну годину :)
Успіхів!

Thunderbird, OWA, GMail, Google Calendar і Ко.

2010-07-11T15:05:00.000-07:00

Хочу привітати не тільки себе з першою публікацією в цьому блозі, а й тих, хто знайде для себе щось цікаве чи корисне, його читаючи.
Повна назва посту мали би звучати як "Mozilla Thunderbird 3.1: зв’язуємо MS Exchange 2007 Outlook Web App, GMail і Google Calendar." ☺
Не так давно я перейшов на з MS Windows на Ubuntu, тому часто знаходжу для себе багато нового, налаштовуючи ту, чи іншу фічу в системі.
От недавно постало питання синхронізації свого особистого календаря і адресної книги з робочими календарем та контактами. Певного успіху таки вдалось досягнути - тому, кому цікаво, читаємо далі...

Отож, для початку треба встановити останню версію Mozilla Thunderbird.
Як виявилось, в репозиторіях Lucid Lynx лише версія 3.0.5, а власного репозиторія в Mozilla немає (є правда Ubuntuzilla, але поки що вирышив не експериментувати), тому завантажуємо потрібну версію з офіційного сайту. На момент завантаження мною там була версія 3.1 - завантажити Mozilla Thunderbird. Варто зауважити, що робилось це виключно через те, що аддони, які необхідні для вирішення поставленої задачі, відмовлялись встановлюватись у 3.0.5.
У завантаженому архіві - thunderbird-3.1.tar.bz2 - виявився не інсталятор, а вже розгорнута програма. Тому робимо декілька нескладних маніпуляцій:

$ cd ../Downloads/
$ tar -xvf thunderbird-3.1.tar.bz2 
$ mv thunderbird ~
$ ./../thunderbird/thunderbird

Після успішної установки я налаштував свою поштову скриньку на Google.
Було приємно побачити, що Thunderbird самостійно підтягнула хости та порти для IMAP та SMTP зі своєї бази і мені не довелось самостійно це робити ☺:

Після завантаження заголовків усіх моїх імейлів я встановив декілька корисних для мене аддонів (Adblock Plus, Enigmail, WiseStamp), а також ті, що необхідні для роботи календаря (Lightning, LightningButton, Provider for Google Calendar) та адресної книги (Google Contacts).
Поки Thunderbird перезавантажується, щоб інтегрувати в себе всі ці нові аддони, ідемо на сайт DavMail і завантажуємо необхідну збірку. В моєму випадку це Debian Linux (Ubuntu). Нагадаю, що для його роботи необхідно щоб у вас була встановлена ~~Sun~~ Oracle J2SE 1.5 або 1.6. Тому, в кого нема необхідного нам рантайму, виконайте наступне:

$ sudo apt-get install sun-java6-bin

Особисто в мене вже була встановлена OpenJDK Java 6 Runtime, при наявності якої DavMail успішно встановився і працює.
Отож після перевірки наявності та, при необхідності, установки JRE, встановлюємо уже завантежений DavMail:

$ sudo dpkg -i ~/Downloads/davmail_3.6.6-1032-1_all.deb

Запускаємо його і йдемо до налаштувань:

Вказуємо адресу Outlook Web Access (OWA):

Та переконуємось що DavMail працює та очікує запитів на налаштованих портах:

Далі додаємо нову поштову скриньку до Thunderbird. Оскільки самостійно Thunderbird налаштування в своїй базі знайти не зможе, то вибираємо Manual Setup та направляємо вхідний сервер IMAP на localhost:1143, а вихідний SMTP на localhost:1025, та вказуємо, що необхідно пересилати пароль у відкритому вигляді:

SMTP знаходимо в окремій секції налаштувань Outgoing Server (SMTP) -> localhost -> Edit:

Після цього Thunderbird почне завантажувати заголовки пошти з вашої скриньки через DavMail, який бере на себе всі турботи про спілкування з OWA.
При отриманні чи відсиланні пошти у вас запитають ваш пароль - можете використати Password Manager, щоб не вводити ці дані постійно.
Тепер налаштуємо календар. Почнемо з Google Calendar: клікаємо Events and Tasks -> Calendar (Ctrl + Shift + C) -> New Calendar -> On The Network -> Google Calendar, де нам необхідно ввести шлях до календаря.
Для цього нам необхідно ввести приватне або публічне посилання на ваш календар, яке можна знайти в налаштуваннях у вашому Google Calendar: Settings -> Calendar Settings -> Calendars -> "назва вашого календаря" -> Private Address:

І копіпастимо цю адресу у вищезгадане текстове поле.
Аналогічно створюємо новий календар, який витягнемо з OWA через DavMail, але вибираємо тип CalDAV і водимо адресу: http://localhost:1080/users/вашлогін@вашсервер/calendar, де вашлогін@вашсервер - ваша адреса на Exchange сервері.
І в результаті можемо створювати події в календарях та відсилати запрошення на них на інші сервіси. Я для тестування відіслав собі з робочого на мій приватний календар:

І отримав повідомлення, що "інший Я" його прийняв:

А також бачимо як всілякі мітінги можуть повпливати на ваші особисті плани ☺:

А тепер завантажимо свої адресні книги з Google Contacts та OWA.
Для адресної книги Google ми вже встановили одноіменний аддон і він мав би уже підхопити необхідний аккаунт та завантажити адресну книгу з GMail, в результаті чого в моїй адресній книзі Mozilla уже існує "Google-daymansiege@gmail.com". Якщо ж він раптом цього не зробив, можна додати аккаунт вручну, зайшовши в налаштування аддона і натиснувши Add:

Для доступу до глобальної адресної книги у вашій Active Directory вам необхідно додати LDAP Directory:

Тут Name - ім’я LDAP директорії в вашій адресній книзі, Hostname i Port - адреса, на якій слухає DavMail, Base DN - організаційний юніт, на який відсилати LDAP-запит (залежить яка у вас структура в AD), Bind DN - ваш логін до AD у вигляді домен\логін.

Ось і все - можете координувати ваші плани з робочим графіком та відсилати робочі та особисті листи використовуючи лише одну програму.
Дякую за увагу!