книги хакеры / журнал хакер / 191_Optimized
.pdf
|
|
|
|
hang |
e |
|
|
|
|
|
|
|
|
|
|
|
|
hang |
e |
|
|
|
|
|
||
|
|
|
C |
|
E |
|
|
|
|
|
|
|
|
|
C |
|
E |
|
|
|
||||||
|
|
X |
|
|
|
|
|
|
|
|
|
|
|
X |
|
|
|
|
|
|
||||||
|
- |
|
|
|
|
|
d |
|
|
|
|
|
- |
|
|
|
|
|
d |
|
||||||
|
F |
|
|
|
|
|
|
|
t |
|
|
|
|
|
F |
|
|
|
|
|
|
|
t |
|
||
|
D |
|
|
|
|
|
|
|
|
i |
|
|
|
|
|
D |
|
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
|
r |
|
|
|
|
|
|
|
|
|
|
|
|
|
r |
|||
P |
|
|
|
|
|
NOW! |
o |
|
|
|
|
P |
|
|
|
|
|
NOW! |
o |
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
BUY |
|
|
|
|
|
|
|
|
|
|
BUY |
|
|
||||||||
|
|
|
|
to |
100m |
Кодинг |
|
|
|
|
|
to |
|
|
|
|
|
|
||||||||
w Click |
|
ХАКЕР 12 |
w Click |
|
|
|
|
|
|
m |
||||||||||||||||
w |
|
|
|
|
|
|
|
|
|
|
|
|
|
/191/ 2014 |
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
w |
|
|
|
|
|
|
|
|
|
|
|||
|
w |
|
|
|
|
|
|
|
|
o |
|
|
|
|
|
w |
|
|
|
|
|
|
|
|
o |
|
|
. |
|
|
|
|
g |
.c |
|
|
|
|
|
. |
|
|
|
|
g |
.c |
|
||||||
|
|
p |
|
|
|
|
|
|
|
|
|
|
|
|
p |
|
|
|
|
|
|
|
||||
|
|
|
df |
|
|
n |
e |
|
|
|
|
|
|
|
df |
|
|
n |
e |
|
||||||
|
|
|
|
-xcha |
|
|
|
|
|
|
|
|
|
|
|
|
-x cha |
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
4 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2
3
if (pvSIMP[uCurProcNum] != NULL){ |
|
|
|
|
|
Рис. 1. Массив |
Функция ParseVmbusMessage (рис. 4). |
|||||||||
phvMessage = (PHV\_MESSAGE)pvSIMP[uCurProcNum]; |
|
|
HvlpInterruptCallback |
Функция |
получает |
номер |
активно- |
|||||||||
} else{ |
|
|
|
|
|
|
|
|
|
с измененными об- |
го логического процессора, адрес |
стра- |
||||
DbgPrintString("pvSIMP is NULL"); |
|
|
|
|
работчиками |
ницы SIM и |
считывает |
значение |
|
четвер- |
||||||
return; |
|
|
|
|
|
|
|
|
|
|
того слота SIM. Для примера разобраны |
|||||
} |
|
|
|
|
|
|
|
|
|
|
Рис. 2. |
сообщения |
CHANNELMSG\_OPENCHANNEL |
|||
// |
в дом |
н |
о о |
в |
оо |
н |
1- |
о |
SIM |
|
ArchmWinHvOnInterrupt |
и CHANNELMSG\_GPADL\_HEADER, но в ис- |
||||
phvMessage1 = (PHV\_MESSAGE)((PUINT8)pvSIMP[uCurProcNum] |
и ArchXPart- |
ходных кодах LIS можно увидеть формат всех |
||||||||||||||
+ HV\_MESSAGE\_SIZE); // for SINT1 |
|
|
|
|
EnlightenedIsr |
типов сообщений и без труда дописать необ- |
||||||||||
if (phvMessage1-\>Header.MessageType != 0){ |
|
|
|
|
ходимые обработчики. Сообщения для шины |
|||||||||||
DbgPrintString("SINT1 interrupt"); |
|
|
|
|
Рис. 3. Вывод DbgView |
VMBus обычно генерируются при включении/ |
||||||||||
} |
|
|
|
|
|
|
|
|
|
|
при обработке гипер- |
выключении виртуальной машины или же одно- |
||||
// |
в |
мо |
о |
|
оо н |
вы ыв |
м |
о д |
ы- |
визором обращений |
го из компонентов Integration Services. Напри- |
|||||
о |
о |
|
|
|
|
|
|
|
|
|
к MSR-регистрам |
мер, при включении компонента Data Exchange |
||||
// С |
|
ы д |
|
дого |
оо |
н |
о |
ны в TLFS |
|
отладчик или DbgView покажет информацию, |
||||||
switch (phvMessage-\>Header.MessageType) |
|
|
|
|
Рис. 4. |
изображенную на рис. 5. |
|
|
|
|||||||
{ |
|
|
|
|
|
|
|
|
|
|
ParseVmbusMessage |
|
|
|
|
|
case HvMessageTypeX64IoPortIntercept: |
|
|
|
|
|
INTEGRATIONSERVICES—DATA |
|
|
||||||||
|
PrintIoPortInterceptMessage(phvMessage); |
|
|
|
EXCHANGE |
|
|
|
|
|||||||
|
break; |
|
|
|
|
|
|
|
|
|
Далее рассмотрим, каким же образом проис- |
|||||
case HvMessageTypeNone: |
|
|
|
|
|
|
|
ходит обмен данными между гостевой и root |
||||||||
|
DbgPrintString("HvMessageTypeNone"); |
|
|
|
|
ОС на примере одного из компонентов служб |
||||||||||
|
break; |
|
|
|
|
|
|
|
|
|
интеграции — Data Exchange. Этот компонент |
|||||
case HvMessageTypeX64MsrIntercept: |
|
|
|
|
|
позволяет root ОС считывать данные из опреде- |
||||||||||
|
PrintMsrInterceptMessage(phvMessage); |
|
|
|
|
ленной ветки реестра гостевой ОС. |
|
|
||||||||
|
break; |
|
|
|
|
|
|
|
|
|
Для проверки в гостевой ОС создадим в вет- |
|||||
case HvMessageTypeX64CpuidIntercept: |
|
|
|
|
|
ке |
|
|
|
|
||||||
|
PrintCpuidInterceptMessage(phvMessage); |
|
|
|
|
|
|
|
|
|||||||
|
break; |
|
|
|
|
|
|
|
|
|
HKEY\_LOCAL\_MACHINE\\SOFTWARE\\ |
|
|
|||
case HvMessageTypeX64ExceptionIntercept: |
|
|
|
|
Microsoft\\Virtual Machine\\Guest |
|
||||||||||
|
PrintExceptionInterceptMessage(phvMessage); |
|
|
|
|
|
|
|
|
|||||||
|
break; |
|
|
|
|
|
|
|
|
|
ключ со значением KvPDataValue (см. рис. 6). |
|||||
default: |
|
|
|
|
|
|
|
|
|
|
Для получения значения ключа в root ОС был |
|||||
DbgLog("Unknown MessageType", phvMessage-\> |
|
|
|
|
использован |
следующий |
PowerShell-скрипт |
|||||||||
Header.MessageType); |
|
|
|
|
|
|
|
(см. рис. 7). |
|
|
|
|
||||
break; |
|
|
|
|
|
|
|
|
|
|
Скрипт вернет значение ключа KvPDataKey |
|||||
} |
|
|
|
|
|
|
|
|
|
|
|
(см. рис. 8). |
|
|
|
|
} |
|
|
|
|
|
|
|
|
|
|
|
Скрипт получает весь доступный набор |
||||
|
|
|
|
|
|
|
|
|
|
|
|
значений с помощью \$vm.GetRelated("Msvm\_ |
||||
Функция получает номер активного логического процессора, адрес |
|
KvpExchangeComponent").GuestExchangeItems |
||||||||||||||
страницы SIM и считывает значение нулевого слота SIM. Сперва произво- |
|
и только после этого выполняет разбор каждого |
||||||||||||||
дится анализ типа сообщения phvMessage-\>Header.MessageType, посколь- |
|
полученного объекта на предмет поиска ключа |
||||||||||||||
ку тело сообщения для каждого типа разное. В DbgView можно увидеть сле- |
|
KvPDataKey. Соответственно, скрипт будет ра- |
||||||||||||||
дующую картину (см. рис. 3). |
|
|
|
|
|
|
|
ботать только в том случае, если в свойствах |
|
|
|
|
hang |
e |
|
|
|
|
|
|
|
|
C |
|
E |
|
|
|||
|
|
X |
|
|
|
|
|
|||
|
- |
|
|
|
|
|
d |
|
||
|
F |
|
|
|
|
|
|
t |
|
|
|
D |
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
r |
||
P |
|
|
|
|
|
NOW! |
o |
|
||
|
|
|
|
|
|
|
||||
|
|
|
|
|
BUY |
|
|
|||
|
|
|
|
to |
|
|
|
|
|
|
w Click |
|
ХАКЕР m |
12 /191/ 2014 |
|||||||
|
|
|||||||||
w |
|
|
|
|
|
|
|
|
|
|
|
w |
|
|
|
|
|
|
|
o |
|
|
. |
|
|
|
|
|
.c |
|
||
|
|
p |
|
|
|
|
g |
|
|
|
|
|
|
df |
|
|
n |
e |
|
||
|
|
|
|
-xcha |
|
|
|
|
Препарируем Hyper-V, часть 2
|
|
|
|
hang |
e |
|
|
|
|
|
|
|
|
C |
|
E |
|
|
|||
|
|
X |
|
|
|
|
|
|||
|
- |
|
|
|
|
|
d |
|
||
|
F |
|
|
|
|
|
|
t |
|
|
|
D |
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
r |
||
P |
|
|
|
|
|
NOW! |
o |
|||
|
|
|
|
|
|
|
||||
|
|
|
|
|
BUY |
|
|
|||
|
|
|
|
to |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
m |
|
w101Click |
|
|
|
|
|
|||||
w |
|
|
|
|
|
|
|
|
|
|
|
w |
|
|
|
|
|
|
|
o |
|
|
. |
|
|
|
|
|
.c |
|
||
|
|
p |
|
|
|
|
g |
|
|
|
|
|
|
df |
|
|
n |
e |
|
||
|
|
|
|
-x cha |
|
|
|
|
виртуальной машины активирован компонент |
|
|
Unlock+0x162 |
|
|
|
|
|
|
|||||||||
Data Exchange. |
|
|
|
|
|
|
|
|
vmbkmcl!VmbChannelEnable+0x231 |
|
|
|||||||
После установки галочки на компоненте Data |
|
|
vmbus!PipeStartChannel+0x9e |
|
|
|||||||||||||
Exchange и нажатия кнопки Apply root ОС через |
|
|
vmbus!PipeAccept+0x81 |
|
|
|||||||||||||
гипервызов HvPostMessage отправляет госте- |
|
|
vmbus!InstanceCreate+0x90 |
|
|
|||||||||||||
вой ОС сообщение с кодом CHANNELMSG\_ |
.................................. |
|
|
|||||||||||||||
OFFERCHANNEL (см. рис. 9). |
|
|
|
|
|
|
nt!IopParseDevice+0x7b3 |
|
|
|||||||||
Переданные данные содержат GUID устрой- |
|
|
nt!ObpLookupObjectName+0x6d8 |
|
|
|||||||||||||
ства, подключенного к VMBus как дочернее |
|
|
nt!ObOpenObjectByName+0x1e3 |
|
|
|||||||||||||
устройство (см. рис. 10). |
|
|
|
|
|
|
|
nt!IopCreateFile+0x372 |
|
|
||||||||
ДалеегостеваяОСобрабатываетданныеивы- |
|
|
nt!NtCreateFile+0x78 |
|
|
|
|
|
|
|||||||||
зывает |
функцию |
vmbus!InstanceDeviceControl. |
|
|
nt!KiSystemServiceCopyEnd+0x13 |
|
|
|||||||||||
Часть стека: |
|
|
|
|
|
|
|
|
ntdll!NtCreateFile+0xa |
|
|
|||||||
**WINDBG\>k ** |
|
|
|
|
|
|
|
|
KERNELBASE!CreateFileInternal+0x30a |
|
|
|||||||
|
|
|
|
|
|
|
|
KERNELBASE!CreateFileW+0x66 |
|
|
||||||||
Call Site |
|
|
|
|
|
|
|
|
vmbuspipe!VmbusPipeClientOpenChannel+0x44 |
|||||||||
nt!IoAllocateMdl |
|
|
|
|
|
|
|
icsvc!ICTransportVMBus::ClientNotification+0x60 |
||||||||||
vmbus!InstanceCloseChannel+0x22d |
|
|
|
vmbuspipe!VmbusPipeClientEnumeratePipes+0x1ac |
||||||||||||||
( д |
во в |
д |
н |
, |
м |
|
|
icsvc!ICTransportVMBusClient::Open+0xe5 |
|
|
||||||||
о о о |
о |
в |
в |
мво |
) |
|
|
|
|
icsvc!ICEndpoint::Connect+0x66 |
|
|
||||||
vmbus!InstanceDeviceControl+0x118 |
|
|
icsvc!ICChild::Run+0x65 |
|
|
|||||||||||||
.................................. |
|
|
|
|
icsvc!ICKvpExchangeChild::Run+0x189 |
|
|
|||||||||||
vmbkmcl!KmclpSynchronousIoControl+ |
|
|
icsvc!ICChild::ICServiceWork+0x137 |
|
|
|||||||||||||
0xa7 |
|
|
|
|
|
|
|
|
|
icsvc!ICChild::ICServiceMain+0x8f |
|
|
||||||
vmbkmcl!KmclpClientOpenChannel+0x2a6 |
|
|
.................................. |
|
|
|||||||||||||
vmbkmcl!KmclpClientFindVmbusAnd |
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
5 |
|
|
6 |
|
Рис. 6. Ключ |
Рис. 8. Результат вы- |
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
KvPDataValue |
полнения скрипта |
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
Рис. 7. PowerShell- |
Рис. 9. GUID устройства |
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
Рис. 5. Отладочный |
скрипт для запроса |
в сообщении |
||||||||
|
|
|
|
|
|
|
|
вывод сообщений |
значений реестра из го- |
|
|
|||||||
|
|
|
|
|
|
|
|
при включении компо- |
стевой ОС |
Рис. 10. Вывод |
||||||||
|
|
|
|
|
|
|
|
нента Data Exchange |
|
|
|
|
!devnode для устрой- |
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ства VMBus |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Рис. 11. Значение |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
структуры MDL |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Рис. 12. PFN в MDL- |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
структуре |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
8 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
7 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
9 |
|
|
11 |
|
10 |
|
|
12 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
hang |
e |
|
|
|
|
|
|
|
C |
|
E |
|
|||
|
|
X |
|
|
|
|
|||
|
- |
|
|
|
|
|
d |
||
|
F |
|
|
|
|
|
|
t |
|
|
D |
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
r |
|
P |
|
|
|
|
|
NOW! |
o |
||
|
|
|
|
|
|
||||
|
|
|
|
|
BUY |
|
|||
|
|
|
|
to |
102m |
||||
w Click |
|
||||||||
|
|
||||||||
w |
|
|
|
|
|
|
|
|
|
|
w |
|
|
|
|
|
|
|
o |
|
. |
|
|
|
|
|
.c |
||
|
|
p |
|
|
|
|
g |
|
|
|
|
|
df |
|
|
n |
e |
||
|
|
|
|
-xcha |
|
|
|
Кодинг
13
Из этой |
функции |
вызывается |
|
15 |
nt!IoAllocateMdl с размером выде- |
|
|
||
ляемого буфера 0xC000. Результат |
|
|
||
выполнения функции — сформиро- |
|
|
||
ванная структура MDL (см. рис. 11). |
|
|
||
Далее |
|
вызывается |
|
|
MmProbeAndLockPages, после за- |
|
|
||
вершения |
выполнения которой |
|
|
|
структура MDL дополняется эле- |
|
|
||
ментами PFN (см. рис. 12). В дан- |
|
|
||
ном примере была выделена не- |
|
|
||
прерывная |
область |
физической |
|
|
памяти, хотя это условие выполня- |
|
ется необязательно. |
Рис. 13. Участок кода, |
Далее вызывается vmbus!ChCreateGpadlFromNtmdl (вто- |
отвечающий за копиро- |
рым параметром передается адрес MDL), которая вызывает |
вание PFN в отдельный |
vmbus!ChpCreateGpaRanges, передавая ей в качестве первого |
буфер |
параметра все тот же MDL. Далее выполняется копирование |
|
элементов PFN из структуры MDL в отдельный буфер (см. рис. |
Рис. 14. Массив PFN, |
13), который станет телом сообщения CHANNELMSG\_GPADL\_ |
обрабатываемый |
HEADER, отправляемого гостевой ОС в root ОС посредством |
гипервизором |
вызова vmbus!ChSendMessage. В hv!HvPostMessage или |
|
в winhv!WinHvPostMessage можно увидеть сообщение (рис. |
Рис. 15. Вызов |
14). |
ChMapGpadlView |
Первые 16 байт — это общий заголовок сообщения, где, |
|
например, 0xF0 — размер тела сообщения, внутри размеща- |
Рис. 16. Обработка го- |
ется VMBus-пакет, в заголовке которого указан тип пакета — 8 |
стевых PFN драйвером |
(CHANNELMSG_GPADL_HEADER), rangecount равен 1, из чего |
vid.sys |
следует, что в один пакет вместились все данные, которые |
|
было необходимо передать. В случае большого объема дан- |
Рис. 17. Структура MDL, |
ных драйвер гостевой ОС разделил бы их на части и отпра- |
возвращаемая драйве- |
вил отдельными сообщениями. Далее root ОС шлет сообще- |
ром vid.sys |
ние CHANNELMSG\_OPENCHANNEL\_RESULT, затем гостевая |
|
ОС шлет CHANNELMSG\_OPENCHANNEL. После этого в root |
Рис. 18. Структура |
ОС отрабатывает Work Item (см. рис. 15). |
MDL, возвращаемая |
Входе его выполнения вызывается драйвером vid.sys
vmbusr!ChMapGpadlView->vmbusr!PkParseGpaRanges, кото- |
(продолжение) |
рой, в свою очередь, передается указатель на часть сообще- |
|
ния, содержащую размер буфера 0xC000 и PFN, переданные |
|
всообщении CHANNELMSG\_GPADL\_HEADER. Далее происходит вызов vmbusr!XPartLockChildPagesSynchronous-\> vmbusr!XPartLockChildPages, после чего выполняется функция из драйвера vid.sys (имя функции неизвестно, поскольку символы для драйвера отсутствуют), которой в качестве второго параметра передается блок PFN, отправленный ранее в сообщении из гостевой ОС (см. рис. 16).
Непосредственно после возврата из функции в [rsp+30h] находится указатель на вновь созданную структуру MDL (см.
рис. 17).
Следующая MDL содержит набор PFN root ОС (рис. 18). Размер выделенного буфера также равен 0xC000.
После этого root ОС шлет сообщение CHANNELMSG\_ OPENCHANNEL\_RESULT. На этом процесс активации компонента Data Exchange завершается. Таким образом создается некий shared-буфер, видимый как гостевой, так и root ОС. Это можно проверить, выполнив запись произвольных данных
вбуфер в гостевой ОС, например с помощью команды:
**WINDBG\>!ed 2d5bb000 aaaaaaaa**
**WINDBG\>!db 2d5bb000**
\#2d5bb000 aa aa aa aa 10 19 00
|
|
|
|
hang |
e |
|
|
|
|
|
|
|
|
C |
|
E |
|
|
|||
|
|
X |
|
|
|
|
|
|||
|
- |
|
|
|
|
|
d |
|
||
|
F |
|
|
|
|
|
|
t |
|
|
|
D |
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
r |
||
P |
|
|
|
|
|
NOW! |
o |
|||
|
|
|
|
|
|
|
||||
|
|
|
|
|
BUY |
|
|
|||
|
|
|
|
to |
|
|
|
|
|
|
w Click |
|
|
|
|
|
m |
||||
ХАКЕР 12 /191/ 2014 |
|
|
|
|
|
|
||||
w |
|
|
|
|
|
|
|
|
|
|
|
w |
|
|
|
|
|
|
|
o |
|
|
. |
|
|
|
|
|
.c |
|
||
|
|
p |
|
|
|
|
g |
|
|
|
|
|
|
df |
|
|
n |
e |
|
||
|
|
|
|
-x cha |
|
|
|
|
14
16
17
18
|
|
|
|
hang |
e |
|
|
|
|
|
|
|
|
C |
|
E |
|
|
|||
|
|
X |
|
|
|
|
|
|||
|
- |
|
|
|
|
|
d |
|
||
|
F |
|
|
|
|
|
|
t |
|
|
|
D |
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
r |
||
P |
|
|
|
|
|
NOW! |
o |
|
||
|
|
|
|
|
|
|
||||
|
|
|
|
|
BUY |
|
|
|||
|
|
|
|
to |
|
|
|
|
|
|
w Click |
|
ХАКЕР m |
12 /191/ 2014 |
|||||||
|
|
|||||||||
w |
|
|
|
|
|
|
|
|
|
|
|
w |
|
|
|
|
|
|
|
o |
|
|
. |
|
|
|
|
|
.c |
|
||
|
|
p |
|
|
|
|
g |
|
|
|
|
|
|
df |
|
|
n |
e |
|
||
|
|
|
|
-xcha |
|
|
|
|
Препарируем Hyper-V, часть 2
|
|
|
|
hang |
e |
|
|
|
|
|
|
|
|
C |
|
E |
|
|
|||
|
|
X |
|
|
|
|
|
|||
|
- |
|
|
|
|
|
d |
|
||
|
F |
|
|
|
|
|
|
t |
|
|
|
D |
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
r |
||
P |
|
|
|
|
|
NOW! |
o |
|||
|
|
|
|
|
|
|
||||
|
|
|
|
|
BUY |
|
|
|||
|
|
|
|
to |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
m |
|
|
103Click |
|
|
|
|
|
||||
w |
|
|
|
|
|
|
|
o |
|
|
|
w |
|
|
|
|
|
|
|
|
|
w |
|
|
|
|
|
|
.c |
|
||
|
. |
|
|
|
|
|
|
|||
|
|
p |
|
|
|
|
g |
|
|
|
|
|
|
df |
|
|
n |
e |
|
||
|
|
|
|
-x cha |
|
|
|
|
19pfn 10fb12 ---DA--KWEV pfn 1367bb -G-DA--KW-V **WINDBG\>r cr3** cr3=00000000001ab000 **WINDBG\>!vtop 1ab000 ffffd 0016fe33000**
Amd64VtoP: Virt ffffd001\`6fe33000, pagedir 1ab000
Amd64VtoP: PML4E 1abd00 Amd64VtoP: PDPE 225028 Amd64VtoP: PDE 3b7bf8
Amd64VtoP: PTE 00000001\`0fb12198 Amd64VtoP: Mapped phys 00000001\`367bb000
Virtual address ffffd0016fe33000 translates to physical address
1367bb000.
А в root ОС посмотреть содержимое страни- |
Рис. 19. Значе- |
цы, соответствующей PFN, возвращенной функ- |
ние DPC, которую |
цией драйвера vid.sys: |
ставит в очередь |
|
XPartEnlightenedIsr |
**WINDBG\>!db 1367bb000**
\#1367bb000 aa aa aa aa 10 19
Как видно, значения совпали, так что это действительно одна и та же физическая область памяти.
Вспомним, что на предыдущих этапах мы определили, что при активации компонента Data Exchange создается порт типа HvPortTypeEvent
сTargetSint = 5. Соответственно, все операции
сэтим портом в root ОС будет обрабатывать KiVmbusInterrupt1, из которой происходит вызов vmbusr!XPartEnlightenedIsr, а она, в свою оче-
редь, вызывает KeInsertQueueDpc с параметром DPC (его значение показано на рис. 19).
Из |
vmbusr!ParentRingInterruptDpc |
че- |
|
|
рез несколько вызовов будет выполнена |
|
|||
vmbusr!PkGetReceiveBuffer |
|
|
|
|
**WINDBG\>k** |
|
|
|
|
Child-SP RetAddr Call Site |
|
|
|
|
fffff800\`fcc1ea38 fffff800\`6cdc440c |
|
|
|
|
vmbusr!PkGetReceiveBuffer+0x2c |
|
|
|
|
fffff800\`fcc1ea40 fffff800\`6cdc41a7 |
|
|
|
|
vmbusr!PipeTryReadSingle+0x3c |
|
|
|
|
fffff800\`fcc1eaa0 fffff800\`6cdc4037 |
|
|
|
|
vmbusr!PipeProcessDeferredReadWrite+0xe7 |
|
|||
fffff800\`fcc1eaf0 fffff800\`6c96535e |
|
|
|
|
vmbusr!PipeEvtChannelSignalArrived+0x63 |
|
|||
fffff800\`fcc1eb30 fffff800\`6cdc4e3d |
|
|
|
|
vmbkmclr!KmclpVmbusManualIsr+0x16 |
|
|
|
|
fffff800\`fcc1eb60 fffff800\`fb2d31e0 |
|
|
|
|
vmbusr!ParentRingInterruptDpc+0x5d |
|
|
|
|
Поставим точку останова на начало функ- |
|
|||
ции |
vmbusr!PkGetReceiveBuffer и выполним |
|
||
PowerShell-скрипт. Точка останова сработает, |
|
|||
при этом будет видно, что функции передается |
|
|||
структура (указатель в rcx) и в rcx+18 находится |
|
|||
указатель на блок памяти: |
|
|
|
|
**WINDBG\>? poi(@rcx+18)** |
|
|
|
|
Evaluate expression: -52770386006016 = |
|
|||
ffffd001\`6fe33000 |
|
|
|
|
**WINDBG\>!pte ffffd001\`6fe33000** |
|
|
|
|
VA ffffd0016fe33000 |
|
|
|
|
PXE at FFFFF6FB7DBEDD00 PPE at FFFFF6FB |
INFO |
|||
7DBA0028 PDE at FFFFF6FB74005BF8 |
|
|
||
PTE at FFFFF6E800B7F198 |
|
|
|
|
contains 0000000000225863 contains |
|
|
Информацию о техно- |
|
00000000003B7863 contains |
|
|
логии KvP можно найти |
|
000000010FB12863 contains |
|
|
в блогах MSDN: |
|
80000001367BB963 |
|
|
http://goo.gl/R0U52l |
|
pfn 225 ---DA--KWEV pfn 3b7 ---DA--KWEV |
|
http://goo.gl/UeZRK2 |
Если просмотреть эту область памяти, то становятся видны параметры гостевой ОС.
**WINDBG\>** **dc ffffd0016fe33000 L1000**
…………………………………………………………………………………………………………………
ffffd001\`6fe35b30 0065004e 00770074 0072006f
0041006b N.e.t.w.o.r.k.A.
ffffd001\`6fe35b40 00640064 00650072 00730073
00500049 d.d.r.e.s.s.I.P.
ffffd001\`6fe35b50 00340076 00000000 00000000 00000000
v.4.............
…………………………………………………………………………………………………………………
ffffd001\`6fe35d20 00000000 00000000 00000000 00000000
................
ffffd001\`6fe35d30 00300031 0030002e 0030002e 0033002e
1.0...0...0...3.
ffffd001\`6fe35d40 00000000 00000000 00000000 00000000
................
**WINDBG\>!pte ffffd001\`6fe35b30**
VA ffffd0016fe35b30
PXE at FFFFF6FB7DBEDD00 PPE at FFFFF6FB7DBA0028 PDE at
FFFFF6FB74005BF8
PTE at FFFFF6E800B7F1A8
contains 0000000000225863 contains 00000000003B7863 contains
000000010FB12863 contains 80000001367BD963
pfn |
225 --- |
DA |
--KWEV pfn 3b7 |
---DA-- |
KWEV pfn 10fb12 --- |
DA- |
||
-KWEV pfn |
|
|
|
|
|
|
|
|
1367bd -G-DA-- |
KW-V |
|
|
|
|
|||
pfn |
1367bd — |
|
о PFN 3- |
н ы |
онв |
ов нного MDL |
Также этой же функции в rdx передается указатель, содержащий смещение относительно адреса начала общих с гостевой ОС страниц (в примере он равен 4448h), по которому необходимо произвести чтение:
vmbusr!PkGetReceiveBuffer+0x4e:
mov r8,r10 (в r10d ы |
н |
|
г |
но |
м |
н |
rdx) |
||
add r8,qword |
ptr [rcx+20h] — в |
rcx+20 |
од |
|
|
||||
н одн |
о |
го |
во |
С |
|
н |
|
|
|
**WINDBG\>!pte @r8**
VA ffffd0016ff22448
PXE at FFFFF6FB7DBEDD00 PPE at FFFFF6FB7DBA0028 PDE at
FFFFF6FB74005BF8
PTE at FFFFF6E800B7F910
contains 0000000000225863 contains 00000000003B7863 contains
000000010FB12863 contains 80000001367C0963
pfn 225 --- |
DA |
--KWEV pfn 3b7 --- |
DA--KWEV pfn 10fb12 --- |
DA- |
-KWEV pfn |
|
|
|
|
1367c0 -G-DA-- |
KW-V |
|
|
Если поставить точку останова на инструкцию add r8,qword ptr [rcx+20h], то через несколько итераций в r8 можно увидеть имя и значение ключа
KvpDataKey:
**WINDBG\>dc @r8**
ffffd001\`6ff21d10 00020006 00000148 00000000 |
00000000 |
|||
....H........... |
|
|
|
|
ffffd001\`6ff21d20 00000001 |
00000**a28** 00000003 00050002 |
|||
....(........... |
- |
м |
д в мого о |
|
ffffd001\`6ff21d30 |
0a140000 |
00000000 00000515 |
00000103 |
|
|
|
|
hang |
e |
|
|
|
|
|
|
|
C |
|
E |
|
|||
|
|
X |
|
|
|
|
|||
|
- |
|
|
|
|
|
d |
||
|
F |
|
|
|
|
|
|
t |
|
|
D |
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
r |
|
P |
|
|
|
|
|
NOW! |
o |
||
|
|
|
|
|
|
||||
|
|
|
|
|
BUY |
|
|||
|
|
|
|
to |
104m |
||||
w Click |
|
||||||||
|
|
||||||||
w |
|
|
|
|
|
|
|
|
|
|
w |
|
|
|
|
|
|
|
o |
|
. |
|
|
|
|
|
.c |
||
|
|
p |
|
|
|
|
g |
|
|
|
|
|
df |
|
|
n |
e |
||
|
|
|
|
-xcha |
|
|
|
Кодинг
|
|
|
|
hang |
e |
|
|
|
|
|
|
|
|
C |
|
E |
|
|
|||
|
|
X |
|
|
|
|
|
|||
|
- |
|
|
|
|
|
d |
|
||
|
F |
|
|
|
|
|
|
t |
|
|
|
D |
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
r |
||
P |
|
|
|
|
|
NOW! |
o |
|||
|
|
|
|
|
|
|
||||
|
|
|
|
|
BUY |
|
|
|||
|
|
|
|
to |
|
|
|
|
|
|
w Click |
|
|
|
|
|
m |
||||
ХАКЕР 12 /191/ 2014 |
|
|
|
|
|
|
||||
w |
|
|
|
|
|
|
|
|
|
|
|
w |
|
|
|
|
|
|
|
o |
|
|
. |
|
|
|
|
|
.c |
|
||
|
|
p |
|
|
|
|
g |
|
|
|
|
|
|
df |
|
|
n |
e |
|
||
|
|
|
|
-x cha |
|
|
|
|
................
ffffd001\`6ff21d40 00000004 00000001 00000016 0000001a
................
ffffd001\`6ff21d50 0076004b 00440050 00740061 004b0061
K.v.P.D.a.t.a.K.
ffffd001\`6ff21d60 00790065 00000000 00000000 00000000
e.y.............
.............................................................
..........
ffffd001\`6ff21f50 0076004b 00440050 00740061 00560061
K.v.P.D.a.t.a.V.
ffffd001\`6ff21f60 006c0061 00650075 00000000 00000000
a.l.u.e.........
**WINDBG\>!pte ffffd001\`6ff21f50**
VA ffffd0016ff21f50
PXE at FFFFF6FB7DBEDD00 PPE at FFFFF6FB7DBA0028 PDE at
FFFFF6FB74005BF8
PTE at FFFFF6E800B7F908
contains 0000000000225863 contains 00000000003B7863 contains
000000010FB12863 contains 80000001367BF963
pfn 225 ---DA--KWEV pfn 3b7 ---DA--KWEV pfn 10fb12 ---DA-
-KWEV pfn
**1367bf** -G-DA--KW-V
Затем после завершения PkGetReceiveBuffer функция PipeTryReadSingle
копирует данные из shared-буфера с помощью функции memmove. При этом размер блока (в данном случае A28) указан непосредственно в самом блоке, но если будет задано число больше, чем 4000h, то копирование не будет произведено. Таким образом, видно, что обмен данными между root ОС и гостевой ОС использует общий буфер, а интерфейс гипервизора используется лишь для уведомления root ОС о том, что необходимо выполнить считывание данных из этого буфера. В принципе, ту же операцию можно было бы выполнить при помощи отправки нескольких сообщений, используя winhv!HvPostMessage, но это привело бы к значительному снижению производительности.
ИСПОЛЬЗОВАНИЕИНТЕРФЕЙСАПЕРЕХВАТАГИПЕРВИЗОРА
Настроим гипервизор таким образом, чтобы он отправлял уведомление root ОС в случае, если в одной из гостевой ОС выполняется инструкция cpuid с параметром 0x11114444. Для этого Hyper-V предоставляет интерфейс в виде гипервызова HvInstallIntercept. В драйвере hyperv4 реализована функция SetupIntercept, которая получает список идентификаторов всех активных гостевых ОС и вызывает для каждой WinHvInstallIntercept.
int SetupIntercept()
{
HV\_INTERCEPT\_DESCRIPTOR Descriptor;
HV\_INTERCEPT\_PARAMETERS Parameters = {0};
HV\_STATUS hvStatus = 0;
HV\_PARTITION\_ID PartID = 0x0, NextPartID = 0;
// |
в |
в |
|
м |
н |
в |
RAX- н |
|
|
CPUID |
д |
д но |
н |
н |
0x11114444, |
о г |
в |
о |
|
вы о н |
|
в |
о |
в |
оо н |
од |
ом |
|
дд о о
DbgPrintString("SetupInterception was called");
Parameters.CpuidIndex = 0x11114444;
Descriptor.Type = HvInterceptTypeX64Cpuid;
Descriptor.Parameters = Parameters;
hvStatus = WinHvGetPartitionId(&PartID);
do{
hvStatus = WinHvGetNextChildPartition(PartID,NextPartID,
&NextPartID);
if (NextPartID != 0){
DbgLog("Child partition id", NextPartID);
hvStatus = WinHvInstallIntercept(NextPartID,
HV\_INTERCEPT\_ACCESS\_MASK\_EXECUTE, &Descriptor);
DbgLog("hvstatus of WinHvInstallIntercept = ",
hvStatus);
} } while ((NextPartID != HV\_PARTITION\_ID\_INVALID) &&
(hvStatus == 0));
return 0;}
Также изменим функцию PrintCpuidInterceptMessage таким образом, чтобы она в случае, если в гостевой ОС в регистре EAX (или RAX, если код, выполняющий инструкцию CPUID, выполняется в longmode) находится число 0x11114444, записывала в поле DefaultResultRdx структуры HV_X64_
Рис. 20. Результат инструкции CPUID на обычной гостевой ОС
Рис. 21. Результат инструкции CPUID после установки перехвата
Рис. 22. Отладочный вывод обработки сообщения гипервизора при установленном перехвате
20
21
CPUID_INTERCEPT_MESSAGE, расположенную в нулевом слоте SIM, значение 0x12345678:
void PrintCpuidInterceptMessage(PHV\_
MESSAGE hvMessage)
{PHV\_X64\_CPUID\_INTERCEPT\_MESSAGE phvCPUID = (PHV\_X64\_CPUID\_ INTERCEPT\_MESSAGE)
hvMessage-\>Payload;
DbgLog(" phvCPUID-\>DefaultResultRax", phvCPUID-\>DefaultResultRax);
DbgLog(" phvCPUID-\>DefaultResultRbx", phvCPUID-\>DefaultResultRbx);
DbgLog(" phvCPUID-\>DefaultResultRcx", phvCPUID-\>DefaultResultRcx);
DbgLog(" phvCPUID-\>DefaultResultRdx", phvCPUID-\>DefaultResultRdx);
if (phvCPUID-\>Rax == 0x11114444){ phvCPUID-\>DefaultResultRdx = 0x12345678;
DbgLog16(" phvCPUID-\>Header.Rip",
phvCPUID-\>Header.Rip);
DbgPrintString(" Interception was
handled");
}
}
Для проверки в гостевой ОС запустим тестовую утилиту, которая вызывает CPUID с EAX, равным 0x11114444. До установки перехвата утилита выведет результат, отображенный на рис. 20.
После активации перехвата результат будет следующим (см. рис. 21).
При этом в root ОС будет выведено сообщение (см. рис. 22).
Сразу стоит обратить внимание на то, что этот трюк пройдет только в том случае, если root ОС ранее не установила перехваты для заданных условий. В этом случае после того, как драйвер hyperv заменит значение, управление перейдет на оригинальную WinHvOnInterrupt, которая вызовет функцию обработки из драйвера vid.sys (эта функция является четвертым параметром функции winhvr!WinHvCreatePartition, вызывае-
мой в root ОС при создании дочернего раздела при включении виртуальной машины), что может привести к изменению результата. В нашем случае такой обработчик, разумеется, установлен не был, гипервизор проанализировал данные в нулевом слоте SIM и исправил результат инструкции CPUID.
22
ВЗАКЛЮЧЕНИЕ
Несмотря на то что после прочтения моего труда твой мозг наверняка встал в позу речного скорпиона (и если ты вообще досюда дочитал — респект тебе от всей нашей редакции)… так, я отвлекся. Эта статья получилась скорее обзорной, демонстрирующей работу некоторых функций и компонентов системы виртуализации Microsoft на примерах. Однако, надеюсь, эти примеры помогут лучше понять принципы работы этих компонентов и позволят более глубоко проанализировать безопасность, например VMBus, написав свой собственный фаззер.
|
|
|
|
hang |
e |
|
|
|
|
|
|
|
|
C |
|
E |
|
|
|||
|
|
X |
|
|
|
|
|
|||
|
- |
|
|
|
|
|
d |
|
||
|
F |
|
|
|
|
|
|
t |
|
|
|
D |
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
r |
||
P |
|
|
|
|
|
NOW! |
o |
|
||
|
|
|
|
|
|
|
||||
|
|
|
|
|
BUY |
|
|
|||
|
|
|
|
to |
|
|
|
|
|
|
w Click |
|
ХАКЕР m |
12 /191/ 2014 |
|||||||
|
|
|||||||||
w |
|
|
|
|
|
|
|
|
|
|
|
w |
|
|
|
|
|
|
|
o |
|
|
. |
|
|
|
|
|
.c |
|
||
|
|
p |
|
|
|
|
g |
|
|
|
|
|
|
df |
|
|
n |
e |
|
||
|
|
|
|
-xcha |
|
|
|
|
Навстречу вихрю
РАЗБИРАЕМСЯ С УСТРОЙСТВОМ АСИНХРОННЫХ ФРЕЙМВОРКОВ ДЛЯ
PYTHON
|
|
|
|
hang |
e |
|
|
|
|
|
|
|
|
C |
|
E |
|
|
|||
|
|
X |
|
|
|
|
|
|||
|
- |
|
|
|
|
|
d |
|
||
|
F |
|
|
|
|
|
|
t |
|
|
|
D |
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
r |
||
P |
|
|
|
|
|
NOW! |
o |
|||
|
|
|
|
|
|
|
||||
|
|
|
|
|
BUY |
|
|
|||
|
|
|
|
to |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
m |
|
105Click |
|
|
|
|
|
|||||
w |
|
|
|
|
|
|
|
o |
|
|
|
w |
|
|
|
|
|
|
|
|
|
w |
|
|
|
|
|
|
.c |
|
||
|
. |
|
|
|
|
|
|
|||
|
|
p |
|
|
|
|
g |
|
|
|
|
|
|
df |
|
|
n |
e |
|
||
|
|
|
|
-x cha |
|
|
|
|
Николай «enchantner» Марков, Mirantis Inc
@enchantner
Асинхронные приложения — типичный пример того, про что говорят «Новое — это хорошо забытое старое». Ну да, сам по себе подход появился еще очень давно, когда надо было эмулировать параллельное выполнение задач на одноядерных процессорах и старых архитектурах. Но песок — плохая замена овсу, «асинхронность» и «параллельность» — довольно-таки ортогональные понятия, и один подход задачи другого не решает. Тем не менее асинхронности нашлось отличное применение в наше высоконагруженное время быстрых интернет-сервисов с тысячами и сотнями тысяч клиентов, ждущих обслуживания одновременно. Возможно, стоит разобраться получше, как это все работает?
ЗАЧЕМНУЖНААСИНХРОННОСТЬ? |
|
ВСЕНАЧАЛОСЬССИСТЕМНЫХВЫЗОВОВ |
|
|||
Если спуститься почти на самый низ, к ядру операци- |
Собственно, вариантов системных вызовов для неблокирующей работы с сете- |
|||||
онной системы, то у программиста, откровенно гово- |
вым вводом-выводом не так уж и много (хотя они слегка и разнятся от платформы |
|||||
ря, есть только два варианта работы с сокетом — син- |
к платформе). Самый первый, базовый, можно сказать ветеран — это системный |
|||||
хронный и асинхронный. |
|
вызов select(), который появился еще в бородатые восьмидесятые годы вместе |
||||
С синхронным в целом все понятно — пришел |
с первой версией того, что сейчас называется POSIX-сокетами (то есть сокетами |
|||||
клиент, открылся сокет, передали данные, если это |
в понимании большинства современных серверных систем), а тогда называлось |
|||||
все — сокет закрылся. В этом случае пока мы не за- |
Berkeley sockets, сокетами Беркли. |
|
||||
кончили локальный диалог с одним клиентом — не мо- |
По большому счету, во времена описания системного вызова select() вообще |
|||||
жем начать его с другим. По такому принципу обычно |
мало кто задумывался о том, что когда-то приложения могут стать НАСТОЛЬ- |
|||||
работают простые серверы, которым не надо держать |
КО высоконагруженными. Фактически все, что этот вызов умеет делать, — при- |
|||||
сотни и тысячи клиентов. В случае если нагрузка воз- |
нимать фиксированное количество (по умолчанию не более 1024) однозначно |
|||||
растает, но не критично — можно создать еще один |
описанных в программе файловых дескрипторов и слушать события на них. |
|||||
или несколько потоков (или даже процессов) и обра- |
При готовности дескриптора к чтению или записи запустится соответствующий |
|||||
батывать подключения еще и в них. Это обкатанный |
колбэк-метод в коде. |
|
||||
годами, стабильно работающий подход, который, |
Потом кто-то задумался о том, что неплохо бы все-таки научиться делать дей- |
|||||
например, использует сервер Apache, — никаких не- |
ствительно по-взрослому высоконагруженные сетевые приложения, и появил- |
|||||
ожиданностей, данные от клиентов обрабатываются |
ся системный вызов poll(). Кстати, в Linux он существует довольно давно, а вот |
|||||
в порядке строгой очереди, а в случае запуска какого- |
в Windows его не было до выпуска Windows Vista. Вместо разрозненных сокетов |
|||||
то «долгого» кода — например, каких-то вычислений |
этот вызов принимает на вход структуру со списком дескрипторов (фактически |
|||||
или хитрого запроса в БД — это все никак не влияет |
произвольного размера, без ограничений) и возможных событий на них. Затем |
|||||
на других клиентов. |
|
|
система начинает в цикле бегать по этой структуре и отлавливать события. |
|||
Но есть проблема: сервер — это не Лернейская |
Главный минус вызова poll() (хотя это, несомненно, был большой шаг вперед |
|||||
гидра, он не может плодить потоки и процессы веч- |
по сравнению с select()) — обход структуры с дескрипторами с точки зрения ал- |
|||||
но — есть же, в конце концов, |
|
|
|
|||
вполне |
ощутимые |
ресурсы, |
|
|
|
|
которые тратятся при каждом |
|
|
|
|||
таком действии, и имеется |
|
|
|
|||
верхний |
порог |
использова- |
|
SELECT() |
? |
|
ния этих ресурсов. И вот тог- |
|
|||||
|
|
|
||||
да все вдруг вспомнили про |
|
|
|
|||
асинхронность и |
системные |
|
|
|
||
вызовы |
для неблокирующего |
Ну, во-первых, он существует именно потому, что существует, как бы каламбурно это ни звучало, — select() |
||||
ввода-вывода. Зачем плодить |
поддерживается практически всеми мыслимыми и немыслимыми программными платформами, которые |
|||||
кучу сокетов и потоков, вы- |
вообще подразумевают сетевое взаимодействие. А во-вторых, есть, скажем так, |
«городская легенда», |
||||
едать ресурсы, если можно |
что в силу простой, как топор, реализации этот системный вызов на части архитектур (к которым не отно- |
|||||
данные |
от многих |
клиентов |
сятся ни широко используемые персональные компьютеры, ни даже серверы) обладает феноменальной |
|||
сразу одновременно слушать |
точностью обработки тайм-аутов (вплоть до наносекунд). Возможно, при работе в области космических ис- |
|||||
на одном сокете? |
|
|
следований или ядерной энергетики это спасет чью-то жизнь? Кто знает. |
|
||
|
|
|
|
|
|
|
|
|
|
|
hang |
e |
|
|
|
|
|
|
|
|
C |
|
E |
|
|
|||
|
|
X |
|
|
|
|
|
|||
|
- |
|
|
|
|
|
d |
|
||
|
F |
|
|
|
|
|
|
t |
|
|
|
D |
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
r |
|
|
P |
|
|
|
|
|
NOW! |
o |
|
||
|
|
|
|
|
|
|
||||
|
|
|
|
|
BUY |
|
|
|||
|
|
|
|
to |
106m |
Кодинг |
||||
w Click |
|
|||||||||
|
|
|||||||||
w |
|
|
|
|
|
|
|
|
|
|
|
w |
|
|
|
|
|
|
|
o |
|
|
. |
|
|
|
|
|
.c |
|
||
|
|
p |
|
|
|
|
g |
|
|
|
|
|
|
df |
|
|
n |
e |
|
||
|
|
|
|
-xcha |
|
|
|
|
горитмики линеен, то есть осуществляется за O(n). Причем это касается не только отслеживания событий, но и реакции на них, да еще и надо передавать инфор-
мацию туда-обратно из kernel space в user space.
А вот дальше в каждой операционной системе решили пойти своим путем. Нельзя сказать, что подходы конкретно различаются, но все-таки реализовать кросс-платформенную асинхронную работу с сокетами в своей программе стало чуточку сложнее. Под Windows появился API работы с так называемыми IO Completion Ports (msdn.microsoft.com/en-us/library/aa365198(VS.85).aspx),
в BSD-системах добавили механизм kqueue/kevent (https://en.wikipedia.org/ wiki/Kqueue), а в Linux, начиная с ядра 2.5.44, стал работать системный вызов epoll (https://en.wikipedia.org/wiki/Epoll). Отлов асинхронных событий на со-
кетах (как бы тавтологично это ни звучало) стал асинхронным сам по себе, то есть вместо обхода структур операционная система умеет подавать сигнал о событии в программу практически моментально после того, как это событие произошло. Кроме того, сокеты для мониторинга стало можно добавлять и убирать в любой момент времени. Это и есть те самые технологии, которые сегодня широко используются в большинстве сетевых фреймворков.
ЗООПАРКEVENTLOOP’ОВ
Основная идея программирования с использованием вышеописанных штук состоит в том, что на уровне приложения реализуется так называемый event loop, то есть цикл, в котором непосредственно происходит отлов событий
идергаются callback’и. Под *nix-системами давненько уже существуют обертки, которые
позволяют максимально упростить работу с сокетом и абстрагировать написанный код от низкоуровневой системной логики. Например, существует известная библиотека libevent (libevent.org), а также ее младшая сестра libev (software.schmorp.de/pkg/libev.html). Эти библиотеки собираются под разные системы и позволяют использовать самый совершенный из доступных механизмов мониторинга событий.
Ябуду приводить в пример большей частью пакеты для сетевого программирования на языке Python, ибо их действительно там целый зоопарк на любой вкус, а еще они популярны и широко используются в различных проектах. Даже в самом языке довольно давно уже существуют встроенные модули asyncore
иasynchat, которые, хоть и не умеют работать с epoll (только select/poll), вполне подходят для написания своих реализаций протоколов.
Одна из проблем сетевых библиотек заключается в том, что в каждой из них написана своя имплементация event loop’а, поэтому, даже несмотря на общий подход, перенос, скажем, плагина для Twisted (Reactor) на Tornado (IOLoop) или наоборот может оказаться вовсе не тривиальной задачей. Эту проблему призван решить новый встроенный модуль в Python 3.4, который называется asyncio (https://docs.python.org/3/library/asyncio.html) и, вопреки расхожему мнению,
не является сетевой библиотекой или веб-фреймворком в полном смысле слова, а является именно что встроенной в язык реализацией event loop’а. Эта штука как раз и должна сплотить сторонние библиотеки вокруг одной общей стабильной технологии. Если хочется немного подробностей и независимых впечатле-
ний об asyncio — милости прошу сюда: www.bitdance.com/blog/2014/09/30_01_ asycio_overview/.
Для Tornado уже существует реализация поддержки event loop’а из asyncio, и, более того, она не так давно вышла из состояния беты. Посмотреть можно здесь: tornado.readthedocs.org/en/latest/asyncio.html. Для Twisted релиз asyncio тоже не оказался неожиданностью, и его разработчики даже написали своеобразный шутливый некролог для проекта (https://glyph.twistedmatrix.com/2014/05/the- report-of-our-death.html), в котором, напротив, уверяют, что это вовсе не конец, а очень даже начало новой эпохи развития.
ЗАПУТАННАЯИСТОРИЯ
В современном мире фреймворк Twisted выглядит таким своеобразным мамонтом, legacy-архаизмом, который впитал в себя все попытки предоставить удобный интерфейс для написания сетевых приложений. Тем не менее интерфейс получился действительно удобный, с реализацией отложенного выполнения кода и прочими плюшками, когда никакого Node.js еще не существовало и в помине.
Как я уже упомянул, реализация event loop’а в Twisted называется Reactor. Суть работы с ним состоит в том, что мы регистрируем callback’и, которые выполняются в глобальном цикле в виде реакции на какие-то события. Выглядеть это может, например, так:
from twisted.internet import reactor
class Countdown(object):
counter = 5
|
|
|
|
hang |
e |
|
|
|
|
|
|
|
|
C |
|
E |
|
|
|||
|
|
X |
|
|
|
|
|
|||
|
- |
|
|
|
|
|
d |
|
||
|
F |
|
|
|
|
|
|
t |
|
|
|
D |
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
r |
||
P |
|
|
|
|
|
NOW! |
o |
|||
|
|
|
|
|
|
|
||||
|
|
|
|
|
BUY |
|
|
|||
|
|
|
|
to |
|
|
|
|
|
|
w Click |
|
|
|
|
|
m |
||||
ХАКЕР 12 /191/ 2014 |
|
|
|
|
|
|
||||
w |
|
|
|
|
|
|
|
|
|
|
|
w |
|
|
|
|
|
|
|
o |
|
|
. |
|
|
|
|
|
.c |
|
||
|
|
p |
|
|
|
|
g |
|
|
|
|
|
|
df |
|
|
n |
e |
|
||
|
|
|
|
-x cha |
|
|
|
|
def count(self):
if self.counter == 0:
reactor.stop()
else:
print(self.counter)
self.counter -= 1
|
|
# г |
м callback |
|
|
reactor.callLater(1, self.count) |
|
# |
д м |
о м од, о о ы н но |
|
# д |
н |
н |
|
reactor.callWhenRunning(Countdown().count)
print('Start!')
reactor.run() # о |
! |
print('Stop!') |
|
""" |
|
Start! |
|
5 |
|
4 |
|
3 |
|
2 |
|
1 |
|
Stop! |
|
""" |
|
Причем, даже если внутри callback возникнет исключение, то реактор все равно продолжит работать, после того как залогирует трейсбэк и запустит зарегистрированные обработчики ошибок.
Кстати, нельзя не уточнить, что Twisted по умолчанию однопоточный, то есть вся эта развесистая петрушка реализована на внутренней магии вокруг системных вызовов для асинхронного I/O. Но на случай крайней нужды в нем есть и своя реализация ThreadPool, которая добавляет возможность работы нескольких потоков.
СЮДАИДЕТTORNADO
Если Twisted все-таки представляет собой больше сетевую библиотеку, чем веб-фреймворк, то c Tornado все ровно наоборот. Этот пакет был разработан теми же товарищами, которые делали FriendFeed, — а это, на минуточку, реально высоконагруженный вебпроект с миллионами посетителей в день. Отличие выражается еще и в том, что в нем есть небольшой встроенный шаблонизатор и поддержка всяких «интернетных» технологий вроде работы с куками и генератора HTTP-ответов в разных форматах.
Twisted появился на горизонте раньше Tornado, однако тогда еще не начался этот бум на асинхронные веб-приложения, а когда он все-таки пришел, то Twisted оказался слегка не у дел в этой сфере, потому что изначально смотрел немного в другую сторону. Это выразилось в том, что веб-приложения на Twisted сейчас в основном пишут только приверженцы старой школы, а для Tornado появилось довольно большое число библиотек, которые добавляют, например, асинхронную работу с базами данных и key-value