uy - Noutbuklar
IPMI, KVM-over-LAN, Supermicro serverlarida virtual media - masofadan boshqarish va monitoring. IPMI interfeysi orqali server platformalarini boshqarish Altusen IP9001 va IPMI modullari: kompyuterni masofadan boshqarish uchun o'rnatilgan vositalar
Nashriyot: veb-sayt ishlari, 2015 yil 05 yanvar

Internet-serverlar har qanday kompaniyaning onlayn mavjudligining "tayanchi" hisoblanadi. Ularning to'liq ishlayotganligiga ishonch hosil qilish veb-sayt ish vaqti va funksionalligini ta'minlash uchun juda muhimdir. Server o'rnatilishini monitoring qilish va boshqarish uchun joriy sanoat standarti Intelligent Platform Management Interface deb nomlanadi va odatda IPMI deb ataladi.

IPMI nima?

Umuman olganda, IPMI apparat tizimi uchun standartlashtirilgan spetsifikatsiyalar to'plami bo'lib, u veb-xost yoki ma'lumotlar markaziga o'zi boshqarayotgan barcha serverlarni markaziy nazorat qilish va boshqarish imkonini beradi. U dastlab Hewlett Packard, Dell va NEC ko'magida Intel tomonidan ishlab chiqilgan va hozirda ko'pchilik sanoat tomonidan qo'llab-quvvatlanmoqda.

IPMI boshqa ikkita standart spetsifikatsiyalar to'plami, IPMB (Intelligent Platform Management Bus) va ICMB (Intelligent Shassis Management Bus) bilan birgalikda ishlaydi, ular kompyuterda va boshqariladigan mashinalar o'rtasida boshqaruv funktsiyalarini bajaradi. Aloqa odatda to'g'ridan-to'g'ri tarmoqdan tashqari LAN orqali amalga oshiriladi, ammo NIC kartasi orqali yon tarmoqli LANdan foydalanish ham mumkin, bu arzonroq yondashuv.

Serverning apparat ishlashidagi asosiy omillarning aksariyati IPMI orqali kuzatilishi mumkin, jumladan quvvat manbai, shassi xavfsizligi va muxlislar. Shuningdek, u quvvat darajalari, harorat va boshqa muhim atrof-muhit omillarini kuzatib boradi. Bundan tashqari, interfeys har bir mashinaning apparat jurnallarini tekshirishi, oldindan belgilangan ogohlantirishlarni olishi va serverga qayta ishga tushirish yoki o'chirish uchun xabarlar yuborishi mumkin. Bu hatto BIOS sozlamalarini masofadan sozlash imkonini beradi.

IPMI tizimining oldingi qismi foydalanuvchi uchun juda qulay. Alohida serverlarga klaviatura, sichqoncha va videoga kirish xuddi mashinada ishlaydigan muhandis yoki texnik uchun xuddi shunday ishlaydi. Agar serverga kirish imkoni bo'lmasa, xato monitoring konsolida aniq ko'rinadi va foydalanuvchi tarmoq konfiguratsiyasini o'zgartirish uchun IPMI dan to'g'ridan-to'g'ri kirishi mumkin.

DCMI (Ma'lumotlar markazini boshqarish interfeysi) deb nomlanuvchi IPMI-ning o'zgartirilgan va soddalashtirilgan varianti ko'pincha ma'lumotlar markazlari tomonidan qo'llaniladi, chunki u tizimlar uchun muhim bo'lgan ba'zi funktsiyalarni (masalan, server quvvatini cheklash) o'z ichiga oladi va boshqa kerak bo'lmaganlarni yo'q qiladi. ularning maqsadlari uchun.

IPMI ning afzalliklari

IPMI server tizimi diagnostikasi uchun ishlatiladigan an'anaviy dasturiy ta'minotdan ustun bo'lishining bir qancha sabablari bor. Ularning aksariyati IPMI bir nechta jismoniy joylarda mashinalarni boshqarishga qodir ekanligi va mashinalarni "ichkaridan" emas, balki "tashqaridan" kuzatishga qodir ekanligi faktlariga asoslanadi; ya'ni, bu mashinaning anakartida ishlaydigan proshivka bo'lib, mashinaning operatsion tizimiga bog'liq emas. Asosiy afzalliklari:

  • Masofaviy funksionallik bilan “agentsiz” boshqaruv: server OS uchun boshqaruv agentlari kerak emas va mashinalarni qayta ishga tushirish va saytdan tashqarida boshqarish mumkin.
  • Kompyuter holatidan qat'iy nazar tiklash: IPMI boshqariladigan mashinalar yoqilgan yoki ulanmagan bo'lsa, ularga buyruqlar berishi mumkin.
  • Yuklashdan oldin yoki operatsion tizim ishlamay qolgandan so'ng funksionallik: IPMI operatsion tizimga kirish yoki SSH loginni talab qiladigan an'anaviy usullardan farqli o'laroq, OS holatidan qat'i nazar, BIOS yoki boshqa sozlamalarni sozlashni osonlashtiradi.
  • Bashoratli monitoring: mumkin bo'lgan tizim nosozliklari haqida oldindan ogohlantirish uchun serverning holati doimiy ravishda nazorat qilinadi.
  • Oldindan tashxis: IPMI ko'pincha ta'mirlash boshlanishidan oldin tizim muammolarini aniqlashga imkon beradi, bu esa vaqt va pulni tejash imkonini beradi, ayniqsa mashina saytdan tashqarida bo'lsa.
  • Oddiy foydalanish: boshqaruv markazlashtirilgan bo'lib, tizim konfiguratsiyasi o'zgaradi yoki quvvatni yoqish/o'chirish monitor, klaviatura va sichqoncha yordamida amalga oshirilishi mumkin.
  • Umumjahon qo'llab-quvvatlanadi: IPMI deyarli barcha apparat sotuvchilari tomonidan qo'llab-quvvatlanadi va ko'pincha server sotib olish narxiga kiradi.

IPMI ning kamchiliklari

IPMI-ning bir nechta asosiy kamchiliklari bor va deyarli barcha holatlarda ular foydadan ancha ustundir.

  • Dastlabki konfiguratsiya ba'zan bir nechta urinishlarni talab qilishi mumkin, garchi BIOS orqali tarmoq konfiguratsiyasini tozalash odatda muammoni hal qilishi mumkin.
  • Anakartdagi portlarni almashtirgandan so'ng yoki IPMI yamoqlarini o'rnatgandan so'ng, tarmoq ishlamay qolishi mumkin. Ushbu muammolar odatda qayta yuklash orqali osonlikcha hal qilinadi; vaqti-vaqti bilan qayta konfiguratsiya zarur.
  • Ba'zi tahlilchilarning ta'kidlashicha, IPMI u qadar xavfsiz tizim emas. Ularning fikricha, protokollar va konfiguratsiyadagi dizayndagi zaifliklar IPMI o'rnatishlarini yamoqlarga qaramay hujum yoki murosaga qarshi himoyasiz qiladi.

Ushbu bir nechta muammolarga qaramay, IPMI deyarli hamma joyda ma'lumotlar markazlari va veb-xostlar tomonidan o'z tarmoqlarini kuzatish va boshqarishning eng samarali va iqtisodiy usuli sifatida qabul qilingan.



Yaqinda men uchun yangi bo'lgan serverlar bilan ishlashga muvaffaq bo'ldim Supermikro masofadan boshqarish interfeysi yordamida amalga oshiriladi IPMI. Ushbu maqolada men Supermciro serverlarida IPMI-ni o'rnatishda asosiy fikrlarni yoritishga harakat qilaman, IPMI interfeysining asosiy menyu elementlarini ko'rsataman, shuningdek, ipmi-dan foydalangan holda serverni kuzatish uchun qo'shimcha yordam dasturlari, buyruqlar va usullar haqida gapiraman.


IPMI(Intelligent Platform Management Interface) – server platformalarining apparat va proshivkalariga bevosita o‘rnatilgan funksiyalarni avtonom monitoring qilish va boshqarish uchun mo‘ljallangan aqlli platforma boshqaruv interfeysi. (ma'lumot rasmiy manbadan olingan). IPMI mustaqil server boshqaruvchisi sifatida amalga oshiriladi operatsion tizim, BIOS, CPU serveri va jismoniy jihozlarni masofadan boshqarish imkonini beradi.

IPMI konsolini dastlabki sozlash va interfeys bilan tanishish

IPMI-ni o'rnatish BIOS-da ko'rsatilishi kerak bo'lgan interfeysning IP-manzilini o'rnatishdan boshlanadi. Agar server ofisga o'rnatilgan bo'lsa, bu kulrang IP-manzil bo'lishi mumkin, lekin sizning uskunangiz Data Centerda joylashgan bo'lsa, siz oq statik IP-manzildan foydalanayotgan bo'lishingiz mumkin.

Supermicro serverlarida BIOS-ga “ tugmasini bosib kirishingiz mumkin. Del"serverni yuklayotganda, men bunga e'tibor bermayman va darhol BIOS interfeysiga o'taman.

Skrinshotda ko'rib turganingizdek, men IPMI menyu bandiga kirdim va interfeys uchun Lan konfiguratsiyasi opsiyasini faollashtirdim (IPMI Lan konfiguratsiyasini yangilash = Ha, konfiguratsiya manzili manbasi = Statik), IP manzilini, pastki tarmoq niqobini va standart shlyuzni ko'rsatdim.

Siz tugmani bosish orqali sozlamalarni qo'llashingiz mumkin F4, shundan so'ng server qayta ishga tushadi.

Agar siz hamma narsani to'g'ri bajargan bo'lsangiz, IPMI IP interfeysi uchun belgilangan brauzerga kirish orqali avtorizatsiya ochiladi:

Endi asosiy fikrlarga o'tamiz.

Yangi server sotib olayotganda IPMI-da foydalanuvchi allaqachon yaratilgan ADMIN parol bilan ADMIN, biz ushbu ma'lumotlar bilan tizimga kiramiz. Men har doim yangi foydalanuvchi yaratishni va standart foydalanuvchini o'chirishni yoki uning parolini o'zgartirishni tavsiya qilaman, bunday login va parolni qoldirish juda xavflidir. Menyuda siz yangi foydalanuvchi yaratishingiz yoki joriylar uchun parollar/imtiyozlarni o'zgartirishingiz mumkin Konfiguratsiya -> Foydalanuvchilar.

IPMI interfeysini qayta ishga tushirish menyudan amalga oshirilishi mumkin Ta'minot -> Jihozni qayta o'rnatish.

Serverga o'rnatish uchun iso OS tasvirini o'rnatish menyuda amalga oshiriladi Virtual media -> CD-ROM tasviri.

Mening OS iso tasvirlari Samba serverida IPMI server interfeyslari bilan bir xil quyi tarmoqda saqlanadi. Men Samba serverining manzilini, OS bilan ISO tasvirini o'rnatish yo'lini belgilayman va keyin o'rnataman ISO tasviri va operatsion tizimni o'rnatishni davom eting.

Masofaviy grafik Java server konsoli ( IP orqali KVM) orqali ochilishi mumkin Masofadan boshqarish pulti -> Konsolni qayta yo'naltirish.

Konsol odatda qulay, lekin operatsion tizimni o'rnatgandan so'ng, server bilan ishlash uchun odatda ssh mijozlaridan foydalanaman. Ba'zida buni amalga oshirish mumkin bo'lmagan holatlar mavjud, masalan, agar sizning tarmog'ingiz ishlamasa yoki serverda hali sozlanmagan bo'lsa yoki kirishda ba'zi muammolar mavjud bo'lsa. O'sha paytda Remote Console yordamga keladi.

Konsolning o'zida alohida sozlamalarni o'rnatishning hojati yo'q, shunchaki qo'shimcha qilmoqchimanki, u menyudan chaqirilishi mumkin bo'lgan o'rnatilgan klaviaturaga ega. Virtual media -> Virtual klaviatura.

Maslahat. SUpermicro serverlari bilan uzoq vaqt ishlaganimdan so'ng, men bitta noxush xatoni topdim. Centos 7 operatsion tizimini o'rnatgandan so'ng va KVM o'rnatish Unda masofaviy konsoldan foydalanish imkoniyati yo'qoladi. Server yuklanayotganda, konsol javob beradi va siz Bios-ga o'tishingiz yoki OS yadrosining yuklanishini ko'rishingiz mumkin. Ammo operatsion tizim ishga tushishi bilan konsoldagi video yo'qoladi. Tajriba orqali men bu xatoni engishga muvaffaq bo'ldim. Yadro yuklash uchun nomodeset yuklash parametrini qo'shishingiz kerak. Buning uchun operatsion tizimni o'rnatgandan so'ng siz quyidagi buyruqni bajarishingiz kerak:

grubby --args "nomodeset" --update-kernel /boot/vmlinuz-`uname -r`

Shundan so'ng, Remote Console yaxshi ishlaydi.

SuperMicro-dan IPMICFG yordam dasturi orqali serverni boshqarish

IPMI orqali serverlarni boshqarish uchun SuperMicro o'z yordam dasturini ishlab chiqmoqda IPICFG.

IPMICFG faylini quyidagi buyruq yordamida yuklab olishingiz mumkin:

wget ftp://ftp.supermicro.com/utility/IPMICFG/IPMICFG_1.30.0_build.190710.zip

Nashr paytida fayl shunday nomga ega edi, men havoladan foydalanib SuperMicro omboriga o'tishni maslahat beraman. ftp://ftp.supermicro.com/utility/IPMICFG/ va joriy faylning url manzilini nusxalash.

Yuklab olingan faylni biz joylashgan katalogga ochamiz:

ln -s /root/IPMI*/Linux/64bit/IPMICFG-Linux.x86_64 /usr/local/sbin/ipmicfg

Endi biz yordam dasturini ipmicfg buyrug'i (ramziy havola) yordamida ishga tushirishimiz mumkin. Keling, ipmicfg yordam dasturining asosiy imkoniyatlarini ko'rib chiqaylik.

Agar biz ipmicfg -help buyrug'ini bajarsak, biz barcha mumkin bo'lgan yordamchi dastur parametrlarining ro'yxatini olamiz.

Keling, asosiy buyruqlarni ko'rib chiqaylik:

  • ipmicfg -help - yordamchi dastur bo'yicha to'liq yordam;
  • ipmicfg -m - IPMI uchun joriy IP va Mac manzilini ko'rish;
  • ipmicfg -k - pastki tarmoq niqobini ko'rish;
  • ipmicfg -g - belgilangan shlyuzni ko'rish;
  • ipmicfg -fd - IPMI-ni zavod sozlamalariga qaytarish;
  • ipmicfg -user ro'yxati - yaratilgan foydalanuvchilar va ularning imtiyozlarini ko'rish.

Siz IPMI interfeysining IP manzilini, niqobini va shlyuzini o'zgartirishingiz mumkin:

  • ipmicfg -m 192.168.1.200
  • ipmicfg -k 255.255.255.0
  • ipmicfg -g 192.168.1.1

Yangi IPMI foydalanuvchi va parol yarating:

ipmicfg - foydalanuvchi qo'shish

Yordamchi dastur yordamida biz quyidagilarni bajaramiz:

ipmicfg -user qo'shing 6 test 123456 4

Shunday qilib, biz 123456 parol va administrator imtiyozlari bilan foydalanuvchi testini yaratdik.

IPMI foydalanuvchilari ro'yxati va ularning tizimdagi imtiyozlari buyruqlar bilan ko'rsatilishi mumkin:

  • ipmicfg -foydalanuvchilar ro'yxati
  • ipmicfg - foydalanuvchi yordami

Skrinshotda allaqachon ko'rib turganingizdek, test foydalanuvchisi yaratilgan.

IPMI foydalanuvchi parolini o'zgartirish (qayta tiklash) uchun quyidagi buyruqdan foydalaning:

ipmicfg -user setpwd

Va men ushbu yordam dasturidan foydalanishning yana bir nechta misollarini keltiraman:

  • ipmicfg -hostname - ipmi interfeysi uchun xost nomini o'rnating;

IPMI va IPMICFG yordam dasturi orqali SuperMicro serveridagi apparatni kuzatish

IPMI orqali SuperMicro server monitoringi

IPMI orqali SuperMicro server uskunasining harorati va ishlashini kuzatish juda oddiy. Server uskunasi haqida toʻliq maʼlumot Tizim -> Uskuna haqida maʼlumot bandida mavjud.

Protsessor holati haqida ma'lumot, tasodifiy kirish xotirasi va muxlislar, uni Server salomatligi -> Sensor o'qishlari yorlig'iga o'tish orqali ko'rishingiz mumkin.

Ko'rish qulayligi uchun siz sensorlarning displey toifalarini o'zgartirishingiz mumkin, masalan, harorat:

Yoki kuchlanish sensorlari:

Hozirda serverimizda harorat va kuchlanish bilan bog'liq muammolar yo'qligi sababli, barcha sensorlar yashil zonada. Agar server harorati ko'tarilsa yoki kuchlanish bilan bog'liq muammolar mavjud bo'lsa, yashil to'rtburchaklar qizil rangga aylanadi, bu sizning serveringizni tekshirish uchun signal bo'ladi.

Ipmicfg yordam dasturi yordamida monitoring

Elektr ta'minoti holatini tekshirish:

# ipmicfg -pminfo

Element | Qiymat ---- | ----- Holati | (00h) Kirish kuchlanishi | 217,5 V Kirish oqimi | 1,06 A asosiy chiqish kuchlanishi | 12,28 V Asosiy chiqish oqimi | 17,93 A Harorat 1 | 23C/73F Harorat 2 | 21C/70F Fan 1 | 2064 RPM Fan 2 | 2032 RPM Asosiy chiqish quvvati | 220 Vt Kirish quvvati | 228 Vt PMBus reviziyasi | 0x22 PWS seriya raqami | P2K4FCH02LT0125 PWS modul raqami | PWS-2K04F-1R PWS versiyasi | REV1.0 Joriy almashishni boshqarish | PEC xatosi element | Qiymat ---- | ----- Holati | (00h) Kirish kuchlanishi | 217,5 V Kirish oqimi | 1.09 A Asosiy chiqish kuchlanishi | 12.30 V Asosiy chiqish oqimi | 18.09 A Harorat 1 | 24C/75F Harorat 2 | 22C/72F Fan 1 | 2064 RPM Fan 2 | 2064 RPM Asosiy chiqish quvvati | 223 Vt Kirish quvvati | 234 Vt PMBus revision | 0x22 PWS seriya raqami | P2K4FCH02LT0126 PWS modul raqami | PWS-2K04F-1R PWS versiyasi | REV1.0 Joriy almashishni boshqarish | PEC xatosi

Protsessor haroratini buyruq bilan ko'rishingiz mumkin:

ipmicfg -nm oemgettemp

Shuningdek, muxlislar qaysi rejimda ishlayotganini tekshirishingiz va kerak bo'lganda rejimni o'zgartirishingiz mumkin.

Fan holati va konfiguratsiyasi tekshirilmoqda

# ipmicfg -fan

Joriy fan tezligi rejimi [ PUE2 Optimal Mode ] Qo'llab-quvvatlanadigan fan rejimlari: 0: Standart 1: To'liq 3: PUE2 Optimal 4: Og'ir IO

Sovutgichning ish rejimini o'zgartirish: ipmicfg -fan Masalan, ipmicfg -fan 3

IPMI versiyasi va proshivka ma'lumotlari:

# ipmicfg -nm qurilma identifikatori

Qurilma identifikatori = 50 soat Mikrodastur versiyasi = 4.1.4.54 IPMI versiyasi = 2.000000 Ishlab chiqaruvchi ID = 57 01 00 Mahsulot identifikatori Minor Ver = Greenlow platformasi Amalga oshirilgan DCMI versiyasi = DCMI joriy etilmagan/yoqilgan Mikrodasturning joriy versiyasi = NM Revision 4.0 tasviri Flag = 50 01 04 14 02 21 57 01 00 09 0b 04 05 40 01

Va ipmicfg -sdr buyrug'i bilan barcha sensorlarni ko'rishingiz mumkin

Chiqishda biz quyi va yuqori chegaralar haqidagi ma'lumotlarni aks ettiruvchi qo'shimcha ustunlar mavjudligini ko'ramiz.

Ushbu jarayonni kuzatish va avtomatlashtirish uchun ishlatilishi mumkin bo'lgan bir nechta yordamchi dasturlar mavjud, masalan, nagios. Ayni paytda biz bunga e'tibor qaratmaymiz, chunki maqolaning maqsadi IPMI bilan ishlashda asosiy fikrlarni aytib berishdir. Agar siz monitoring mavzusiga qiziqsangiz, o'z istaklaringizni qoldirishingiz mumkin va ehtimol kelajakda biz ushbu mavzuni yoritamiz. Umid qilamanki, siz ushbu maqolani foydali deb topasiz!

Biz ijaraga taklif qilayotgan barcha serverlar IPMI (Intelligent Platform Management Interface) kontrolleri bilan jihozlangan, bu sizga yoqish, oʻchirish, masofaviy ulanish(KVM) ISO tasvirlarini o'rnatish qobiliyatiga ega, shuningdek, serverning joriy holati to'g'risidagi ma'lumotlarga kirishni ta'minlaydi.

IPMI-dan foydalanib, server chiqarilgandan so'ng siz operatsion tizimni va dastlabki server konfiguratsiyasini o'rnatishingiz mumkin bo'ladi. IPMI kontrolleri alohida kabel bilan ulanganligi va o'z IP-manziliga ega bo'lganligi sababli, agar siz OTga kirish huquqini yo'qotib qo'ysangiz ham, siz to'g'ridan-to'g'ri jismoniy kirishni talab qilmasdan serverni har doim masofadan boshqarishingiz mumkin.

OSni qanday o'rnatish kerak?

Operatsion tizimni o'rnatish uchun siz IPMI serveriga o'zingiz uchun qulay usullardan biri bilan ulanishingiz kerak bo'ladi: veb-interfeys orqali yoki IPMIView dasturidan foydalanish. Maqolada ikkala variant ham tasvirlangan, ammo biz ikkinchi usuldan foydalanishni tavsiya qilamiz.

Veb-interfeys

Veb-interfeys orqali ulanish uchun brauzeringizning manzil satriga IPMI manzilini kiritishingiz va tizimga kirishingiz kerak. Siz avtorizatsiya uchun manzil va ma'lumotlarni serverga kirish huquqiga ega bo'lgan xatda yoki shaxsiy hisobingizda topishingiz mumkin. Keyinchalik Masofadan boshqarish pulti -> Konsolni qayta yo'naltirish yorlig'iga o'tishingiz va Konsolni ishga tushirish tugmasini bosishingiz kerak.


“Qurilma 1” bo‘limida “Mantiqiy drayver turi” ochiladigan ro‘yxatida ISO faylini tanlang va “Open Image” tugmasi yordamida diskdagi tasvirga yo‘lni belgilang, so‘ngra “Plug In” tugmasi bilan tasvirni ulang.


Tasvirni ulaganingizdan so'ng, serveringizni qayta ishga tushiring Quvvat bo'limi Boshqarish ->


Ba'zi serverlar Virtual Media -> Virtual xotira bo'limidagi 2-qurilma yoki 3-qurilma yorliqlari yordamida uchta qurilmani ulash imkonini beradi. O'rnatish vaqtida qo'shimcha drayverlarni o'rnatishingiz kerak bo'lsa, bu foydali bo'lishi mumkin.

Agar siz Windows operatsion tizimini serverga o'rnatishni rejalashtirmoqchi bo'lsangiz, Ctrl+Alt+Del tugmalar birikmasi Makro bo'limiga o'tkazilishi mumkin - Makro.

IPMI mikrodasturining eski versiyalarida veb-interfeys bilan ishlash bo'yicha ko'rsatmalar

IPMIView

Supermicro IPMIView dasturidan foydalanish uchun uni maʼlumotlaringizni koʻrsatgan holda rasmiy veb-saytdan yoki toʻgʻridan-toʻgʻri ftp serveridan yuklab olishingiz kerak: https://www.supermicro.com/wftp/utility/IPMIView/

Dasturni o'rnatgandan va ishga tushirgandan so'ng, serveringizni Fayl - Yangi - Tizim bo'limiga qo'shishingiz kerak.

Tizim nomi uchun serveringiz nomini kiriting va IP-manzil ustuniga IPMI manzilini kiriting, uni serverga kirish huquqi bilan xatda yoki shaxsiy hisobingizda topishingiz mumkin. Manzil ustunidagi satr oxirida bo'sh joy yo'qligiga ishonch hosil qiling va OK tugmasini bosing.

Chapdagi ro'yxatda qo'shilgan server nomini ikki marta bosing, shundan so'ng siz avtorizatsiya oynasini ko'rasiz. Uni xatdagi ma'lumotlardan foydalanib to'ldiring yoki shaxsiy hisob va Kirish-ni bosing. Agar ulanish muvaffaqiyatli bo'lsa, siz "Ulangan" ni ko'rasiz va oynaning pastki qismida serverni boshqarish uchun qo'shimcha yorliqlar paydo bo'ladi.


Serverni masofadan boshqarish uchun KVM Console bo'limiga o'ting va KVM konsolini ishga tushirish tugmasini bosing.


Keyingi harakatlar ishlashga o'xshaydi

IPMIView dasturidan foydalanib, IPMI Device yorlig'ida serveringizni qayta ishga tushirishingiz, yoqishingiz yoki o'chirib qo'yishingiz ham mumkin.


Kirish

Ko'pgina Firstdedic serverlari IPMI moduli bilan jihozlangan, ammo ko'p foydalanuvchilar bu variantga e'tibor bermaydilar.

IPMI qisqartma bo'lib, Intelligent Platform Management Interface degan ma'noni anglatadi va rus tiliga "intellektual platforma boshqaruv interfeysi" deb tarjima qilingan.

U nimani ifodalaydi bu qurilma. Bu to'g'ridan-to'g'ri server ichida joylashgan modul va qo'shimcha Ethernet ulagichi tashqaridan foydalanish mumkin.

Agar server ustidan nazorat yo'qolsa, ko'rsatilgan manzilga o'tish va tizimga kirgandan so'ng muammolarni hal qilish yoki yuzaga kelgan muammo haqida ma'lumot olish uchun harakatlarni bajarish mumkin.

Asosan, ushbu modul serverga o'rnatilgan ba'zi funktsiyalarni kuzatish va boshqarish uchun ishlatiladi Uskuna, masalan: harorat sensori, kuchlanish sensori, quvvat manbai holati, fan tezligi, jurnalga yozish, ulash tasvirlari va boshqalarni kuzatish. Esda tutingki, bu xususiyatlar protsessor, operatsion tizim yoki BIOS-dan qat'iy nazar mavjud. Boshqaruv server o'chirilgan bo'lsa ham mavjud.

Afsuski, hozirda IPMI-ga kirishni ta'minlashni avtomatlashtirish mumkin emas, shuning uchun texnik yordam so'roviga binoan kirishni olish mumkin.

So'rov bo'yicha, interfeys joylashgan joyda IP-manzil, shuningdek avtorizatsiya ma'lumotlari taqdim etiladi. Kirish to'liq emas, cheklangan hisob Operator darajasi.

IPMI-ga brauzer orqali yoki IPMIView ilovasi yordamida kirish mumkin. Birinchi holda, sizga oldindan o'rnatilgan Java va brauzer plaginlari, ikkinchisida - Windows yoki MacOS yoki IPMI View ko'p platformali versiyasi uchun oldindan o'rnatilgan Java kerak bo'ladi.

Brauzer orqali kirish

Avtorizatsiyadan so'ng siz IP-KVM ga kirishingiz mumkin bo'lgan asosiy sahifa ochiladi (serverdan ulangan mijozga video tasvirni uzatuvchi virtual monitor. Tarmoqni sozlashda, o'rnatishda xatolik yuzaga kelsa, bu juda foydali bo'lishi mumkin. OS yoki ma'lumotlar markazi darajasida IP manzillarini bloklashda), shuningdek serverning joriy holatini ko'ring, serverni yoqing, o'chiring va apparatni qayta ishga tushiring (mos ravishda "Quvvatni yoqish", "O'chirish" va "Qayta tiklash tugmalari" IPMI maydoni orqali quvvatni boshqarish).

“Rasmni ko‘rishni yangilash” tugmasini bosish virtual monitorning oldindan ko‘rishini yangilaydi. Va qora ekranning o'zini bosganingizda, IP-KVM JAVA mijozi ochiladi va siz klaviatura va sichqoncha yordamida to'g'ridan-to'g'ri operatsion tizimingiz interfeysiga kirishingiz mumkin bo'ladi. Lekin uning ishlashi uchun sizga o'rnatilgan JAVA va brauzer plagini kerak bo'ladi

Asosiy menyuning Server salomatligi yorlig'ida siz server holatini ko'rishingiz, fan tezligi, harorat va kuchlanish haqida ma'lumot olishingiz mumkin

Ish stoli ilovasi orqali kirish

Brauzer versiyasiga qo'shimcha ravishda Windows, MacOS va Java versiyalarida mavjud bo'lgan ish stoli versiyasi - IPMI View ham mavjud. Ikkinchisi ko'p platformali.

Hammasi oxirgi versiyalari IPMI View, shuningdek, hujjatlar ishlab chiqaruvchining rasmiy ftp serverida mavjud - ftp://ftp.supermicro.com/utility/IPMIView/.

Yuklab olinadigan va faqat foydalanishdan keyin ishga tushiriladigan brauzer versiyasidan farqli o'laroq, IPMI View shaxsiy kompyuterga o'rnatiladi va ishlayotganda shunchaki kerakli serverga ulanadi.

Dastlab, "Yangi tizim qo'shish" tugmasi yordamida barcha serverlaringizni dastur sozlamalariga qo'shishingiz kerak (Fayl → Yangi → Tizim)

IPMI manzil maydonida: texnik yordamdan IPMI ga kirishni so'rashda olingan IP-ni qo'shishingiz kerak.

IPMI interfeysiga ulanish uchun uni IPMI domeniga qo'shgandan so'ng saqlangan tizimni ikki marta bosing.

"Kirish" tugmachasini bosgandan va muvaffaqiyatli avtorizatsiyadan so'ng, platformani boshqarish interfeysiga kirish oynasi biroz o'zgaradi: Amaldagi IPMI versiyasi haqida ma'lumot paydo bo'ladi va mavjud operatsiyalar bilan yorliqning eng pastki qismida.

Ba'zi yorliqlarga kirganingizda, dastur IPMI dan ma'lumotni qanday so'rashini va uni yanada qulayroq shaklda ko'rsatishini ko'rasiz.

Misol uchun, Sensorlar yorlig'i ma'lumotlarni grafik ko'rinishda ko'rsatadi, bu brauzer versiyasida bo'lgani kabi, raqamlardan ko'ra biroz ko'proq ingl.

IPM qurilmasi yorlig'i server holati va uni boshqarish haqida ma'lumot olish imkoniyatini beradi: o'chirish, yoqish, qayta ishga tushirish va qayta o'rnatish (mos ravishda quvvatni o'chirish, yoqish, quvvat aylanishi, tiklash).

Joriy seansni yopish va IPMI dan uzish uchun Seans → Yopish menyu bandini tanlang .

Tarmoq ma'murlariga vaqtni maksimal darajada oshirishga yordam berish uchun muammosiz ishlash serverlar, ko'plab texnologiyalar va mahsulotlar mavjud. Shuning uchun boshqaruv standartlari hamma uchun bir xil bo'lishi kerak edi. Bugungi kunda IPMI (Intelligent Platform Management Interface) standarti eng muhim ochiq standartlardan biri bo'lib, barcha Supermicro platformalarida mavjud.

Aksariyat Supermicro anakartlarida IPMI 2.0 kartalarini (LAN orqali IPMI) qo'llab-quvvatlaydigan maxsus slot mavjud. IPMI texnologiyasi serverni uning holati va holatidan qat'iy nazar masofadan boshqarish va tiklash imkonini beradi. Masofaviy boshqaruv konsoli bilan aloqa o'rnatilgan tarmoq boshqaruvchisi, qo'shimcha tarmoqli kengligi yordamida ta'minlanadi. Bu operatsion tizimdan mustaqil bo'lgan apparat yechimidir. IPMI 2.0 tez va arzon usuldir masofaviy boshqarish, monitoring, diagnostika va serverni tiklash.

IPMI operatsion tizimdan butunlay mustaqil bo'lganligi sababli, monitoring, boshqarish, diagnostika va tizimni tiklash hatto OT muzlatilgan yoki server oflayn bo'lsa ham amalga oshirilishi mumkin. IPMI texnologiyasi komponentlarni qayta tiklash zarurligi to'g'risida bildirishnomalarni ko'rsatish funktsiyalarini amalga oshiradi - bu tizimning holatini kuzatish va yuzaga kelishi mumkin bo'lgan apparat muammolariga ular paydo bo'lishidan oldin javob berish imkonini beradi. Bunday muammolarning ehtimoli apparat monitoringi funksiyasi bilan ham kamayadi. Bunga qo'shimcha ravishda, agar siz IPMI tizimini korpusning teshiklarini aniqlash uchun sozlagan bo'lsangiz, server uskunasining buzilishini kuzatishingiz mumkin. Xodimlar xavfsizligi identifikatsiya va chiziqli shifrlash texnologiyalari bilan birgalikda ko'p darajali huquqlar va parollardan foydalanish orqali ta'minlanadi. Ba'zi IPMI 2.0 modullari KVM-over-Lan-ni qo'llab-quvvatlaydi. Bu serverdagi operatsion tizimga masofadan kirish va uni sozlash uchun kerakli manipulyatsiyalarni bajarish yoki kerakli dasturlarni o'rnatish va olib tashlash imkonini beradi.

IPMI-dan foydalanish oson, chunki u odatda serverga yoki alohida qurilmaga birlashtirilgan. Va eng muhimi, moliyaviy xarajatlarni talab qilmaydi. Va bu sizga dasturiy ta'minot kuchsiz bo'lgan paytlarda tizimni boshqarishga imkon beradi - masalan, OS muzlatib qo'yganda. Shunday qilib, IPMI texnologiyasi va mavjud ob'ektlar va boshqaruv usullari bir-birini mukammal ravishda to‘ldiradi. Va uchun samarali boshqaruv Server ham dasturiy, ham apparat resurslaridan foydalanishi kerak. -

IPMI texnologiyasining afzalliklari

  • Turi va holatidan qat'iy nazar quvvat manbalari, fanatlar, kuchlanish va haroratni masofadan boshqarish markaziy protsessor va operatsion tizim
  • Joriy voqealar jurnalini yuritish
  • DOS, BIOS sozlamalari, Windows 2003, Linuxni qo'llab-quvvatlash
  • Korpusdagi tugmachalarni boshqarish: Reset; Quvvatni o'chirish; Quvvat yoqing
  • Parol himoyasi

Altusen IP9001 va IPMI modullari: kompyuterni masofadan boshqarish uchun o'rnatilgan vositalar

Masofadan boshqarish pulti modullari, ular orasida KVM kalitlari eng mashhur bo'lib, odatda tashqi tuzilmalar shaklida ishlab chiqariladi. Ammo to'g'ridan-to'g'ri boshqariladigan ob'ektga o'rnatilgan server uskunalarini masofadan boshqarish uchun mo'ljallangan boshqa qurilmalar sinfi mavjud. Har tizim administratori foydalanmasdan uning faoliyatini tasavvur qila olmaydi masofaviy kirish serverlar uchun va ikkita versiyada: masofaviy boshqarish uskunaning holati va ma'muriy funktsiyalarni masofadan bajarish. Odatda, bu vazifalar matn konsoliga yoki grafik qobiq ish stoliga kirish orqali hal qilinadi. Masofadan boshqarishni turli yo'llar bilan tashkil qilish mumkin, ulardan eng keng tarqalgani dasturiy ta'minot. Deyarli har bir server va saqlash tizimlari ishlab chiqaruvchisi vaziyatni masofadan kuzatish, tanqidiy vaziyatlar haqida xabar berish va uskunani boshqarish uchun dasturiy ta'minotni o'z ichiga oladi.

Shaxsiy uchinchi tomon mahsulotlarini hisobga olmagan holda, OT tomonidan taqdim etilgan o'rnatilgan masofaviy kirish vositalari muhim emas. Ammo ba'zida dasturiy vositalar serverga to'g'ridan-to'g'ri kirishsiz muammolarni bartaraf etishga yordam bera olmaydi. Bu, masalan, qachon sodir bo'ladi apparatdagi nosozlik, va faqat "sovuq" qayta ishga tushirish yoki hatto quvvatni o'chirish / yoqish zarurati vaziyatni to'g'irlashi mumkin. Bunday hollarda, anakartga o'rnatilgan maxsus kontroller bo'lgan maxsus apparat va dasturiy ta'minot yordami yordamga keladi. Uning quvvati kutish manbasidan yoki hatto avtonom tarzda ta'minlanadi. Unga tarmoq interfeysi orqali kirish mumkin, bundan tashqari, boshqa kanal ham bo'lishi mumkin - mustaqil MAQOMOTI porti yoki modem orqali.Bunday kontroller sensorlarga kirish huquqiga ega. anakart, shuningdek, apparatni asl holatiga qaytarish va yoqish/o‘chirishni ham amalga oshirishi mumkin. Bu funksiyalar boshqaruvchining ish stansiyasidan boshqariladi, unda kontrollerlar bilan o'zaro aloqada bo'lgan mijoz o'rnatilgan va bunday modullar bilan jihozlangan serverlar guruhini kuzatish/nazorat qilish imkonini beradi.>

Altusen IP9001 IP9001 kontrolleri aslida "kompyuter ichidagi kompyuter" dir. Ushbu yechim apparatning boshqariladigan serverdan toʻliq mustaqilligini taʼminlaydi.Masofaviy tugunga kirish veb-interfeys orqali amalga oshiriladi va sizga xizmat koʻrsatilayotgan kompyuter bilan har qanday operatsiyalarni, jumladan, yoqish/oʻchirish va boshqarish imkonini beradi. qattiq tiklash Qurilma TCP/IP protokoli orqali masofadan boshqarish uchun PCI kontrolleri bo'lib, tegishli interfeys bilan jihozlangan har qanday kompyuterga o'rnatish uchun mo'ljallangan. Aslida, IP9001 o'zining IBM PowerPC 405GPr protsessoriga ega mustaqil kompyuter - allaqachon ma'lum bo'lgan 405GP ning 400 MGts versiyasi, 266 va 300 MGts soat chastotalari bilan mavjud. Ushbu protsessor o'rnatilgan PCI interfeysi, SDRAM va Ethernet kontrollerlarini o'z ichiga oladi. Kerakli operativ xotira va ROMdan tashqari, platada o'zining ATI Rage XL grafik boshqaruvchisi va tarmoqqa ulanish uchun RJ-45 Ethernet porti mavjud. Bundan tashqari, ishlash imkoniyati ham e'tiborga loyiqdir telefon tarmog'i qo'shimcha modem modulidan (RJ-11 ulagichi) foydalanish - bu mahalliy tarmoq orqali boshqariladigan tugunga kirish imkoni bo'lmasa yordam beradi. Yuqoridagilarga qo'shimcha ravishda, masofadan boshqarish pulti moduli RS-232 va USB 2.0 hubni o'z ichiga olgan munosib periferik interfeyslar bilan jihozlangan. Qurilma ikki yo'l bilan quvvatlanadi - orqali PCI avtobusi va boshqariladigan kompyuterdan mustaqillikni ta'minlash uchun mo'ljallangan tashqi manba. Masofaviy konsoldan boshqarish operatorga to'g'ridan-to'g'ri serverning o'zidan mavjud bo'lgan barcha imkoniyatlarni taqdim etadi, jumladan Masofaviy konsol rejimida ishlash, tizim kuchlanishi va haroratini kuzatish, yoqish/o'chirish va qayta ishga tushirish. Qo'llab-quvvatlash virtual disk, CD va floppi drayvlar sizga yangilanishlarni, dasturiy ta'minotni o'rnatish va OSni jismoniy jihatdan masofaviy ish stantsiyasida joylashgan ommaviy axborot vositalaridan yuklash imkonini beradi. Dastur har bir operator uchun tabaqalashtirilgan boshqaruvga kirish huquqiga ega 64 ta hisobni qo'llab-quvvatlash imkonini beradi. Qurilma operatsion foydalanish uchun mo'ljallangan Windows tizimlari 2000/2003/XP, Qizil shapka 8.0 va undan yuqori versiyalar. IPMI (Intelligent Platform Management Interface).

Faqat server platformalari uchun moʻljallangan oʻrnatilgan qurilmaning yana bir turi ishlab chiqaruvchi kompaniyalar guruhi tomonidan ishlab chiqilgan IPMI spetsifikatsiyalari toʻplamiga asoslangan. server uskunalari Masofaviy monitoring/boshqaruv vositalari uchun Intel, HP, NEC va Dell. U uchta spetsifikatsiyani o'z ichiga oladi: Intelligent Platform Management Interface; Intelligent Platform Management Bus (IPMB) va Intelligent Shassis Management Bus (ICMB). IPMB - yagona tizim ichida ilg'or monitoring/nazorat uchun ichki interfeys spetsifikatsiyasi, ICMB spetsifikatsiyalarni belgilaydi tashqi interfeys IPMI-mos keladigan tizimlar o'rtasida.

IPMI kengaytirgichlari kichik o'lchamlariga qaramay, server ustidan to'liq nazoratni ta'minlaydi.1998 yilda 1.0 versiyasi chiqarilgandan so'ng 1.5 versiyasi chiqdi va 2.0 spetsifikatsiyasi hozirda dolzarbdir. Ushbu standart allaqachon 171 ta asbob-uskunalar ishlab chiqaruvchisi tomonidan qo'llab-quvvatlangan va ro'yxat o'sishda davom etmoqda. 1.5-versiya 2001 yilning birinchi choragida tasdiqlangan. U allaqachon quyidagi funktsiyalarni o'z ichiga olgan: haroratni, kuchlanishni, fan tezligini kuzatish uchun vositalar, korpusni buzish sensorlari; qayta o'rnatish va quvvatni boshqarish; voqealar jurnali; qo'riqchi sxemasi (WatchDog Timer); MAQOMOTI porti orqali kirish va bildirishnoma va mahalliy tarmoq; monitoring uchun maxsus shinalar. Versiya 2.0 2004 yil fevral oyida qabul qilingan. U bir qatorni o'z ichiga oladi qo'shimcha funktsiyalar, masalan, Serial Over LAN, paketli shifrlash, ichki va tashqi protokollar, ruxsatsiz kirishdan yaxshilangan himoya, modulli tuzilmalarni (blade serverlar) monitoring qilish uchun qo'shilgan kengaytmalar va virtual (faqat boshqaruv) tarmoqlarni yaratish vositalari. 400 MGts avtobusga ega Xeon Prestonia uchun Intel 7500 platformasidagi server anakartlari IPMI bilan jihozlangan. Bu IPMI-1.5 bilan mos keluvchi SMC-0001 moduli boʻlib, ixtisoslashtirilgan protsessorga va SO-DIMM xotira modullariga oʻxshash dizayndagi oʻzining MAQOMOTI portiga ega kichik plata sifatida ishlab chiqilgan.Intel 7520/7525/7320’dagi deyarli barcha platalar. platformasi, shuningdek, Pentium 4 uchun Intel 7221 AOC-IPMI20-E moduli bilan jihozlangan, u allaqachon IPMI 2.0 bilan mos keladi.

IPMI arxitektura versiyasi 2.0. Bugungi kunda bu server tizimini ishlab chiquvchilar tomonidan qabul qilingan asosiy standartdir

Pentium D uchun 7230 server platformalarida va Xeon uchun 6014P seriyali 1U platformalarida IPMI kartalari uchun yangi dizayn paydo bo'ldi. U PCI-X x16 ga o'xshash ulagichga ega, faqat "teskari" kalit bilan. Ushbu platalar (AOC-1UIPMI-B va AOC-LPIPMI-LANG) funktsional jihatdan AOC-IPMI20-E ga o'xshash, ammo qo'shimcha Intel 82541PI Gigabit tarmoq kartasi bilan jihozlangan. AOC-LPIPMI-LANG moduli oddiy yoki 2U qutisiga o'rnatish uchun mo'ljallangan, AOC-1UIPMI-B esa 1U korpusiga o'rnatish uchun mo'ljallangan va tarmoq kartasi bilan jihozlanmagan (ixtiyoriy ravishda alohida AOC sifatida mavjud) -1UIPMI-LANG moduli). Odatiy bo'lib, AOC-IPMI20-E birinchisidan foydalanadi Tarmoq boshqaruvchisi, anakartda mavjud va AOC-1UIPMI-B va AOC-LPIPMI-LANG - agar o'rnatilgan bo'lsa, ularning qo'shimchasi. IPMI moduliga o'rnatilganda, birinchi navbatda, anakartga mos keladigan proshivka dasturlashtiriladi, so'ngra IP manzili o'rnatiladi. Operatsion tizimda ham xuddi shunday LAN kartasi IPMI uchun o'rnatilgandan farqli IP manzili bilan boshqa ehtiyojlar uchun parallel ravishda ishlatilishi mumkin. Qoida tariqasida, xavfsizlik nuqtai nazaridan ikkinchisiga alohida tarmoq ajratish tavsiya etiladi. IPMI adapterlari bilan tizimlarni monitoring qilish/nazorat qilish uchun ishlatiladi maxsus yordamchi dastur Barcha versiyalarning adapterlarini taniydigan IPMIView20. Bu sizga ma'lum bir manzil oralig'ida IPMI adapterlarini topish va aniqlangan tizimlarni ma'lum bir mezon bo'yicha guruhlash imkonini beradi. Muayyan serverga kirish uchun parol autentifikatsiyasidan o'tish kerak va IPMI 2.0 parolni nazorat qilish va shifrlashdan, shuningdek kirish huquqlarini ko'p darajali farqlashdan foydalanadi.IPMI orqali serverlarni boshqarish uchun dasturiy ta'minot operatorga nafaqat to'plamni taqdim etadi. asosiy funktsiyalarning, shuningdek, qulay grafik shakldagi ma'lumotlarni kuzatish IPMI adapterlari tomonidan taqdim etilgan asosiy monitoring/nazorat imkoniyatlari, standartlar: tizim hodisalarini qayd qilish, haroratni, kuchlanishni, fan tezligini va boshqa sensorlarni kuzatish. Qayta ishga tushirish, yoqish/o'chirish va Cycle - ketma-ket o'chirish va keyin quvvatni yoqish mumkin. Bu funktsiyalarning barchasi ikkita rejimda mavjud: Graceful Power Control - unga o'rnatilgan agent orqali operatsion tizimni to'g'ri o'chirish (GPC agenti faqat Windows va Linux uchun mavjud) va Shassis Power Control - uskunani qayta tiklash/o'chirish. matn konsoliga uni MAQOMOTI portiga qayta tayinlash va SOL-qayta yo'naltirishni (Serial Over LAN) amalga oshirish orqali ta'minlanadi. Ikkinchisi sizga masofaviy serverning matn konsoliga kirish va masofadan o'zgartirish imkonini beradi, masalan, BIOS sozlamalari. Xuddi shu tarzda siz bootloaderga kirishingiz mumkin Windows menyusi yoki Linux/UNIX matn konsoliga.

Keyingi so'z

Ko'rib chiqishda tasvirlangan qurilmalar bir xil vazifani bajarish uchun mo'ljallangan - masofaviy tizimlarga texnik xizmat ko'rsatishni iloji boricha soddalashtirish. Ularning asosiy farqi qo'llash doirasi. Agar Altusen IP9001 har qanday tizim uchun mos bo'lsa, u holda IPMI modullarini o'rnatish faqat cheklangan. server platformalari. Bugungi kunda ko'plab ishlab chiquvchi kompaniyalar bunday modullarni o'z tizimlarining bir qismi sifatida kiritishga intilmoqda. Shunday qilib, 15 iyun kuni ATEN International Co. Ltd. uning yangi IPMI proshivka yechimi Micro-Star International Co tomonidan rasman tanlanganligini e'lon qildi. Ltd. (MSI) o'zining server mahsulot liniyasi uchun. MSI mijozlarga kerakli server boshqaruv funksiyalarini taqdim etish uchun ATEN proshivka yechimini oʻzining AMD serverlari qatoriga integratsiya qiladi.Alohida taʼkidlash joizki, Supermicro kompaniyasi Bensley platformasi uchun yangi AOC-SIMLP IPMI 2.0 monitoring/boshqaruv vositalarini tayyorlamoqda. IPMI orqali o'rnatilgan KVM Over LAN imkoniyatlariga ega.

 


O'qing:



Eng yaxshi simsiz minigarnituralar reytingi

Eng yaxshi simsiz minigarnituralar reytingi

Universal quloqlarni arzon sotib olish mumkinmi? 3000 rubl - bunday pulga yuqori sifatli eshitish vositalarini sotib olish mumkinmi? Ma'lum bo'lishicha, ha. Va nutq ...

Mobil qurilmaning asosiy kamerasi odatda tananing orqa tomonida joylashgan bo'lib, fotosuratlar va videolarni olish uchun ishlatiladi

Mobil qurilmaning asosiy kamerasi odatda tananing orqa tomonida joylashgan bo'lib, fotosuratlar va videolarni olish uchun ishlatiladi

Yaxshilangan xarakteristikalar va yuqori avtonomiyaga ega planshetning yangilangan versiyasi.Acer smartfonlariga kamdan-kam tashrif buyuradi...

Raqamingizni saqlab qolgan holda boshqa operatorga qanday o'tish mumkin

Raqamingizni saqlab qolgan holda boshqa operatorga qanday o'tish mumkin

Rossiyada 1 dekabrdan boshlab abonent boshqa uyali aloqa operatoriga o‘tganda telefon raqamini saqlab qolish to‘g‘risidagi qonun kuchga kirdi. Biroq, ma'lum bo'lishicha, ...

phabletni ko'rib chiqish, qimmat, lekin juda malakali

phabletni ko'rib chiqish, qimmat, lekin juda malakali

Qimmatbaho, lekin juda malakali fablet sharhi 20.03.2015 Men dunyodagi etiksiz yagona poyabzalchiman, o'z smartfonimsiz smartfon sharhlovchisiman....

tasma tasviri RSS