Hosting

Přihlášení

@ IN SOA domény.dns.enum.mojeid.internet. nic.cz.
Aktualizace: 51 min 13 sek zpět

Migrace Hadoopu z Cloudera Express na Apache Bigtop

St, 09/08/2021 - 09:40

V CZ.NIC používáme Hadoop převážně k ukládání provozu z našich autoritativních DNS serverů pro doménu .CZ a provozu z našich veřejných resolverů ODVR. Ke sběru dat používáme náš vlastní nástroj DNS Probe, který nasbíraná data odesílá na Hadoop servery. K tomuto účelu provozujeme vlastních 7 až 8 serverů s instalací Hadoopu a několika podpůrných nástrojů (Hive, Spark, Impala,…). Proces sběru dat DNS provozu je ilustrován na obrázku níže.

Doteď jsme využívali Cloudera Express, což byla zdarma dostupná distribuce Hadoopu dodávaná firmou Cloudera. Součástí této distribuce byly balíčky pro nejpoužívanější nástroje z ekosystému Hadoopu a specializované nástroje, jako Cloudera Manager, pro snadné nasazení, konfiguraci a monitorování Hadoopu. 1. února tohoto roku společnost Cloudera přestala tuto zdarma dostupnou distribuci nabízet a dále podporuje pouze svoji placenou distribuci Cloudera Enterprise. My jsme se přibližně v tomto období připravovali vyměnit naše staré Hadoop servery za nový hardware, a tak jsme začali zkoumat alternativní možnosti nasazení Hadoopu s preferencí pro otevřená a volně dostupná řešení.

Pro nasazení a provoz Hadoopu na našich nových serverech jsme nakonec zvažovali tyto tři možnosti:

Vítězem našeho porovnání se stal Apache Bigtop, který nabízí linuxové balíčky pro všechny námi používané Hadoop komponenty kromě Apache Impala. Co Bigtop ovšem nenabízí, jsou nástroje na hromadné nasazení a monitorování Hadoopu. K tomuto účelu jsme dodatečně použili automatizační nástroj Ansible a monitorovací systém Icinga, se kterými jsme měli předchozí zkušenosti. Pro nasazení Hadoopu a jeho přidružených nástrojů jsme si napsali sadu Ansible playbooků. Tyto playbooky pro každou Hadoop komponentu nainstalují její prerekvizity, nainstalují samotnou komponentu, nakopírují na server konfigurační soubory komponenty a nakonec spustí její systemd nebo init.d službu.

Jedinou Hadoop komponentou, která nebyla zabalena v Bigtopu, byl již zmíněný nástroj Apache Impala, který umožňuje provádění rychlých SQL dotazů nad velkými datasety v HDFS — souborovém systému Hadoopu. Manuální instalace Impaly se bohužel ukázala být nad naše síly kvůli nekompatibilitě s Debianem 10 a těsnou provázaností s nástroji Cloudera. Rozhodli jsme se tedy nahradit Impalu jiným SQL nástrojem pro Hadoop. Vybírali jsme z následujících možností:

Vítězem se stal nástroj Trino, který prokázal obdobný výkon jako Impala a nejlepší provázanost s Hadoop ekosystémem z testovaných možností.

Pro monitorování serverů a na nich nainstalovaných Hadoop služeb jsme jako náhradu za Cloudera Manager zvolili dříve zmíněný nástroj Icinga. S pomocí několika pluginů z Icinga Exchange jsme schopni monitorovat jak základní metriky samotných serverů, tak stav jednotlivých Hadoop služeb. V případě problému poté ihned od Icingy obdržíme e-mailovou notifikaci.

Ve výsledku se nám úspěšně povedlo nasadit instanci Hadoopu na nové servery pomocí skupiny otevřených a volně dostupných nástrojů — Apache Bigtop, Trino, Ansible, Icinga. Tuto novou instanci Hadoopu používáme od června 2021 a zatím funguje podle našich představ. Je ovšem zřejmé, že tento způsob správy Hadoopu je náročnější než použití komerčních nástrojů a vyžaduje určitou časovou investici.

Podrobnější popis migrace naší instance Hadoopu lze nalézt v anglicky psaném reportu projektu ADAM — Migrating Hadoop from Cloudera to Apache Bigtop.

Kategorie:

Mikýřova etiketa komentování

Po, 09/06/2021 - 10:40

V rámci našeho projektu Safer Internet Centrum jsme společně s MALL.TV a Mikýřovou úžasnou poutí internetem natočili přes léto několik spotů, které se věnují problematice Hate Speech. Začněme tím, že vysvětlíme, co přesně tato dvě anglická slova znamenají.

Už od mala dětem vštěpujeme několik základních, bezpečnostních pravidel. Například, že by se měly rozhlédnout, pokud přechází cestu. Předáváme jim ale i rady pro cestu kyberprostorem? Dítě, které vstupuje do kyberprostoru, bychom měli připravit na to, že ve chvíli, kdy nebude na síti moc aktivní, může dostávat celou řadu různých nabídek. Ne každá z nich ale musí být pozitivní. Například se dost často stává, že se stane obětí náhodného útoku cizích lidí, kteří mohou nevhodně komentovat či jinak reagovat na jeho aktivity.

Jednou z nejčastějších forem útoku nejen na děti je Hate Speech. Jde o nenávistné projevy, do kterých můžeme zahrnout útoky, které šíří, podněcují, podporují nebo ospravedlňují nenávist proti určité skupině osob. Může jít o skupiny, kde jsou lidé jiné rasy, etnicity, náboženského vyznání a podobně. Terčem útoku mohou být také lidé se zdravotním handicapem, jiným politickým smýšlením nebo kvůli vzhledu. Hejty nalezneme téměř v každé diskuzi pod články, na diskuzních fórech, sociálních sítích nebo i v soukromé komunikaci.

Neomezená virtuální svoboda a anonymita má i na sociálních sítích právní rámec a hranice. Příspěvek či komentář může naplnit skutkovou podstatu hned několika paragrafů trestního zákoníku:
§ 181 – poškození cizích práv
§ 184 – pomluva
§ 345 – křivé obvinění…
§ 355 – hanobení…
§ 356 – podněcování k nenávisti…
§ 357 – šíření poplašné zprávy
§ 364 – podněcování k trestnému činu
§ 365 – schvalování trestného činu
§ 404 – projev sympatií k hnutí směřující k potlačování práv a svobod člověka

Pokud se staneme terčem vulgárních, nenávistných nebo dokonce výhrůžných zpráv, měli bychom zachovat chladnou hlavu. Tou největší chybou je, že na tyto zprávy a komentáře reagujeme.

Možná se jen snažíme podvědomě bránit, ospravedlnit nebo něco vysvětlit. Reagováním na tyto příspěvky ale situaci akorát zhoršíme, mohou do ní být zataženi i další lidé a problému se už jednoduše nezbavíme.

Pro tyto situace slouží pár základních, ale jednoduchých rad:
– na vulgární, výhrůžné nebo nenávistné zprávy nereagujte,
– vložte si jejich odesilatele do nějaké formy blokace či ignorace (každá služba nějakou formu ztišení nebo trvalou blokaci nabízí),
– tyto zprávy nemažte, situace se může zhoršit a bude potřeba mít v ruce nějaký důkaz, například záznam komunikace,
– situaci řešte okamžitě s administrátorem stránek, službou, případně s policií.

I když jsou některé formy Hate Speech vážné, neznamená to, že by za to mohl Internet. Nezapomínejme, že je to skvělý nástroj, plný zajímavých a důležitých informací, zábavy a snad i neomezených možností. Chovejme se na Internetu tak, jak bychom chtěli, aby se ostatní chovali k nám.

Pokud jste se někdy setkali s podobným typem příspěvků či zpráv, dejte nám vědět. Než si vzpomenete nebo nám napíšete, podívejte se, o čem je řeč. Spoty naleznete na našem Youtube kanálu.

Kategorie:

Krátké vlny: Hackuj stát až v době porouškové a připravovaná (ne)regulace mobilního trhu

Čt, 08/26/2021 - 08:40

S blížícím se koncem léta se zdá, že sezóna konferencí a fyzického setkávání opět nabírá na obrátkách, a přestože většina akcí je z opatrnosti hybridních, někteří organizátoři jsou optimisty. Bohužel realisty zůstávají organizátoři čtvrtého Hackathonu veřejné správy, který se měl konat 10. a 11. září. Kvůli současné situaci, kdy není možné provést akci ve vnitřním prostředí bez roušek nebo respirátorů, se organizátoři společně s partnery (sdružení CZ.NIC, NIX.CZ a mediální partner Lupa.cz) rozhodli o odložení hackathonu.

Zdroj: https://www.facebook.com/hackujstat

Jiní se toho ale nebojí (nebo jim roušky nevadí). Český telekomunikační úřad pořádá hned dva důležité workshopy, 10. září k návrhu vyhlášky o přenositelnosti čísel a změny poskytovatele služby přístupu k Internetu a 15. září k definici služby přiměřeného přístupu k internetu v rámci univerzální služby.

Optimismem, alespoň soudě podle podtitulů konferencí, hýří pořadatelé z řad e-governmentu. Tradiční akce konference e-government 20:10, v hybridním formátu, proběhne 7. a 8. září v Mikulově, opět pod heslem „žijem si jak na zámku, ať to trvá věčně“.

Ve dnech 20. a 21. září by pak měla v Hradci Králové proběhnout tradiční akce Internet ve státní správě a samosprávě (ISSS) tentokrát pod heslem „Pojďme navázat na předchozí život.“ Letošní rok je volební, tak lze očekávat hojnou účast politiků a prezentací vizí, co podniknout s českým egovernmentem.

Ve dnech 22. až 24. září se bude v Brně konat již sedmý ročník konference o kybernetické bezpečnosti CyberCon Brno. Součástí třídenní konference jsou i dva workshopy. První workshop, „Wireshark – tune you tool“ – je zaměřený na průřezové seznámení s hlavními a nejužitečnějšími funkcionalitami nástroje Wireshark. Druhým workshopem je ukázka table-top cvičení kybernetické bezpečnosti, kde se účastníci mohou vžít do role představitelů fiktivní společnosti, která čelí kybernetickým útokům.

Bezpochyby zajímavým obsahem se může pochlubit plzeňská konference Kam kráčí telekomunikační sítě, která se koná 23. září 2021. Přednášku ke kybernetické bezpečnosti bude mít Jan Kolouch, metodik kybernetické bezpečnosti CESNET, zkušenosti z kontrol VO-S 1, ale také budoucí zaměření kontrolní činnosti ČTÚ bude prezentovat ředitelka sekce rozhodování sporů a ochrany spotřebitele Pavla Zichová, o nových pravidlech pro poskytování dotací bude informovat ředitel sekce veřejné podpory Ministerstva průmyslu a obchodu Petr Filipi. Techničtěji zaměření účastníci by si rozhodně neměli nechat ujít prezentaci technického ředitele sdružení NIX.CZ Mariana Rychteckého, který představí hlavní změny v infrastruktuře největšího českého neutrálního internetového uzlu.

A konečně 13. a 14. října proběhne setkání CSNOG 2021, malý svátek pro komunitu poskytovatelů přístupů k Internetu, provozovatelů sítí, registrátorů domén a technických nadšenců. Do konce srpna je možné zasílat návrhy přednášek. Díky technickému zaměření konference je přislíbeno, že by se mohl Marian Rychtecký rozpovídat o nedávno opravené chybě, resp. nepodpoře funkce „feature port-security“ v kombinaci s VxLAN/EVPN u zařízení Cisco Nexus 9300. Pro mě, netechnika, úplná detektivka.

Centrum kybernetické bezpečnosti, které navazuje na činnost pracovní skupiny kybernetické bezpečnosti AFCEA, spustilo kampaň na serveru Donio s cílem vybrat 80 tisíc korun na knihu kyber pohádek a říkanek. Z vybraných peněz by se měla zaplatit výroba a distribuce knih do vybraných mateřských a základních škol. Kniha je určena zejména pro děti od 4 let, ale i pro rodiče a prarodiče a jejím cílem je oslovit zábavnou a tradiční formou základní informace o nástrahách ve virtuálním prostoru. Že tato aktivita má smysl ukazují například nedávno zveřejněná čísla linky pro hlášení nezákonného obsahu STOPonline.cz, která přijala v minulém roce 2689 oznámení o nezákonném obsahu. Pozitivní je, že i když se hotlinky v loňském roce potýkaly s omezeními způsobenými pandemií koronaviru, podařilo se jim odstraňovat materiál obsahující sexuální zneužívání dětí přibližně o 50 % rychleji než v předchozím roce (konkrétně 74 % tohoto nelegálního obsahu je z hostitelského webu odstraněno do 3 dnů, předchozí rok se tento materiál dařilo eliminovat do 5 dnů). Detaily je možné najít v článku Michaly Radotínské ze sdružení CZ.NIC.

V polovině srpna vyšla z Vysočan do světa zpráva, že ČTÚ chce regulovat ceny mobilních dat. Zpráva ČTK je pak doplněna informací z loňského průzkumu společnosti KPMG, podle kterého většina Čechů nechce neomezená data kvůli jejich nevyužití. Shodou okolností začátkem srpna odpovídal úřad na otázku k budoucnosti regulace mobilního trhu tazateli podle informačního zákona a ve své odpovědi se rozepsal více než uvedená zpráva ČTK, kterou převzala média.

ČTÚ na přímý dotaz uvádí, že analýza velkoobchodního trhu přístupu k mobilním službám je v současné době rozpracovaná a seznamuje tazatele s formálními aspekty a lhůtami celého procesu (zkráceně „analýza trhu je běh na dlouhou trať“). Úřad také vyhodnocuje dopady poslední aukce (konané v závěru roku 2020) na trh elektronických komunikací v České republice a uvádí, že na základě nastavení parametrů aukce může potencionálně dojít ke zvýšení počtu subjektů působících na trhu mobilních služeb, resp. ke zlepšení jejich postavení na trhu mobilních služeb. Analýzu je potřeba dle úřadu doplnit o hodnocení dalších aktuálních změn na trhu například o nové nabídky mobilních operátorů. ČTÚ chce předložit dopracovanou analýzu v průběhu druhého pololetí roku 2021.

Ve výčtu svých aktivit pro podporu hospodářské soutěže a zajištění širšího výběru služeb a adekvátních cen pro koncového uživatele ČTÚ zmiňuje:

  • zkrácení lhůty pro přenos telefonního čísla a zkrácení výpovědních lhůt v novele zákona o elektronických komunikacích,

  • nastavení podmínek 5G aukce kmitočtů, zejména uložení povinnosti poskytnout národní roaming,

  • spuštění srovnávacího nástroje cen a kvality služeb elektronických komunikacích,

  • rozhodnutí sporu mezi společností T-Mobile Czech Republic a Český bezdrát, ve kterém nařídil povinnost prvně jmenované společnosti uzavřít dodatek ke smlouvě o přístupu a snížit velkoobchodní ceny za mobilní data o 41 % (v tomto konkrétním případě).

V odpovědi ještě ČTÚ píše, že existují sice mezinárodní cenová srovnání, která nejsou pro Česko lichotivá, ale současně existují i jiná, například srovnání společnosti Rewheel za první pololetí roku 2021, která ukazují pozitivní posun a Česko je sice nad průměrem států EU, ale umístilo se před řadou dalších států EU, například Německem, Belgií, Nizozemím a Portugalskem.

Kousnu do kyselého jablka. Žádná regulace nebude. Pokud shrnu fakta z výše uvedené odpovědi, nikdy nemůže vyjít tzv. 3K test, první podmínka pro regulaci trhu, který není zahrnut v doporučení Evropské komise. Jinými slovy, 3K test, na kterém je postavena regulační snaha ČTÚ, byl zpracován v roce 2017. Od té doby proteklo Českem mnoho mobilních dat a regulátor by si měl odpovědět znovu na otázku, zda jsou splněna tři kritéria:

a) existence značných, a nikoliv dočasných strukturálních, právních nebo regulačních překážek vstupu na trh,

b) struktura trhu, který v daném časovém horizontu nesměřuje k účinné hospodářské soutěži, a to s ohledem na stav hospodářské soutěže založené na infrastruktuře a dalších faktorů, které stojí za překážkami vstupu,

c) samo právo hospodářské soutěže není schopno dostatečně reagovat na uvedené selhání trhu.

Pokud ČTÚ říká, že „na základě nastavení parametrů aukce může potencionálně dojít ke zvýšení počtu subjektů působících na trhu mobilních služeb, resp. ke zlepšení jejich postavení na trhu mobilních služeb“, pokud ceny pro koncové zákazníky i v kontextu mezinárodního srovnání klesají, pokud je ČTÚ silný v kramflecích při rozhodování individuálních sporů mezi síťovým a virtuálním operátorem (viz spor T-Mobile a Český bezdrát) a mobilní trh je v hledáčku i soutěžního regulátora (viz jeho výroční zpráva za rok 2020), jsou odpovědi, zda jsou stále splněny kritéria 3K testu jasné. Nehledě na skutečnost, že článek 67 přijatého a účinného Kodexu pro elektronické komunikace klade na regulátora nové požadavky v procesu ex ante regulace.

Krásný konec prázdnin.

Kategorie:

Hotlinky úspěšně čelí nezákonnému obsahu

Po, 08/16/2021 - 06:10

V poslední dnech plní titulky v médiích změna přístupu společnosti Apple, která se rozhodla aktivně bojovat proti dětské pornografii. Její snahy se zatím zaměřují jen na USA. To však neznamená, že v České republice a v Evropě by nám byl tento druh on-line obsahu lhostejný. Naopak. Za podpory Evropské komise funguje již 22 let mezinárodní síť linek pro hlášení nelegálního obsahu (INHOPE), do které se v roce 2018 zapojilo i naše sdružení.

Za loňský rok přijala naše linka pro hlášení nezákonného obsahu STOPonline.cz celkem 2 689 oznámení, což podle výroční zprávy INHOPE činilo 3 % všech hlášení z evropského kontinentu. O první příčku se dělí s 26 % Rakousko a Nizozemí, které však s 94 % patří mezi suverénně nejvýznamnější země, kde je tento obsah umístěn. Pro nás je určitě potěšitelné, že díky legislativě i nastavené efektivní spolupráci s policií se daří nelegální obsah odstraňovat a Česká republika si již poněkolikáté v řadě obhájila pozici země, kde je tohoto obsahu nejméně.

I přestože se hotlinky v loňském roce potýkaly s omezeními způsobenými pandemií koronaviru, podařilo se jim odstraňovat materiál obsahující sexuální zneužívání dětí přibližně o 50 % rychleji než v předchozím roce. Budeme-li konkrétnější, znamená to, že 74 % tohoto nelegálního obsahu je z hostitelského webu odstraněno do 3 dnů, zatímco předchozí rok se tento materiál dařilo eliminovat do 5 dnů, což se dá považovat za obrovský úspěch.

Oběťmi nezákonného on-line obsahu jsou především děvčata, a to z 93 %. Podíl dívek se každým rokem nepatrně zvyšuje. Co se týče věkového rozložení obětí, v loňském roce se 76 % případů zabývalo dětmi ve věku 3 – 13 let, 22 % případů pubescenty ve věku 14 – 17 let a 1 % případů připadlo na ty nejmenší děti ve věku 0 – 2 roky. Oproti předchozím letům se podíl skupiny dětí pod 13 let snížil, přesto se jedná o poměrně alarmující číslo.

Zdroj: INHOPE Annual report 2020

Z výše uvedených statistik je zřejmé, jak je důležité dbát na dostatečnou osvětu, a to nejen na prvním stupni základních škol. V rámci projektu Safer Internet Centrum alias Bezpečně na netu nabízíme zdarma celou škálu vzdělávacích materiálů, kde se mladší děti i náctiletí dozví, jak se na internetu chovat bezpečně.

Kategorie: