Ostatnio ogłoszono uruchomienie systemu przechwytywania, przechowywanie i indeksowanie pakietów sieciowych Arkime 3.1, który zapewnia narzędzia do wizualnej oceny przepływów ruchu i wyszukiwać informacje związane z aktywnością w sieci.
Projekt został opracowany pierwotnie przez AOL w celu stworzenia otwartego i możliwego do wdrożenia zamiennika dla komercyjnych platform przetwarzania pakietów sieciowych na swoich serwerach, które można skalować w celu obsługi ruchu z prędkością dziesiątek gigabitów na sekundę.
O Arkime
Dla tych, którzy nie znają Arkime, powiem, że dawniej znany jako Moloch który był zestawem narzędzi do przechwytywania i indeksowania ruchu w standardowym formacie PCAP a także zapewnia narzędzia do szybkiego dostępu do zindeksowanych danych. Korzystanie z formatu PCAP znacznie upraszcza integrację z istniejącymi analizatorami ruchu, takimi jak Wireshark. Ilość przechowywanych danych jest ograniczona jedynie wielkością dostępnej macierzy dyskowej. Metadane sesji są indeksowane w klastrze opartym na silniku Elasticsearch.
Do analizy zgromadzonych informacji proponuje się interfejs sieciowy, który umożliwia przeglądanie, wyszukiwanie i eksportowanie próbek. Interfejs sieciowy zapewnia różne tryby wyświetlania: od ogólnych statystyk, map połączeń i wykresów wizualnych z danymi o zmianach aktywności sieciowej po narzędzia do badania poszczególnych sesji, analizowania aktywności w kontekście używanych protokołów i analizowania danych ze zrzutów PCAP.
Dostępny jest również interfejs API umożliwiający aplikacjom innych firm przekazywanie przechwyconych danych pakietowych w formacie PCAP i przeanalizowanych sesji w formacie JSON.
arkame Składa się z trzech podstawowych elementów:
- Traffic Capture System to wielowątkowa aplikacja C do monitorowania ruchu, zapisywania zrzutów PCAP na dysku, analizowania przechwyconych pakietów i wysyłania metadanych sesji (Stateful Packet Inspection) (SPI) oraz protokołów do klastra Elasticsearch. Możliwe jest szyfrowane przechowywanie plików PCAP.
- Interfejs sieciowy oparty na platformie Node.js, który działa na każdym serwerze przechwytywania ruchu i obsługuje żądania związane z dostępem do indeksowanych danych i przesyłaniem plików PCAP przez API.
- Magazyn metadanych oparty na Elasticsearch.
Główne nowości Arkime 3.1
W tej nowej wydanej wersji jedną z najważniejszych zmian, które się wyróżniają jest zmiana nazwy projektu, skoro jak wyżej skomentowałem projekt Wcześniej był znany jako Moloch, a deweloperzy komentują, że projekt odnotował wzrost i znacząca zmiana i pomyśleli, że to dobry moment na zmianę nazwy na Arkime.
Kolejną z wyróżniających się zmian jest zupełnie nowy interfejs użytkownika do konfiguracji WISE, tworzenie i aktualizacja źródeł WISE i statystyk WISE. Jest to potężne nowe narzędzie, które pomaga użytkownikom rozpocząć pracę z WISE lub ulepszyć ich usługę WISE bez poświęcania czasu na konfigurację lub pliki źródłowe.
Ponadto również podkreśla, że dodano obsługę protokołów IETF QUIC, GENEVE, VXLAN-GPEPonadto dodano obsługę typu Q-in-Q (Double VLAN), który umożliwia enkapsulację tagów VLAN w tagach drugiego poziomu w celu zwiększenia liczby sieci VLAN do 16 milionów.
Z innych wyróżniających się zmian:
- Dodano obsługę typu pola „pływającego”.
- Moduł zapisujący Amazon Elastic Compute Cloud został przeniesiony do korzystania z protokołu IMDSv2 (Instance Metadata Service).
- Refaktoryzacja kodu w celu dodania tuneli UDP.
- Dodano wsparcie dla elasticsearchAPIKey i elasticsearchBasicAuth.
Na koniec, jeśli chcesz dowiedzieć się więcej o tej nowej wersji, możesz zapoznać się ze szczegółami W poniższym linku.
Zdobądź Arkime
Dla tych, którzy są zainteresowani uzyskaniem tego narzędzia, powinni wiedzieć, że kod komponentu przechwytywania ruchu jest napisany w C, a interfejs jest zaimplementowany w Node.js / JavaScript. Kod źródłowy jest rozpowszechniany na licencji Apache 2.0. Obsługiwana jest praca na Linuksie i FreeBSD.
Gotowe pakiety są gotowe na Arch, CentOS i Ubuntu i można je uzyskać z linku poniżej.