NetFlow/sFlow/IPFix Collectors
Wenn ihre NetFlow:Agenten die Verkehrsdaten als NetFlow:Pakete über das Netzwerk senden., benötigen Sie natürlich einen Empfänger. Welchen Empfänger Sie einsetzen bleibt letztlich ihnen überlassen. Es gibt sehr viele kommerzielle aber auch kostenfreie Lösungen. Einige laufen als Dienst im Hintergrund und legen die Ergebnisse konsolidiert in einer Datenbank für spätere Auswertungen und Abrechnungen ab. Andere sind nur interaktive Programme, die ihnen den aktuellen Stand anzeigen. Auch Monitoring-Lösungen sind hier mit im Rennen, die solche Daten zur Qualitätssicherung nutzen und ggfls. bei Überlastsituationen auch Alarm schlagen können.
Eine Empfehlung für ein Produkt kann ich hier nicht geben, da ich sicher keinen Marktüberblick über die Produkte habe.
Flows in Office 365
Azure bringt auch eine Flow-Überwachung zwischen NSGs (Network Security Groups" mit. Azure schreibt diese Bewegungsdaten in einen Azure BLOB, der auch wieder ausgelesen werden kann. Interessanterweise auch per PowerBI u.a.
- Announcing Azure Network Watcher –
Network Performance Monitoring and
Diagnostics Service for Azure
https://azure.microsoft.com/en-us/blog/announcing-azure-network-watcher-network-performance-monitoring-and-diagnostics-service-for-azure/ - Einführung in die
Datenflussprotokollierung für
Netzwerksicherheitsgruppen
https://docs.microsoft.com/de-de/azure/network-watcher/network-watcher-nsg-flow-logging-overview - Lesen von NSG-Datenflussprotokollen
https://docs.microsoft.com/de-de/azure/network-watcher/network-watcher-read-nsg-flow-logs - Visualisieren von Azure Network Watcher-NSG-Datenflussprotokollen
mit Open-Source-Tools
https://docs.microsoft.com/de-de/azure/network-watcher/network-watcher-visualize-nsg-flow-logs-open-source-tools - Verwenden von Power BI
https://docs.microsoft.com/de-de/azure/network-watcher/network-watcher-visualize-nsg-flow-logs-power-bi - Verwenden von Elastic Stack
https://docs.microsoft.com/de-de/azure/network-watcher/network-watcher-visualize-nsg-flow-logs-open-source-tools
Verwenden von Grafana
https://docs.microsoft.com/de-de/azure/network-watcher/network-watcher-nsg-grafana - Verwenden von Graylog
https://docs.microsoft.com/de-de/azure/network-watcher/network-watcher-analyze-nsg-flow-logs-graylog - Visualisieren von Mustern im eingehenden
und ausgehenden VM-Datenverkehr mithilfe von
Open Source-Tools (CapAnalysis )
https://docs.microsoft.com/de-de/azure/network-watcher/network-watcher-using-open-source-tools - Azure Network Security Group (NSG) Flow
Logs Analysis with the ELK Stack
https://logz.io/blog/azure-nsg-elk/
Der Auto beschreibt, wie NSG FLows in einen Azure BLOB geschrieben und von dort auch wieder durch 3rd Party Produkte zur Auswertung ausgelesen werden können.
Dies ist nur eine Auswahl von Links.
PRTG
Da ich aber oft mit PRTG arbeite, und PRTG auch einen Sensor zum Empfang von sFlow und NetFlow-Meldungen hat, bietet es sich natürlich an, diesen hierzu einzusetzen, um ihnen eine mögliche Auswertung zu zeigen. Eine gesonderte Beschreibung finden Sie dazu auf PRTG und NetFlow/SFlow
- PRTG
- PRTG und NetFlow/SFlow
- PowerBI und NetFlow/sFlow
- PRTG Manual: jFlow V5 Sensor
http://www.paessler.com/manuals/prtg/jflow_v5_sensor - Automate Your PRTG Tasks
Using CLI
https://blog.paessler.com/automate-your-prtg-tasks-using-cli
Netflow Filter per PowerShell auf Office 365 IP-Adressen einrichten -
Adjusting the Default xFlow and Packet Sniffer Channel Configuration
https://kb.paessler.com/en/topic/60203-how-can-i-change-the-default-groups-and-channels-for-xflow-and-packet-sniffer-sensors - How many flows per second
can PRTG handle in its xFlow (NetFlow,
sFlow, jFlow) sensors?
http://www.paessler.com/knowledgebase/en/topic/20613-how-many-flows-per-second-can-prtg-handle-in-its-xflow-netflow-sflow-jflow-sensors - How do I discern excessive
bandwidth usage with PRTG?
http://www.paessler.com/knowledgebase/en/topic/2923-how-do-i-discern-excessive-bandwidth-usage-with-prtg
Leider ist PRTG aber etwas auf "Realtime" beschränkt. Die empfangenen Daten werden sofort ausgewertet und die Ergebnisse in die PRTG-Datenbank übertragen. Es gibt also keinen "großen Datenspeicher" zur Auswertung von einzelnen Flows.
NTOP
Früher war NTOP "free", wenn man den Code selbst kompiliert hat. Aber auch als kommerzielle Version ist es durchaus ein interessantes Produkt um NetFLow--Daten zu sammeln und auszuwerten.
- NTOP
- https://www.ntop.org/solutions/flow-based-monitoring/
- https://www.ntop.org/products/netflow/nprobe/
Logstash Netflow Modul
Interessant finde ich auch die Möglichkeit solche Meldungen in ELK zu importieren und mit Kibana auszuwerten
- Logstash Netflow Modul
https://www.elastic.co/guide/en/logstash/current/netflow-module.html
Weitere Tools
- sFlow Collectors
http://www.sflow.org/products/collectors.php
Umfangreiche Liste von Collectors, die mit dem sflow-Agent funktionieren - Cisco IOS Freeware NetFlow Software
http://www.cisco.com/en/US/prod/iosswrel/ps6537/ps6555/ps6601/networking_solutions_products_genericcontent0900aecd805ff72b.html - sFlowTrend
http://www.inmon.com/products/sFlowTrend.php
Kostenfreie Version unterstützt 5 Switches und hält Daten für eine Stunde im Speicher - CapAnalysis
https://www.capanalysis.net/ca/
web visual tool for information security specialists, system administrators and everyone who needs to analyze large amounts of captured network traffic - 5 Free NetFlow Analyzer
Tools für Windows
http://www.networkmanagementsoftware.com/5-free-netflow-analyzer-tools-for-windows - WebView NetFlow reporter
http://wvnetflow.sourceforge.net/ - plixer - Scrutinizer
https://www.plixer.com/products/scrutinizer/free-edition/
Free-Version: sammelt bis zu 5h Daten und startet dann wieder vom Neuem. - plixer: FlowPro
https://www.plixer.com/products/flowpro/ - cFLowd
http://www.caida.org/tools/measurement/cflowd/
Wird nicht mehr weiter entwickelt. Verweist auf FlowScan - flow-tools(1) - Linux man
page
https://linux.die.net/man/1/flow-tools - FlowScan - Network Traffic
Flow Visualization and Reporting
Tool
http://www.caida.org/tools/utilities/flowscan/ - Flowd
https://code.google.com/archive/p/flowd/downloads
Einfacher UNix Daemon um empfangene NetFlow-Daten in eine Datei zu schreiben - fprobe-ulog
https://sourceforge.net/projects/fprobe/
Linux Man Page
https://www.systutorials.com/docs/linux/man/8-fprobe-ulog/ - SourceForge.net: Project
PHPal
http://phpal.sourceforge.net/projects/allanbilling/
Wertet die Daten von fprobe-ulog aus - Best Netflow Analyzers and
Collectors for Monitoring in
Real-Time
https://www.netadmintools.com/netflow-analyzer-and-collectors - vFLow -Verizons NetFlow
Collector (Open Source)
https://GitHub.com/VerizonDigital/vflow
https://www.linkedin.com/pulse/high-performance-scalable-reliable-ipfix-sflow-open-arshad-rad
https://mailman.nanog.org/pipermail/nanog/2017-May/091097.html - Freeware NetFlow Software
https://www.cisco.com/c/en/us/products/ios-nx-os-software/ios-netflow/networking_solutions_products_genericcontent0900aecd805ff72b.html - Logz.io
https://logz.io/blog/anti-ddos-attack-protection/