netpoll cpp
1.0.0
Esta é uma biblioteca de rede C++ NIO com desempenho e facilidade de uso. Ele suporta C++14 e acima e abrange três principais plataformas principais.
O modelo de IO subjacente empresta one loop per thread da biblioteca de rede Muduo, que torna o encapsulamento da API segura para roscas mais eficiente e simples.
A interface da API fornecida pela camada superior empresta a Netpoll da biblioteca de redes Nio Nio Language da Bytedance, e abstrava Listener e Dialer para finalmente fornecer serviços através EventLoop .
Para como esta biblioteca é usada, você pode verificar o início rápido.
Para exemplos de uso específicos, consulte Exemplos.
Já suportado :
windows/linux/macos completas são implementadas usando a implementação de multiplicação de maior desempenho da plataforma (epoll/epoll/kqueue implementado pelo IOCP).EventLoop para implementar chamadas assíncronas. Se o sistema operacional suportar chamadas sendfile , a chamada zero-copia será chamada em vez de ligar para a biblioteca padrão C.echo , você só precisa do seguinte código: struct server
{
NETPOLL_TCP_MESSAGE (conn, buffer){conn-> send (buffer-> readAll ());}
};
int main ()
{
auto loop = netpoll::NewEventLoop ();
auto listener = netpoll::tcp::Listener::New ({ 6666 });
listener. bind <server>();
loop. serve (listener);
}100^8s , o que pode exigir apenas 100*8byte ). Para detalhes, você pode verificar o blog: introdução detalhada.one loop per threadfuture para a sincronização, que pode ser útil na programação do cliente. netpoll::SignalTask::Register ({SIGINT,SIGTERM});
netpoll::SignalTask::Add ([](){
// do something
});Apoiará no futuro :
O desempenho é extremamente alto e testei temporariamente o ASIO (C ++)/Netty (Java)/Netpoll (Idioma GO).
Testei a ASIO/Netty no sistema Windows e o teste do gráfico a seguir é baseado no Linux, e não sou muito bom em implantar programas Java no Linux, portanto, o gráfico a seguir não tem o desempenho da Netty.
A latência média de um único serviço de eco conectado sob diferentes situações de simultaneidade é o seguinte (AVG):
A arquitetura do modelo subjacente do lado do servidor:
O encapsulamento Listener simplifica o uso do TcpServer , todas as chamadas são as seguintes:
namespace netpoll ::tcp{
class Listener {
template < typename T>
void bind (Args &&...args); // 用于绑定任意类的对应方法到回调
template < typename T>
std::shared_ptr<T> instance () // 返回内部帮你创建的实例
static Listener New( const InetAddress &address,
const StringView &name = " tcp_listener " ,
bool reUseAddr = true , bool reUsePort = true ); // 建立Listener实例
void enableKickoffIdle ( size_t timeout); // 用于开启剔除空闲连接
}
} O encapsulamento Dialer simplifica o uso do TcpClient , e as chamadas usadas são as seguintes:
namespace netpoll ::tcp{
class Dialer {
template < typename T>
void bind (Args &&...args); // 用于绑定任意类的对应方法到回调
template < typename T>
std::shared_ptr<T> instance () // 返回内部帮你创建的实例
static Dialer New( const InetAddress &address,
const StringView &name = " tcp_dialer " ); // 建立Listener实例
void enableRetry (); // 在连接失败后重试
// 以下调用方均是为了在没有C++17的if constexpr情况下的替代品,否则应该直接使用bind
template < typename T, typename ... Args>
static std::shared_ptr<T> Register (Args &&...args);
void onMessage (netpoll::RecvMessageCallback const &cb);
void onConnection (netpoll::ConnectionCallback const &cb);
void onConnectionError (netpoll::ConnectionErrorCallback const &cb);
void onWriteComplete (netpoll::WriteCompleteCallback const &cb);
}
} A estratégia de balanceamento de carga da EventLoop não possui configurações separadas e todas elas usam Round Robin .
As APIs relacionadas ao Eventloop são as seguintes:
NewEventLoop(size_t threadNum=2,const netpoll::StringView&name="eventloop") : crie uma instância do Eventloop e defina o número de threads para eventloop.
serve Método: Depois de sair recentemente do discador ou ouvinte, você pode fornecer serviços a eles através deste método.
Método serveAsDaemon : O efeito é o mesmo que o método de servir, mas a abertura de um novo thread a ser servido não bloqueará o thread atual.
Método enableQuit : permite a chamada ativa para fazer métodos de saída. Por padrão, ele não pode sair ativamente de todos os threads de loop e é usado em conjunto com o método QuitAllEventLoop .
QuitAllEventLoop Método: Saia de todos os loops.
O MessageBuffer é um cache intermediário para leitura e gravação de dados de buffer do kernel. Na verdade, é um buffer variável e também é muito simples de implementar. Para diferentes tipos de implementações de buffer, você pode conferir meu artigo: Implementação de comprimento variável e buffer de comprimento imutável
Não vou descrever várias chamadas aqui. Se você quiser saber, pode olhar diretamente para o arquivo de cabeçalho correspondente: netpoll/util/message_buffer.h.
Deixe -me falar brevemente sobre os destaques da implementação deste buffer:
Ao expandir, evitando os efeitos colaterais do redimensionamento, ele também pode simplificar as operações de abertura e copiar da memória.
void MessageBuffer::ensureWritableBytes ( size_t len)
{
if ( writableBytes () >= len) return ;
// move readable bytes
if (m_head + writableBytes () >= (len + kBufferOffset ))
{
std::copy ( begin () + m_head, begin () + m_tail, begin () + kBufferOffset );
m_tail = kBufferOffset + (m_tail - m_head);
m_head = kBufferOffset ;
return ;
}
// create new buffer
size_t newLen;
if ((m_buffer. size () * 2 ) > ( kBufferOffset + readableBytes () + len))
newLen = m_buffer. size () * 2 ;
else newLen = kBufferOffset + readableBytes () + len;
// Avoid the inefficiency of using resize
MessageBuffer newbuffer (newLen);
newbuffer. pushBack (* this );
swap (newbuffer);
}Forneça o método readfd, que lê os dados do buffer de leitura FD correspondente ao MessageBuffer. O conteúdo lê cada vez é grande o suficiente. Por exemplo, se a área gravável do MessageBuffer for menor que 8kb, o cache de leitura alternativo de 8kb será ativado.
ssize_t MessageBuffer::readFd ( int fd, int *retErrno)
{
char extBuffer[ 8192 ];
struct iovec vec[ 2 ];
size_t writable = writableBytes ();
vec[ 0 ]. iov_base = begin () + m_tail;
vec[ 0 ]. iov_len = static_cast < int >(writable);
vec[ 1 ]. iov_base = extBuffer;
vec[ 1 ]. iov_len = sizeof (extBuffer);
const int iovcnt = (writable < sizeof extBuffer) ? 2 : 1 ;
ssize_t n = :: readv (fd, vec, iovcnt);
if (n < 0 ) { *retErrno = errno; }
else if ( static_cast < size_t >(n) <= writable) { m_tail += n; }
else
{
m_tail = m_buffer. size ();
pushBack ({extBuffer, n - writable});
}
return n;
}A classe TCPConnection é uma classe abstrata que é usada através de ponteiros inteligentes quando usados.
Esta interface especifica as seguintes funções:
Envie dados (incluindo string/buffer/arquivo/stream).
/* *
* @brief Send some data to the peer.
*
* @param msg
* @param len
*/
virtual void send (StringView const &msg) = 0;
virtual void send ( const MessageBuffer &buffer) = 0;
virtual void send (MessageBuffer &&buffer) = 0;
virtual void send ( const std::shared_ptr<MessageBuffer> &msgPtr) = 0;
/* *
* @brief Send a file to the peer.
*
* @param fileName in UTF-8
* @param offset
* @param length
*/
virtual void sendFile (StringView const &fileName, size_t offset = 0 ,
size_t length = 0 ) = 0;
/* *
* @brief Send a stream to the peer.
*
* @param callback function to retrieve the stream data (stream ends when a
* zero size is returned) the callback will be called with nullptr when the
* send is finished/interrupted, so that it cleans up any internal data (ex:
* close file).
* @warning The buffer size should be >= 10 to allow http chunked-encoding
* data stream
*/
// (buffer, buffer size) -> size
// of data put in buffer
virtual void sendStream (
std::function<std:: size_t ( char *, std:: size_t )> callback) = 0;Obtenha informações de conexão, como informações de endereço ou status de conexão ou um buffer que recebe dados.
/* *
* @brief New the local address of the connection.
*
* @return const InetAddress&
*/
virtual const InetAddress & localAddr () const = 0;
/* *
* @brief New the remote address of the connection.
*
* @return const InetAddress&
*/
virtual const InetAddress & peerAddr () const = 0;
/* *
* @brief Return true if the connection is established.
*
* @return true
* @return false
*/
virtual bool connected () const = 0;
/* *
* @brief Return false if the connection is established.
*
* @return true
* @return false
*/
virtual bool disconnected () const = 0;
/* *
* @brief New the buffer in which the received data stored.
*
* @return MsgBuffer*
*/
virtual MessageBuffer * getRecvBuffer () = 0;Defina o retorno de chamada ou status da conexão (desconecte ou defina tcpnodelay/Keepalive).
/* *
* @brief Set the high water mark callback
*
* @param cb The callback is called when the data in sending buffer is
* larger than the water mark.
* @param markLen The water mark in bytes.
*/
virtual void setHighWaterMarkCallback ( const HighWaterMarkCallback &cb,
size_t markLen) = 0;
/* *
* @brief Set the TCP_NODELAY option to the socket.
*
* @param on
*/
virtual void setTcpNoDelay ( bool on) = 0;
/* *
* @brief Shutdown the connection.
* @note This method only closes the writing direction.
*/
virtual void shutdown () = 0;
/* *
* @brief Close the connection forcefully.
*
*/
virtual void forceClose () = 0;
/* *
* @brief Call this method to avoid being kicked off by TcpServer, refer to
* the kickoffIdleConnections method in the TcpServer class.
*
*/
virtual void keepAlive () = 0;
/* *
* @brief Return true if the keepAlive() method is called.
*
* @return true
* @return false
*/
virtual bool isKeepAlive () = 0;Define o contexto da conexão para lidar com a lógica de negócios dedicada para a conexão.
/* *
* @brief Set the custom data on the connection.
*
* @param context
*/
void setContext ( const Any &context) { m_context = context; }
void setContext (Any &&context) { m_context = std::move (context); }
/* *
* @brief New mutable context
*
* @return Any
*/
Any & getContextRefMut () { return m_context; }
/* *
* @brief New unmutable context
*
* @return Any
*/
Any const & getContextRef () const { return m_context; }
/* *
* @brief Return true if the custom data is set by user.
*
* @return true
* @return false
*/
bool hasContext () const
{
# if __cplusplus >= 201703L
return m_context. has_value ();
# else
return m_context. empty ();
# endif
}
/* *
* @brief Clear the custom data.
*
*/
void clearContext ()
{
# if __cplusplus >= 201703L
m_context. reset ();
# else
m_context. clear ();
# endif
}A conexão acumula a quantidade de dados enviados e recebidos pelos dados.
/* *
* @brief Return the number of bytes sent
*
* @return size_t
*/
virtual size_t bytesSent () const = 0;
/* *
* @brief Return the number of bytes received.
*
* @return size_t
*/
virtual size_t bytesReceived () const = 0;Obtenha o loop correspondente para esta conexão.
/* *
* @brief New the event loop in which the connection I/O is handled.
*
* @return EventLoop*
*/
virtual EventLoop * getLoop () = 0;Os dois casos de uso a seguir são fornecidos temporariamente:
