கூகுள் தினசரி 1.2M டெராபைட் டேட்டாவை எவ்வாறு மாற்றுகிறது தெரியுமா?
செய்தி முன்னோட்டம்
கூகுள் அதன் தனியுரிம தரவு பரிமாற்ற கருவியான எஃபிங்கோவின் தொழில்நுட்ப விவரக்குறிப்புகளை வெளிப்படுத்தியுள்ளது.
ஒவ்வொரு நாளும் சராசரியாக 1.2 எக்சாபைட் டேட்டாவை நகர்த்த நிறுவனம் இந்தக் கருவியைப் பயன்படுத்துகிறது. இது 1.2 மில்லியன் டெராபைட்டுகளுக்கு சமம்.
இந்த விவரங்கள் ஒரு தாளில் பகிரப்பட்டன.
இது நிர்வகிக்கப்பட்ட தரவு பரிமாற்றத்தை "பெரிய அளவிலான, உலகளவில் விநியோகிக்கப்படும் அமைப்புகளின் ஒரு அறியப்படாத ஹீரோ" என்று விவரிக்கிறது.
ஏனெனில் இது "நெட்வொர்க் தாமதத்தை உலகம் முழுவதும் நூற்றுக்கணக்கில் இருந்து கண்டத்தில் டஜன் கணக்கான மில்லி விநாடிகளுக்கு குறைக்கிறது."
தொழில்நுட்ப ஒருங்கிணைப்பு
Google இன் Colossus கோப்பு முறைமைக்கான மேம்படுத்தல்
Effingo ஆனது Google இன்-ஹவுஸ் Colossus கோப்பு முறைமைக்கு உகந்ததாக உள்ளது.
இது பொதுவாக ஆயிரக்கணக்கான இயந்திரங்களைக் கொண்ட கிளஸ்டர்களில் பயன்படுத்தப்படுகிறது.
ஒவ்வொரு கிளஸ்டரும் ஒன்றோடொன்று இணைக்கப்பட்டுள்ளது. சில தரவு மையத்தில் "குறைந்த தாமதம், உயர் அலைவரிசை CLOS" நெட்வொர்க்கில் இருக்கும், மற்றவை Google மற்றும் மூன்றாம் தரப்பினருக்கு சொந்தமான உள்கட்டமைப்பின் கலவையைப் பயன்படுத்தி WAN இணைப்புகளை நம்பியுள்ளன.
நகலின் வாழ்க்கைச் சுழற்சியை நிர்வகிப்பதற்கான கட்டுப்பாட்டு விமானம் மற்றும் பைட்டுகள் மற்றும் அறிக்கையின் நிலையை மாற்றும் தரவு விமானம் ஆகியவற்றைக் கருவி கொண்டுள்ளது.
கணினி செயல்திறன்
வள நுகர்வு மற்றும் போக்குவரத்து
"குறியீடு மற்றும் வள நுகர்வு சீரற்றவை: தரவுத் தளமானது CPU இன் 99% ஐப் பயன்படுத்துகிறது, ஆனால் குறியீடு வரிகளில் 7% க்கும் குறைவாக உள்ளது" என்று அந்தத் தாள் கூறுகிறது.
ஒரு பயனர் தரவு மாற்றத்தைத் தொடங்கும் போது, Effingo மற்றொரு Google திட்டமான Bandwidth Enforcer (BWe) இலிருந்து போக்குவரத்து ஒதுக்கீட்டைக் கோருகிறது.
இது கூடுதல் அலைவரிசையைச் சேர்ப்பதன் மூலம் பெறப்பட்ட சேவை முன்னுரிமை மற்றும் மதிப்பின் அடிப்படையில் திறனை ஒதுக்குகிறது.
வள திட்டமிடல்
ஒதுக்கீடு மேலாண்மை மற்றும் வள ஒதுக்கீடு
Effingo குறிப்பிட்ட நெட்வொர்க் செயல்திறன் தேவைப்படும் பணிச்சுமைகளுக்கு ஒதுக்கீடு-வரையறுக்கப்பட்ட ஆதாரங்களைப் பயன்படுத்த ஏலம் எடுக்கலாம் அல்லது குறைவான முக்கியமான ஓட்டங்களுக்கு சிறந்த முயற்சி ஆதாரங்களை நம்பியிருக்கும்.
ஒதுக்கீடுகள் மத்திய திட்டமிடல் அமைப்பில் முன்கூட்டியே திட்டமிடப்படுகின்றன, அதே சமயம் சிறந்த முயற்சி வளங்கள் பொதுவாக பயன்படுத்தப்படாத ஒதுக்கீட்டிலிருந்து அறுவடை செய்யப்பட்டு சமமாகப் பகிரப்படுகின்றன.
அதன் செயல்திறன் இருந்தபோதிலும், Effingo 12 மில்லியன் சராசரி உலகளாவிய பேக்லாக் அளவைக் கொண்டுள்ளது.
பொதுவாக சுமார் எட்டு petabyte-கள் (ஒரு petabyte என்பது 1,000 டெராபைட்டுகளுக்கு சமம்).
மேம்பாடுகள்
Effingo க்கான Google இன் எதிர்காலத் திட்டங்கள்
அதன் சிறந்த நாளில், Effingo இல் சுமார் இரண்டு மில்லியன் கோப்புகள் வரிசையில் நிற்கின்றன.
சேவையின் முதல் 10 பயனர்கள் புதிய இடமாற்றங்களைத் தொடங்கும் போது பேக்லாக்ஸ் சுமார் 12 பெட்டாபைட்டுகள் மற்றும் ஒன்பது மில்லியன் கோப்புகள் அதிகரிக்கும்.
கிராஸ்-டேட்டாசென்டர் பரிமாற்றத்தின் போது வள மேலாண்மை அமைப்புகள் மற்றும் CPU பயன்பாட்டுடன் Effingo இன் ஒருங்கிணைப்பை மேம்படுத்த கூகுள் திட்டமிட்டுள்ளது என்பதையும் கட்டுரை வெளிப்படுத்துகிறது.
பரிமாற்றங்களை விரைவாக அளவிடுவதற்கான கட்டுப்பாட்டு வளையத்திற்கான மேம்பாடுகளும் பைப்லைனில் உள்ளன.